- 말 알아듣고 길 찾는 로봇 AI… IITP 기술개발·NIPA 첨단GPU 지원성과

- ECCV 2026 시각-언어 내비게이션 112개 팀 중 1위… 성공률 90.7%

- IITP 지원 안내견 로봇·온디바이스 이동지능 기술로 확대 적용

국내 연구진이 사람의 말을 이해하고 처음 보는 공간에서 스스로 목적지를 찾아가는 로봇 인공지능(AI) 기술로 국제대회에서 세계 1위에 올랐다.

향후 시각장애인을 위한 안내로봇은 물론, 정밀지도 없이 움직이는 제조·물류 로봇 등 피지컬 AI의 핵심 이동기술로 활용될 전망이다.

한국전자통신연구원(ETRI)은 KAIST와 연합팀을 구성해 스웨덴 말뫼에서 열린 세계적 컴퓨터비전 학술대회(ECCV 2026)의 VLNVerse 챌린지에서 전 세계 112개 참가팀 가운데 1위를 차지했다고 밝혔다.

시각-언어 내비게이션(VLN)은 로봇이 사람이 내리는 자연어 명령을 이해하고, 카메라로 주변 환경을 살펴 스스로 목적지까지 이동하는 기술이다.

사람이 일일이 이동경로를 입력하거나 정밀지도를 미리 만들어 주지 않아도 로봇이 '사람의 말'과 '눈앞의 공간'을 함께 이해해 길을 찾는 것이 핵심이다.

ETRI 필드로보틱스연구실과 KAIST 전기및전자공학부 명현 교수 연구팀은 'URL-FRRS' 이름의 연합팀으로 참가했다.

대회는 두 가지 과제로 진행됐다.

첫 번째는 "거실에 있는 파란 소파를 찾아가라"처럼 목적지만 알려주면 로봇이 스스로 이동경로를 정하는 목표물 탐색 과제(coarse)다.

두 번째는 "복도 끝에서 오른쪽으로 돌아 두 번째 문으로 들어간 뒤 창가에서 멈춰라"처럼 여러 단계의 지시를 순서대로 이해하고 수행하는 세부 주행 과제(fine)다.

연합팀은 두 과제를 종합한 평가에서 평균 성공률 90.7%를 기록했다.

2위 팀과 성공률은 같았으나 대회 규정에 따라 제출시각에서 앞서 최종 1위에 올랐다.

□ 잘못 멈추면 스스로 확인하고 다시 찾는다

연구진은 대회 준비 과정에서 흥미로운 사실을 발견했다.

기존 로봇의 주요 실패 원인은 길 자체를 찾지 못해서라기보다 목적지가 아닌 곳에서 '도착했다'고 잘못 판단해 멈추는 데 있었다.

목적지를 눈앞에 두고 지나치거나, 비슷하게 생긴 다른 방을 목적지로 착각하는 식이다.

결국 로봇 이동지능의 성능을 높이기 위해서는 '어떻게 갈 것인가'뿐 아니라 '언제, 어디서 멈출 것인가'를 정확히 판단하는 능력이 중요했다.

연구진은 먼저 약 80억 개(8B) 매개변수 규모의 비전·언어 모델(VLM)을 로봇 내비게이션에 맞게 파인튜닝했다.

특히 목적지 도착 여부를 정확히 판단할 수 있도록 정지(stop) 데이터를 증강하고, 학습률을 주기적으로 재조정하는 '코사인 어닐링 재시작(Cosine Annealing with Restarts)' 전략을 적용해서 언제 어디서 멈출지 판단하는 능력을 향상시켰다.

연구진은 여기에 더해, 내비게이션 AI가 잘못 멈춘 경우 스스로 이를 확인하고 다시 탐색할 수 있도록 'CoRe-VLN(Coverage-based Recovery for VLN)' 기술을 개발했다.

핵심은 로봇이 목적지라고 판단해 멈췄을 때 곧바로 임무를 끝내지 않고 '정말 제대로 도착했는지'를 AI가 한 번 더 확인하는 것이다.

로봇은 멈춘 자리에서 전후좌우 네 방향의 영상을 촬영한다.

이를 대형 멀티모달 AI가 분석해 ▲지시받은 장소가 맞는지 ▲목표물의 색상과 재질이 맞는지 ▲목표물이 실제 가까운 거리에 있는지 등을 단계적으로 확인한다.

특히 카메라의 거리정보를 함께 활용해 목표물이 화면에는 보이지만 실제로는 멀리 떨어져 있는 경우까지 구분한다.

AI가 목적지가 아니라고 판단하면 로봇은 포기하지 않는다.

공간을 다시 탐색할 새로운 경로를 만든 뒤, 목적지일 가능성이 높은 장소들을 차례로 확인한다.

이후 멀티모달 AI가 다시 판단해 최종 목적지를 찾아낸다.

쉽게 말해 '찾아가기 → 도착 여부 확인 → 틀리면 다시 찾기' 과정을 로봇 스스로 수행하는 것이다.

이 기술은 기존 내비게이션 AI를 새로 학습시키지 않고도 적용할 수 있다는 장점이 있다.

또한 기존 시스템이 목적지를 제대로 찾은 경우에는 개입하지 않고, 잘못 판단했을 때만 복구 기능을 작동시켜 기존 주행 성능을 유지할 수 있다.

□ 고성능 GPU 활용해 로봇 이동 AI 학습·검증

이번 성과에는 대규모 AI 연산 인프라도 중요한 역할을 했다.

ETRI는 과학기술정보통신부와 정보통신산업진흥원의 '첨단 GPU 활용 지원 사업'을 통해 최신 AI 가속기인 엔비디아 H200 GPU 32장(4노드)을 12개월간 지원받았다.

연구진은 이를 활용해 정밀지도(HD Map) 없이 카메라 영상과 사람의 자연어 지시만으로 로봇의 이동 행동을 생성하는 VLA(Vision-Language-Action) 모델을 학습하고 성능을 높였다.

기존 연구자원으로는 대형 시각-언어 모델을 충분히 학습하기 어려웠지만, H200의 대용량 메모리와 분산학습 환경을 확보하면서 8B AI 모델의 실질적인 학습과 검증이 가능해졌다.

아울러 수많은 가상환경에서 로봇을 반복 주행시키고 실패 원인을 분석하는 작업을 단기간에 집중적으로 수행하면서 챌린지에 적용할 기술을 완성할 수 있었다.

□ 시각장애인 안내로봇·온디바이스 이동지능에 적용

ETRI는 이번 대회에서 검증한 기술을 시각장애인을 위한 길 안내 로봇인 '가이드 독(Guide Dog)' 연구에 적용할 계획이다.

ETRI가 개발 중인 안내로봇은 시각장애인이 "앞으로 가자", "왼쪽 길로 가자", "계단을 찾아줘", "입구를 찾아줘"라고 말하면 주변 환경을 살펴 안전하게 이동할 수 있는 경로를 찾아 안내한다.

기존 기술은 카메라와 라이다(LiDAR)를 활용해 보행로와 갈림길 등 주로 길의 구조를 파악하는 데 초점을 맞췄다.

연구진은 여기에 이번 VLN 기술을 접목해 로봇이 길의 모양뿐 아니라 '이 길이 어떤 길인지', '사용자가 어디로 가려는지'까지 이해하도록 발전시킬 계획이다.

예를 들어 사용자가 "왼쪽 길로 가자"고 말하면 단순히 왼쪽으로 회전하는 것이 아니라, 영상에서 사용자가 의미하는 '왼쪽 길'을 찾아내고 실제 보행자가 들어가야 할 위치를 판단해 이동하도록 하는 것이다.

이번 대회에서 개발한 '도착 여부 검증 기술'도 활용된다.

사용자가 "입구를 찾아줘"라고 했을 때 로봇이 실제 입구 앞에 제대로 도착했는지, 비슷하게 생긴 다른 장소를 입구로 잘못 판단하지 않았는지를 영상과 거리정보로 다시 확인할 수 있다.

ETRI는 라이다와 SLAM 등 기존 센서 기술이 정확한 거리와 위치를 파악하고, 시각-언어 AI가 장소의 의미와 사용자의 의도를 이해하도록 두 기술을 결합할 계획이다.

두 번째 적용 분야는 온디바이스 VLM 기반 로봇 이동지능이다.

ETRI는 올해 4월부터 과학기술정보통신부와 정보통신기획평가원(IITP)의 '자율행동체 온디바이스 응용지원 핵심기술개발 사업'을 수행하고 있다.

ETRI가 주관하고 KAIST 명현 교수 연구팀을 포함한 6개 기관이 참여한다.

오는 2029년까지 국산 AI 반도체(K-NPU)에서 시각-언어 모델(VLM)을 구동해 휴머노이드 등 자율행동체가 정밀지도 없이 제조·물류 현장을 스스로 이동하는 기술을 개발하는 것이 목표다.

연구진은 복잡한 주변 환경을 이해하는 AI와 로봇을 빠르게 움직이는 제어 AI의 역할을 나누고, 이동 중 문제가 발생하면 로봇이 스스로 판단해 복구하도록 할 계획이다.

이번 대회에서 세계 1위를 차지한 CoRe-VLN 역시 기존 로봇의 주행에는 가급적 개입하지 않고, 잘못된 판단이 발생했을 때 AI가 이를 확인하고 복구하는 구조다.

대회를 통해 확보한 실패 사례와 검증·복구 기술을 향후 실시간 안전주행과 자율복구 기술 개발에 활용할 예정이다.

연구과제가 목표로 하는 온디바이스 목적지 도착 성공률은 89%다.

연구진은 이번 챌린지에서 서버 기반으로 90.7%의 성공률을 달성한 만큼, 앞으로는 이 기술을 국산 AI 반도체에서도 실시간으로 구동할 수 있도록 AI 모델을 경량화하는 데 집중할 계획이다.

또한 확보한 H200 GPU 자원을 활용해 환경추론 5만 건, 이동궤적 10만 건 규모의 학습데이터를 구축하고 로봇 이동지능 모델의 성능을 지속적으로 높일 예정이다.

이번 성과는 대형 AI 모델을 로봇의 실제 공간 판단과 이동에 활용할 수 있다는 가능성을 국제 무대에서 입증했다는 데 의미가 있다.

특히 별도의 추가 학습 없이 기존 로봇 이동 시스템에 결합할 수 있어 향후 시각장애인 안내로봇을 비롯해 배송·물류·경비·순찰 로봇 등 사람과 같은 공간에서 움직이는 서비스 로봇의 핵심 기술로 활용될 것으로 기대된다.

ETRI 최승민 필드로보틱스연구실장은 "로봇이 스스로 '제대로 도착했는가'를 확인하고, 잘못 찾아갔다면 다시 목적지를 찾는 능력은 안내견 로봇이 시각장애인의 말을 안전한 이동으로 연결하는 데 꼭 필요한 기술"이라며 "국제 무대에서 검증한 기술을 국산 AI 반도체에서 실시간으로 동작하는 온디바이스 이동지능으로 발전시켜 실제 현장에 적용하겠다"고 말했다.

KAIST 명현 교수도 "별도의 추가 학습 없이 대형 인공지능 모델을 로봇의 실제 상황 판단에 활용할 수 있음을 국제 무대에서 입증했다"며 "향후 사람과 공간을 함께 사용하는 배송·안내 등 다양한 서비스 로봇의 핵심 기술로 활용될 수 있을 것"이라고 말했다.

ETRI 윤대섭 AI로봇·모빌리티연구본부장은 "첨단 GPU 자원의 적기 지원과 KAIST와의 긴밀한 협력이 세계 1위라는 성과로 이어졌다"며 "피지컬 AI 시대에 국산 로봇 이동지능 기술이 세계 시장을 선도할 수 있도록 연구개발에 더욱 힘쓰겠다"고 밝혔다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 '가이드 독 : 시각장애인 길 안내 로봇 이동지능 기술 개발' 과제와 '자율행동체 온디바이스 응용지원 핵심기술개발 사업'의 지원을 받아 수행됐다.

또한 연구에 활용한 GPU 자원은 정보통신산업진흥원(NIPA)의 '첨단 GPU 활용 지원 사업'을 통해 지원받았다. <보도자료 본문 끝>