Embargo		-
배포일자 : 2026.9.16.(수)				배포번호 : 2026-61호
문의	피지컬AI연구소		AI로봇·모빌리티연구본부장		윤대섭(042-860-1257)	E-mail : eyetracker@etri.re.kr
	AI로봇·모빌리티연구본부		필드로보틱스연구실장		최승민(042-860-6146)	E-mail : ccsmm@etri.re.kr
	필드로보틱스연구실		연구원		이우주(042-860-6601)	E-mail : dnwn24@etri.re.kr
	대외협력부		홍보실장		정길호(042-860-0670)	E-mail : khchong@etri.re.kr
	홍보실		행정원		신기용(042-860-1208)	E-mail : sky123@etri.re.kr
매수 : 보도자료 6매(참고자료 3매, 사진자료 9매, 영상자료 1부)						배포처 : ETRI 홍보실

국내 연구진이 사람의 말을 이해하고 처음 보는 공간에서 스스로 목적지를 찾아가는 로봇 인공지능(AI) 기술​로 국제대회에서 세계 1위에 올랐다. 향후 시각장애인을 위한 안내로봇은 물론, 정밀지도 없이 움직이는 제조·물류 로봇 등 피지컬 AI의 핵심 이동기술로 활용될 전망이다.

한국전자통신연구원(ETRI)은 KAIST와 연합팀을 구성해 스웨덴 말뫼에서 열린 세계적 컴퓨터비전 학술대회(ECCV 2026)의 VLNVerse 챌린지에서 전 세계 112개 참가팀 가운데 1위​를 차지했다고 밝혔다.

시각-언어 내비게이션(VLN)은 로봇이 사람이 내리는 자연어 명령을 이해하고, 카메라로 주변 환경을 살펴 스스로 목적지까지 이동하는 기술이다. 사람이 일일이 이동경로를 입력하거나 정밀지도를 미리 만들어 주지 않아도 로봇이 ‘사람의 말’과 ‘눈앞의 공간’을 함께 이해해 길을 찾는 것​이 핵심이다.

ETRI 필드로보틱스연구실과 KAIST 전기및전자공학부 명현 교수 연구팀은 ‘URL-FRRS’이름의 연합팀으로 참가했다.

대회는 두 가지 과제로 진행됐다. 첫 번째는 “거실에 있는 파란 소파를 찾아가라”처럼 목적지만 알려주면 로봇이 스스로 이동경로를 정하는 목표물 탐색 과제(coarse)​다.

두 번째는 “복도 끝에서 오른쪽으로 돌아 두 번째 문으로 들어간 뒤 창가에서 멈춰라”처럼 여러 단계의 지시를 순서대로 이해하고 수행하는 세부 주행 과제(fine)​다.

연합팀은 두 과제를 종합한 평가에서 평균 성공률 90.7%를 기록했다. 2위 팀과 성공률은 같았으나 대회 규정에 따라 제출시각에서 앞서 최종 1위에 올랐다.

 잘못 멈추면 스스로 확인하고 다시 찾는다

연구진은 대회 준비 과정에서 흥미로운 사실을 발견했다. 기존 로봇의 주요 실패 원인은 길 자체를 찾지 못해서라기보다 목적지가 아닌 곳에서 ‘도착했다’고 잘못 판단해 멈추는 데 있었다.

목적지를 눈앞에 두고 지나치거나, 비슷하게 생긴 다른 방을 목적지로 착각하는 식이다. 결국 로봇 이동지능의 성능을 높이기 위해서는 ‘어떻게 갈 것인가’뿐 아니라‘언제, 어디서 멈출 것인가’를 정확히 판단하는 능력​이 중요했다.

연구진은 먼저 약 80억 개(8B) 매개변수 규모의 비전·언어 모델(VLM)을 로봇 내비게이션에 맞게 파인튜닝했다. 특히 목적지 도착 여부를 정확히 판단할 수 있도록 정지(stop) 데이터를 증강하고, 학습률을 주기적으로 재조정하는 ‘코사인 어닐링 재시작(Cosine Annealing with Restarts)’ 전략을 적용해서 언제 어디서 멈출지 판단하는 능력을 향상시켰다.

연구진은 여기에 더해, 내비게이션 AI가 잘못 멈춘 경우 스스로 이를 확인하고 다시 탐색할 수 있도록 ‘CoRe-VLN(Coverage-based Recovery for VLN)’ 기술을 개발했다. 핵심은 로봇이 목적지라고 판단해 멈췄을 때 곧바로 임무를 끝내지 않고 ‘정말 제대로 도착했는지’를 AI가 한 번 더 확인하는 것​이다.

로봇은 멈춘 자리에서 전후좌우 네 방향의 영상을 촬영한다. 이를 대형 멀티모달 AI가 분석해 ▲지시받은 장소가 맞는지 ▲목표물의 색상과 재질이 맞는지 ▲목표물이 실제 가까운 거리에 있는지 등을 단계적으로 확인한다.

특히 카메라의 거리정보를 함께 활용해 목표물이 화면에는 보이지만 실제로는 멀리 떨어져 있는 경우까지 구분한다.

AI가 목적지가 아니라고 판단하면 로봇은 포기하지 않는다. 공간을 다시 탐색할 새로운 경로를 만든 뒤, 목적지일 가능성이 높은 장소들을 차례로 확인한다. 이후 멀티모달 AI가 다시 판단해 최종 목적지를 찾아낸다.

쉽게 말해 ‘찾아가기 → 도착 여부 확인 → 틀리면 다시 찾기’ 과정을 로봇 스스로 수행하는 것이다.

이 기술은 기존 내비게이션 AI를 새로 학습시키지 않고도 적용할 수 있다는 장점이 있다. 또한 기존 시스템이 목적지를 제대로 찾은 경우에는 개입하지 않고, 잘못 판단했을 때만 복구 기능을 작동시켜 기존 주행 성능을 유지할 수 있다.

 고성능 GPU 활용해 로봇 이동 AI 학습·검증

이번 성과에는 대규모 AI 연산 인프라도 중요한 역할을 했다. ETRI는 과학기술정보통신부와 정보통신산업진흥원의 ‘첨단 GPU 활용 지원 사업’을 통해 최신 AI 가속기인 엔비디아 H200 GPU 32장(4노드)을 12개월간 지원​받았다.

연구진은 이를 활용해 정밀지도(HD Map) 없이 카메라 영상과 사람의 자연어 지시만으로 로봇의 이동 행동을 생성하는 VLA(Vision-Language-Action) 모델​을 학습하고 성능을 높였다.

기존 연구자원으로는 대형 시각-언어 모델을 충분히 학습하기 어려웠지만, H200의 대용량 메모리와 분산학습 환경을 확보하면서 8B AI 모델의 실질적인 학습과 검증이 가능해졌다.

아울러 수많은 가상환경에서 로봇을 반복 주행시키고 실패 원인을 분석하는 작업을 단기간에 집중적으로 수행하면서 챌린지에 적용할 기술을 완성할 수 있었다.

 시각장애인 안내로봇·온디바이스 이동지능에 적용

ETRI는 이번 대회에서 검증한 기술을 시각장애인을 위한 길 안내 로봇인 ‘가이드 독(Guide Dog)’ 연구​에 적용할 계획이다.

ETRI가 개발 중인 안내로봇은 시각장애인이 “앞으로 가자”, “왼쪽 길로 가자”, “계단을 찾아줘”, “입구를 찾아줘”라고 말하면 주변 환경을 살펴 안전하게 이동할 수 있는 경로를 찾아 안내한다.

기존 기술은 카메라와 라이다(LiDAR)를 활용해 보행로와 갈림길 등 주로 길의 구조를 파악하는 데 초점을 맞췄다.

연구진은 여기에 이번 VLN 기술을 접목해 로봇이 길의 모양뿐 아니라‘이 길이 어떤 길인지’,‘사용자가 어디로 가려는지’까지 이해하도록 발전시킬 계획이다.

예를 들어 사용자가“왼쪽 길로 가자”고 말하면 단순히 왼쪽으로 회전하는 것이 아니라, 영상에서 사용자가 의미하는‘왼쪽 길’을 찾아내고 실제 보행자가 들어가야 할 위치를 판단해 이동하도록 하는 것이다.

이번 대회에서 개발한‘도착 여부 검증 기술’도 활용된다. 사용자가“입구를 찾아줘”라고 했을 때 로봇이 실제 입구 앞에 제대로 도착했는지, 비슷하게 생긴 다른 장소를 입구로 잘못 판단하지 않았는지를 영상과 거리정보로 다시 확인할 수 있다.

ETRI는 라이다와 SLAM 등 기존 센서 기술이 정확한 거리와 위치를 파악하고, 시각-언어 AI가 장소의 의미와 사용자의 의도를 이해하도록 두 기술을 결합할 계획이다.

두 번째 적용 분야는 온디바이스 VLM 기반 로봇 이동지능이다. ETRI는 올해 4월부터 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘자율행동체 온디바이스 응용지원 핵심기술개발 사업’을 수행하고 있다.

ETRI가 주관하고 KAIST 명현 교수 연구팀을 포함한 6개 기관이 참여한다. 오는 2029년까지 국산 AI 반도체(K-NPU)에서 시각-언어 모델(VLM)을 구동해 휴머노이드 등 자율행동체가 정밀지도 없이 제조·물류 현장을 스스로 이동하는 기술을 개발하는 것이 목표다.

연구진은 복잡한 주변 환경을 이해하는 AI와 로봇을 빠르게 움직이는 제어 AI의 역할을 나누고, 이동 중 문제가 발생하면 로봇이 스스로 판단해 복구하도록 할 계획이다.

이번 대회에서 세계 1위를 차지한 CoRe-VLN 역시 기존 로봇의 주행에는 가급적 개입하지 않고, 잘못된 판단이 발생했을 때 AI가 이를 확인하고 복구하는 구조다. 대회를 통해 확보한 실패 사례와 검증·복구 기술을 향후 실시간 안전주행과 자율복구 기술 개발에 활용할 예정이다.

연구과제가 목표로 하는 온디바이스 목적지 도착 성공률은 89%다. 연구진은 이번 챌린지에서 서버 기반으로 90.7%의 성공률을 달성한 만큼, 앞으로는 이 기술을 국산 AI 반도체에서도 실시간으로 구동할 수 있도록 AI 모델을 경량화하는 데 집중할 계획이다.

또한 확보한 H200 GPU 자원을 활용해 환경추론 5만 건, 이동궤적 10만 건 규모의 학습데이터를 구축하고 로봇 이동지능 모델의 성능을 지속적으로 높일 예정이다.

이번 성과는 대형 AI 모델을 로봇의 실제 공간 판단과 이동에 활용할 수 있다는 가능성을 국제 무대에서 입증했다는 데 의미가 있다.

특히 별도의 추가 학습 없이 기존 로봇 이동 시스템에 결합할 수 있어 향후 시각장애인 안내로봇을 비롯해 배송·물류·경비·순찰 로봇 등 사람과 같은 공간에서 움직이는 서비스 로봇의 핵심 기술로 활용될 것으로 기대된다.

ETRI 최승민 필드로보틱스연구실장은 “로봇이 스스로 ‘제대로 도착했는가’를 확인하고, 잘못 찾아갔다면 다시 목적지를 찾는 능력은 안내견 로봇이 시각장애인의 말을 안전한 이동으로 연결하는 데 꼭 필요한 기술”이라며 “국제 무대에서 검증한 기술을 국산 AI 반도체에서 실시간으로 동작하는 온디바이스 이동지능으로 발전시켜 실제 현장에 적용하겠다”고 말했다.

KAIST 명현 교수도 “별도의 추가 학습 없이 대형 인공지능 모델을 로봇의 실제 상황 판단에 활용할 수 있음을 국제 무대에서 입증했다”며 “향후 사람과 공간을 함께 사용하는 배송·안내 등 다양한 서비스 로봇의 핵심 기술로 활용될 수 있을 것”이라고 말했다.

ETRI 윤대섭 AI로봇·모빌리티연구본부장은 “첨단 GPU 자원의 적기 지원과 KAIST와의 긴밀한 협력이 세계 1위라는 성과로 이어졌다”며 “피지컬 AI 시대에 국산 로봇 이동지능 기술이 세계 시장을 선도할 수 있도록 연구개발에 더욱 힘쓰겠다”고 밝혔다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 ‘가이드 독 : 시각장애인 길 안내 로봇 이동지능 기술 개발’과제와 ‘자율행동체 온디바이스 응용지원 핵심기술개발 사업’의 지원을 받아 수행됐다. 또한 연구에 활용한 GPU 자원은 정보통신산업진흥원(NIPA)의 ‘첨단 GPU 활용 지원 사업’을 통해 지원받았다. <보도자료 본문 끝>

용어설명

1) ECCV(European Conference on Computer Vision) : CVPR, ICCV와 함께 컴퓨터비전 분야 세계 3대 학술대회로 꼽히는 국제 학회. 2026년 대회는 스웨덴 말뫼에서 개최

2) VLNVerse 챌린지(Vision-Language Navigation Challenge) : ECCV 2026의 EMR(Embodied Multimodal Reasoning in Physical Environments) 워크숍에서 열린 시각-언어 내비게이션 국제 챌린지

3) 파인튜닝(Fine-tuning) : 특정 작업이나 도메인에 높은 적합성을 확보하기 위해, 이미 훈련된 대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업

4) 시각-언어 내비게이션(VLN·Vision-Language Navigation) : 사람의 자연어 지시와 카메라 영상을 함께 이해해 로봇이 처음 보는 공간에서도 목표 지점까지 스스로 이동하도록 하는 기술

5)‘CoRe-VLN(Coverage-based Recovery for VLN)’기술 : 로봇이 목적지 도착 여부를 다시 검증하고, 잘못된 장소에서 멈춘 경우 주변 공간을 재탐색해 올바른 목적지를 찾도록 하는 복구 기술

6) VLA(Vision-Language-Action) : 시각 정보(Vision), 언어 명령(Language), 그리고 물리적인 행동(Action)을 하나의 거대 인공지능 신경망으로 통합한 로봇 파운데이션 모델

7) SLAM(Simultaneous Localization and Mapping) : 로봇이 이동하면서 자신의 위치를 추정하는 동시에 주변 환경의 지도를 만드는 기술

8) 대형 멀티모달 인공지능(MLLM·VLM) : 영상과 언어를 함께 입력받아 추론하는 대규모 인공지능 모델

참고1

ECCV 2026 VLNVerse 챌린지 및 CoRe-VLN 기술 개요

ㅇ 챌린지 개요

- 명칭 : VLNVerse Challenge (ECCV 2026 제1회 EMR 워크숍 ‘Embodied Multimodal Reasoning in Physical Environments’)

- 일시·장소 : 2026. 9. 9. 스웨덴 말뫼

- 참가 규모 : 전 세계 112개 팀

- 평가 방식 : 목표물 탐색 과제(coarse)와 세부 지침 주행 과제(fine)를 동일한 환경·평가 규약으로 수행하고 두 과제의 성공률 평균(Avg SR@3)으로 순위 결정. 동점일 경우 제출 시각이 빠른 팀이 상위

- 결과 : URL-FRRS 연합팀(ETRI 필드로보틱스연구실·KAIST 미래도시 로봇연구실) 1위, 평균 성공률 90.7%. 2위 팀과 동점이었으나 제출 시각이 앞서 1위 확정, 3위 팀 89.7%

- 참여 연구진 : (ETRI) 이우주 박사 / (KAIST) 성창기 박사(팀장), 박주혜·홍다솔 박사과정, 공제이·이찬혁 석사과정

ㅇ CoRe-VLN 기술 개요

- 문제 정의 : 기존 VLN 시스템의 실패 대부분은 경로 탐색 실패가 아닌 잘못된 위치에서의 ‘정지 결정’ 오류(목적지를 지나치거나 유사한 다른 방에서 정지)

① 정지 지점 검증 : 정지 지점에서 전후좌우 4방향 영상을 대형 멀티모달 AI에 입력, 지시된 방 일치 여부 → 목표물의 색·재질 일치 여부 → 목표물 3m 이내 여부를 단계별 검증. 카메라 거리 정보를 결합해 ‘보이지만 먼’ 목표물 오판 차단

② 커버리지 기반 복구 경로 계획 : 검증 기각 시 공간 전체를 체계적으로 훑는 탐색 경로 생성

③ 후보지 재판정 : 경로상 각 지점에서 기존 내비게이션 정책의 정지 확률을 점수화해 후보지 선별 후 멀티모달 AI가 최종 판정

- 특징 : 추가 학습 불필요(zero-shot), 검증을 통과한 기존 경로에는 개입하지 않아 기본 성능 저하 위험을 구조적으로 방지, 사전 정답 정보 없이 주행 중 센서 데이터만으로 판단하므로 신규 환경에 즉시 적용 가능

참고2

그림 및 사진 자료

<그림1> ECCV 2026 VLNVerse 챌린지 최종 순위(상위 10개 팀). URL-FRRS(KAIST·ETRI 연합팀) 1위, 평균 성공률 90.7%

<그림2(좌)> VLNVerse 챌린지 우승팀 ‘URL-FRRS’. 왼쪽부터 명현 교수, 박주혜 박사과정, 공제이 석사과정, 이찬혁 석사과정, 성창기 박사(팀장), 홍다솔 박사과정(KAIST 미래도시 로봇연구실), 이우주 박사, 최승민 실장(ETRI 필드로보틱스연구실)

<그림3(우)> VLNVerse 챌린지 우승 표지 사진

참고3

기술 개념도

<그림1> Core-VLN 전체 동작 흐름

<그림2> (위)주행 중 정지 판단 및 복구과정, (아래)정지 지점 검증 사례

<그림3> 복구 탐색을 통한 목적지 후보 선정 과정