Embargo		-
배포일자 : 2026.10.26.(월)				배포번호 : 2026-73호
문의	피지컬AI연구소		휴머노이드로봇시스템연구단장		김재홍(042-860-1783)	E-mail : jhkim504@etri.re.kr
	휴머노이드로봇시스템연구단		소셜로보틱스연구실장		김도형(042-860-5873)	E-mail : dhkim008@etri.re.kr
	소셜로보틱스연구실		선임연구원		최재우(042-860-1303)	E-mail : jwchoi0717@etri.re.kr
	대외협력부		홍보실장		정길호(042-860-0670)	E-mail : khchong@etri.re.kr
	홍보실		행정원		신기용(042-860-1208)	E-mail : sky123@etri.re.kr
매수 : 보도자료 4매(참고자료 2매, 사진자료 4매, 영상자료 1본)						배포처 : ETRI 홍보실

ETRI, 기억을 확인하고 행동하는 로봇 AI 개발

- 3D 장면 그래프에 환경정보 축적…필요한 기억만 능동적으로 조회

- 기존 AI 대비 복합작업 성공률 최대 24%p↑…EMNLP 2026 발표

- 가정·서비스 로봇 등 ‘추측 대신 확인하고 행동하는 AI’ 활용 기대

국내 연구진이 주변 환경에서 얻은 정보를 기억해 두었다가 필요한 순간에 스스로 찾아 확인하는 로봇 인공지능(AI) 기술을 개발했다. 불확실한 정보를 추측하기보다 저장된 기억을 확인해 행동을 계획하는 방식으로, 향후 가정·서비스 로봇 등에 활용될 것으로 기대된다.

한국전자통신연구원(ETRI)은 광주과학기술원(GIST)과 공동으로 환경을 직접 관측하는 과정과 저장된 기억을 능동적으로 조회하는 과정을 결합한 AI 에이전트 기술 ‘SceneQueryPlanner(씬쿼리플래너)’를 개발했다고 밝혔다.

최근 로봇은 대형언어모델(LLM)을 활용하면서 사람의 말을 이해하고 여러 단계의 작업을 수행할 수 있게 됐다. 그러나 실제 생활환경에서 “유리컵만 옮겨 줘” 또는 “켜져 있는 전자제품을 모두 꺼줘”와 같은 지시를 수행하려면 물체의 이름뿐 아니라 재질·상태·위치관계까지 파악해야 한다. 여러 공간을 오갈 때 앞서 확인한 정보도 기억해야 한다.

기존 AI 에이전트는 관측한 환경정보를 긴 문장으로 한꺼번에 전달받는 방식이어서, 정보가 쌓일수록 정작 필요한 내용이 묻히는 한계가 있었다. 필요한 정보가 빠져 있으면 언어모델이 가진 사전 지식에 기대어 잘못 추측하는 문제도 생긴다.

연구진은 이를 해결하기 위해 로봇이 관측한 방과 가구, 물체의 위치와 속성 등을 ‘3차원 장면 그래프(3D Scene Graph)’형태로 저장하는 기술을 개발했다. 주변 환경을 입체 지도처럼 기억하는 방식이다. 물체의 재질과 열림·닫힘, 켜짐·꺼짐 등의 상태를 서로의 관계와 함께 정리한 일종의 구조화된 기억으로, 새로운 정보를 관측할 때마다 내용이 갱신된다.

핵심은 저장된 기억을 쓰는 방식에 있다. 씬쿼리플래너는 로봇이 직접 움직이고 살펴보며 주변을 확인하는 ‘환경 그라운딩(Environment Grounding)’과, 저장해 둔 기억에서 지금 필요한 정보만 골라 찾아보는 ‘메모리 그라운딩(Memory Grounding)’을 함께 사용한다. 모든 기억을 한꺼번에 읽는 대신 현재 작업에 필요한 물체의 속성이나 위치관계 등을 선택적으로 조회한다. 이를 통해 ‘무엇을 할지’뿐 아니라 ‘무엇을 더 확인할지’도 스스로 계획한다.

예를 들어 “식탁 위 유리컵은 선반에, 플라스틱 컵은 캐비닛에 정리해 줘”라는 명령을 받으면, 로봇은 먼저 식탁 위의 컵들을 확인한 뒤 기억에서 각 컵의 재질 정보를 조회한다. 이후 유리컵과 플라스틱 컵을 구분해 각각 지정된 장소로 옮긴다. 재질을 임의로 추측하지 않고 확인한 정보에 따라 행동하는 것이다.

연구진은 기술 성능을 검증하기 위해 복잡한 가정환경에서 AI의 작업 수행능력을 평가하는 ‘AttPlan-Bench(앳플랜-벤치)’도 개발했다. 여러 방을 이동하며 물건을 옮기고, 데우거나 식히고, 청소하고, 기기를 켜고 끄는 등 10가지 유형의 복합작업이 포함됐다. 특히 재질과 상태, 위치관계를 활용해야 하는 속성 기반 작업을 따로 구성했다.

실험 결과 씬쿼리플래너는 오픈소스와 상용 모델 모두에서 기존 ReAct(리액트) 방식보다 높은 임무 성공률을 보였다. 메타의 라마(LLaMA 3.1)와 알리바바의 큐원(Qwen 2.5) 등 공개 모델에서는 성공률이 각각 46.8%에서 69.6%로, 44.0%에서 68.0%로 높아졌다. 오픈AI의 상용 모델(GPT-4o)에서도 모든 평가환경에서 기존 방식을 앞섰으며, 속성 기반 복합작업의 성공률은 17.2%p 향상됐다.

이번 기술은 로봇이 단순히 많은 정보를 기억하는 수준을 넘어 필요한 순간에 정확한 정보를 찾아 활용하도록 했다는 점에서 의미가 있다. 향후 가정·돌봄·서비스 로봇 등 실제 환경에서 스스로 판단하고 행동하는 피지컬AI 기술 발전에 기여할 것으로 기대된다.

ETRI 소셜로보틱스연구실 최재우 선임연구원(UST 인공지능 전공 조교수)은 "이번 기술은 로봇이 관측한 환경정보를 체계적으로 기억하고, 필요한 순간에 스스로 찾아 활용하도록 한 것이 핵심”이라며 "앞으로 실제 생활환경에서도 로봇이 불확실한 정보를 추측하기보다 자신의 경험과 기억을 확인하며 안정적으로 행동하도록 기술을 고도화하겠다”고 말했다.

GIST 김의환 교수는 “3차원 장면 그래프는 로봇이 관측한 공간을 방·가구·물체의 계층과 관계로 정리한 구조화된 기억”이라며 "이번 연구는 이 기억을 단순히 저장하는 데 그치지 않고, 에이전트가 필요한 정보를 스스로 질의해 꺼내 쓰는 능동적 메모리로 발전시켰다는 데 의미가 있다"고 말했다.

연구진은‘씬쿼리플래너’와 ‘앳플랜-벤치’의 코드 및 벤치마크를 공개해 후속 연구에 활용할 수 있도록 했다. 향후 카메라와 센서에서 들어오는 불완전한 환경정보를 다루는 실제 로봇 환경으로 기술을 확대할 계획이다.

이번 연구결과는 자연어처리 분야 세계적 국제학술대회‘EMNLP 2026 Findings’에서 지난 25일 발표됐다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 ‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’, ‘스스로 불확실성을 자각하며 질문하면서 성장하는 에이전트 기술 개발’, ‘AI스타펠로우십지원(광주과학기술원, 지역주도형)’사업과 국가과학기술연구회(NST)의 ‘자율성장 휴머노이드 브레인 및 개방형 AI 플랫폼 개발’ 사업, 한국연구재단(NRF)의 지원을 받아 수행됐다. <보도자료 본문 끝>

용어설명

1) SceneQueryPlanner(씬쿼리플래너) : AI 에이전트가 환경을 직접 관측하고, 3차원 장면 그래프 형태의 기억에서 현재 작업에 필요한 정보를 능동적으로 조회하며 행동을 계획하는 기술.

2) 환경 그라운딩(Environment Grounding) : AI 에이전트가 실제 또는 가상환경에서 행동하고 그 결과를 관측해 현재 환경 상태를 파악하는 과정.

3) 메모리 그라운딩(Memory Grounding) : AI 에이전트가 이전에 관측해 저장한 환경정보 가운데 현재 판단에 필요한 내용을 직접 조회해 활용하는 과정.

4) 3차원 장면 그래프(3D Scene Graph, 3DSG) : 방, 가구, 물체와 이들의 속성·공간관계를 그래프 형태로 연결해 저장하는 환경 표현 방식. 본 연구에서는 새로운 관측에 따라 내용이 계속 갱신되는 동적 메모리로 활용했다.

5) AttPlan-Bench(앳플랜-벤치) : 여러 방에서 수행하는 장기 복합 작업과 물체의 재질·상태·공간관계를 이해해야 하는 속성 기반 작업을 평가하기 위해 연구진이 개발한AI 에이전트 벤치마크.

6) AI 에이전트(AI Agent) : 주어진 목표를 달성하기 위해 주변 상황을 파악하고 스스로 판단·계획해 여러 단계의 행동을 수행하는 인공지능 시스템.

7) 대형언어모델(Large Language Model, LLM) : 대규모 텍스트 데이터를 학습해 사람의 언어를 이해하고 생성하는 인공지능 모델. 최근에는 자연어 지시를 바탕으로 로봇이나AI 에이전트의 행동을 계획하는 데에도 활용

8) EMNLP Findings : EMNLP(Empirical Methods in Natural Language Processing)는 자연어처리 및 언어 인공지능 분야의 세계적 국제 학술대회이며, Findings는 EMNLP의 공식 논문 발표 트랙 중 하나.

참고1

씬쿼리플래너 개념도

SceneQueryPlanner(씬쿼리플래너) 개념도

참고2

기술 개요

⓵ 기존 AI 에이전트의 한계

기존 에이전트는 관측한 환경정보를 긴 문장으로 한꺼번에 입력받거나, 외부 메모리에 저장된 정보를 수동적으로 전달받는다. 정보가 많아지면 필요한 내용이 묻히고, 정보가 부족하면 언어모델의 사전 지식에 기대어 잘못 추측한다. “지금 무엇을 더 확인해야 하는지”를 스스로 판단하지 못한다는 근본적 한계가 있다.

⓶ 동적 3차원 장면 그래프(3D Scene Graph) 메모리

로봇이 관측한 환경을 방–가구–물체의 3계층 그래프로 저장하며, 각 물체에는 재질, 열림·닫힘, 켜짐·꺼짐 등의 상태와 위치가 기록되고, 물체 사이의 ‘안에·위에·가까이’ 관계가 연결된다. 새로운 관측이 들어올 때마다 그래프가 갱신되는 동적 기억이다

⓷ 환경 그라운딩과 메모리 그라운딩

- 환경 그라운딩(Environment Grounding): 로봇이 직접 환경과 상호작용하며, 주변 환경의 현재 상태를 확인하는 과정

- 메모리 그라운딩(Memory Grounding): 저장된 장면 그래프에서 현재 작업에 필요한 정보만 질의해 꺼내 쓰는 과정 (조건에 맞는 물체 찾기, 특정 방·가구 안의 물체 확인, 물체 간 관계 확인, 물체 속성 읽기)

씬쿼리플래너는 이러한 메모리 그라운딩을 ‘이동’이나 ‘집기’와 같은 급의 행동으로 다룬다. 에이전트는 매 단계 ‘무엇을 할지’와 ‘무엇을 더 확인할지’를 함께 결정하며, 기억을 통째로 읽는 대신 필요한 정보만 선택적으로 조회해 추측이 아닌 확인된 사실에 근거해 행동한다.

⓸ 성능 검증 결과

연구진이 구축한 AttPlan-Bench(1,000개 가정환경, 10가지 유형의 복합작업 1,000개 + 재질·상태·공간관계 기반 속성 작업 500개)와 외부 벤치마크 WAH-NL에서, 기억을 쓰지 않는 ReAct 및 동일한 3차원 장면 그래프를 수동적으로 입력받는 SayPlan·MoMa-LLM과 비교했다. 씬쿼리플래너는 모든 벤치마크와 모델 규모에서 가장 높은 임무 성공률을 기록했으며, 속성 기반 작업에서는 ReAct 대비 최대 24%p(Qwen 2.5 72B, 44.0→68.0%) 높았다. 상용 모델 GPT-4o에서도 속성 기반 작업 성공률이 17.2%p 향상됐다.

〈그림 1〉 벤치마크·모델별 임무 성공률 비교

같은 지시문 “깨지지 않도록 책상 위 나무로 된 물건을 상자에 넣고, 그 상자를 침대 위에 올려 줘”에 대해 제안하는 씬쿼리플래너(위)는 책상에서 그릇·화분·연필·머그컵을 관측한 뒤 각 물체의 재질을 기억에서 하나씩 조회하여 연필이 나무임을 확인하고 집은 뒤, 상자와 침대 위치를 조회해 작업 완료한다. 하지만 기존 방식 ReAct(아래)는 재질 정보 없이 “나무로 된 것은 그릇일 것”이라 추측해 도자기 그릇을 집어 임무 실패한다.

〈그림 2〉 같은 명령에 대한 동작 비교

구조화 질의를 추가했음에도 작업당 실행시간은 가장 가벼운 ReAct 대비 약 4% 증가에 그쳤고, 장면 그래프 전체를 매 단계 다시 입력하는 MoMa-LLM의 3분의 1 이하였다.

〈그림 3〉 작업당 실행 효율 비교

물체 누락, 종류 혼동, 속성 반전 등 인식 오류를 인위적으로 주입한 실험에서도 기존 방식보다 높은 성공률을 유지했으며, 속성 기반 작업에서는 모든 오류 수준과 모델 규모에서 우위를 보였다.

〈그림 4〉 인식 오류 환경에서의 성능 변화

⓹ 향후 연구계획

연구진은 씬쿼리플래너와 앳플랜-벤치의 코드 및 평가 자료를 공개해 후속 연구에 활용할 수 있도록 했다. 향후 카메라와 센서에서 들어오는 불완전한 환경정보로부터 장면 그래프 메모리를 실시간으로 구축·갱신하고, 실제 로봇이 복잡한 생활환경에서 장시간 작업을 수행할 수 있도록 기술을 확대할 계획이다.