ETRI WEBZINE

자율 제품조립 로봇 인공지능 기술은 어떤 기술로 구성되어 있나요?

자율 제품조립 로봇 인공지능 기술은 연구원들이 각자의 전문 분야의 지능 모듈을 만들고, 각 지능 모듈이 연동할 수 있는 프레임워크를 개발한 기술이에요. 제조 환경에서 로봇을 활용하여 자동을 넘어 자율화하는 것을 목표로 연구를 진행하고 있어요. 제조 환경을 자율화하기 위해서는 한가지 기술뿐 아니라 다방면의 기술이 필요해요. 이것을 인공지능 기술로 해결하기 위해 여러 개의 다중 인공지능을 활용하게 되죠.

다중 인공지능 기반으로 수행해야 할 작업을 분석하고, 인지, 계획, 판단하여, 동작을 수행하고 검증하는 로봇 자율 작업 흐름도

자율 제품조립 로봇 인공지능 기술은 설계정보로부터 제품정보 및 작업 정보를 분석하는 설계작업지능, 물체를 인식하고 위치 및 자세를 분석하는 부품인지지능, 작업 정보와 물체 위치를 고려하여 실시간으로 작업 및 동작 순서를 계획하는 작업지능, 각 동작 및 작업을 스스로 분석해서 움직이도록 하는 자율동작지능, 동작 및 작업을 완수하였는지 확인하는 작업검증지능. 이렇게 5개의 지능 모듈로 구성되어 있습니다.

딥러닝 기술을 활용해 부품인지지능을 개발하셨습니다.
그 과정이 궁금합니다.

부품인지지능은 제품의 부품들을 구분하고 부품의 3차원 자세를 분석하는 지능 모듈입니다. 부품들을 식별하고 자세를 정확하게 추정하기 위해서는 대량의 데이터가 필요해요. 데이터 획득을 위한 촬영과 라벨링 작업^*도 필요해서 실제 환경에서 데이터 전부를 생성하기는 어렵습니다.
* 라벨링 작업: 부품의 위치, 자세, 크기, 이름(ID) 등의 정보를 저장하는 작업을 말한다.

이미지 데이터 학습을 위한 가상 데이터(Synthetic Data) 생성과 딥러닝 학습 및 실환경 데이터 기반 모델 파인 튜닝(Fine-tuning) 기술

저희는 3단계로 나누어 작업했어요. 첫 번째 단계는 OBJ^* 모델 파일을 이용해 가상에서 데이터를 생성하는 것인데요. 이때 중요한 것은 ‘가상 이미지가 얼마나 실제 환경과 유사한가’에요. 그래서 실제 환경과 유사한 시뮬레이터를 사용해 모델 파일을 가상 이미지와 라벨로 생성해주는 프로그램을 개발했어요. 이 프로그램을 사용해 물체의 위치와 자세, 배경을 바꿔가며 데이터를 수천 장 생성합니다. 가상에서 생성하기 때문에 물체의 위치 및 자세 정보를 알 수 있어요. 그래서 데이터 라벨링 정보도 동시에 생성할 수 있죠.

두 번째 단계는 생성된 가상 이미지로 학습시키는 단계입니다. Efficient Net^** 모델을 활용하여 학습시켰습니다. 주로 공장에서 사용하는 물체를 연구하는데, 이러한 물체들은 대부분 대칭 형태로 생겼어요. 대칭형 물체는 학습시키기 어려워요. 그래서 이러한 대칭형 물체를 잘 학습시킬 수 있는 ‘대칭형 물체 분석 기법^***’을 개발하여 적용했습니다.

마지막 단계는 실제 환경 데이터를 기반으로 기존 모델에 파인 튜닝^****하는 단계입니다. 가상 데이터 기반 학습만으로는 실제 적용했을 때 높은 성공률을 얻기 어렵습니다. 그래서 실제 환경 데이터를 수백 장 정도 촬영하고 라벨링 한 것을 기반으로 기존 모델에 맞게 정교하게 조정하는 것이죠.
* OBJ: 제품의 설계 정보가 담긴 CAD 파일 유형의 하나로, 주로 제품의 외곽을 표현한 파일이다.
** Efficient Net: 네트워크의 깊이(Depth), 너비(Width), 해상도(Resolution) 사이에 어떤 관계가 있음을 발견하고, 이들을 효율적으로 조절하는 방법(Compound Scaling)을 고안해 성능을 향상한 딥러닝 모델이다.
*** 대칭형 물체 분석 기법: 물체의 대칭적 특징으로 인한 회전 분석 취약점을 개선한 분석 기법이다.
**** 파인 튜닝(Fine-tuning): 딥러닝 모델을 개선하는 과정 중 하나. 이미 학습된 모델을 가져와 특정한 데이터에 맞게 세부적으로 조정하는 과정을 말한다.

작업지능과 동작지능에 대해서 설명 부탁드립니다.

먼저 작업지능은 설계작업지능과 작업계획지능으로 구성됩니다. 설계작업지능은 제품의 모델링 파일로부터 부품의 정보라 할 수 있는 크기, 형태, 이미지와 조립 순서, 조립 타입, 조립 위치 등 작업 정보를 받아 자동으로 분석해 지식베이스화하는 지능 모듈이에요.

작업계획지능은 지식베이스와 실제 환경에서 인식된 부품의 정보를 활용하여, 실시간으로 작업의 순서를 계획하고, 각 단위 작업에 맞는 ‘이동, 파지, 정렬, 삽입’과 같은 동작 순서를 계획하는 지능 모듈이에요. 두 지능 모듈은 머신러닝을 기반으로 학습합니다.

자율동작지능은 작업지능에서 계획된 동작을 실행하는 지능 모듈이에요. 물체를 파지할 때, 부품의 생김새, 위치, 겹침 정도를 고려해 상황에 따라 파지하는 위치가 변해야 해요. 이 부분은 심층강화학습 기법으로 분석하게 됩니다. 3차원 깊이 정보를 활용해 실시간 환경 정보를 분석하고, 해당 물체의 파지 자세를 제시하게 됩니다.

조립동작에서는 물체의 생김새와 유격에 따라 시각적 피드백만으로 조립 작업이 어려운 경우가 많아요. 그래서 그리퍼의 힘과 토크^* 정보를 기반으로 실제 환경을 파인 튜닝한 가상 지도학습 기법으로 조립 작업을 수행합니다.
* 힘/토크: 힘은 한 축으로 밀거나 당기는 힘을 말하며, 토크는 한 축에 가해지는 회전시키거나 비트는 힘을 말한다.

깊이 정보 이미지와 심층학습(딥러닝), 심층강화학습을 기반으로 물체 파지(잡기동작) 자세를 분석하는 인공지능 기술

디지털 트윈 기술을 통해 로봇끼리 충돌 없이 움직일 수 있게 학습시키셨다고 들었습니다.

디지털 트윈이라는 단어는 광범위하게 사용되는데요. 저희가 활용하는 디지털 트윈은 실제와 똑같이 꾸며진 가상 환경을 의미한다고 보시면 됩니다. 로봇 제조사에서 제공하는 로봇 설계 파일을 활용하고, 연구원들이 실제 환경을 실측해 가상 환경을 만들어요.

이 가상 환경에서 다양한 상황을 제시하고, 로봇들에게 조립 동작을 시켜봅니다. 이 과정을 수천 번, 수만 번 반복해요. 어떤 상황이 닥쳐도 문제를 해결할 수 있도록 학습을 시키는 거죠. 이것을 강화학습기법이라고 해요. 이 학습을 통해 로봇은 다른 기계와 충돌하지 않으면서 부품을 조립할 방법을 배우게 됩니다.

이번에 개발된 기술은 어느 분야에 사용될 예정인가요?

개발 목적 자체가 산업 분야에 맞추어져 있기 때문에 제품을 제조하는 곳에서 주로 사용될 예정이에요. 한 제품만 만드는 제조 현장보다는 맞춤형 생산 혹은 다품종 소량 생산을 하는 환경에 주로 사용될 것으로 예상하고 있어요.

해당 기술이 미국 국립표준기술연구소(NIST)의 무인 시스템 자율도 8레벨에 도달했습니다. 이것은 어떤 의미일까요?

시스템의 자율도를 측정하는 방식은 여러 가지가 있어요. 그중 가장 대표적인 것이 자동차 자율단계에요. 자율차 단계는 주로 자동차 한 대의 자율화가 얼마나 되었는지, 단일 설비에 대해서 논의해요. 하지만 NIST에서 제시한 자율도 측정 레벨은 전체 시스템을 봅니다. 개별 설비의 자율도도 중요하지만, 설비 간의 연동, 연계도 중요한 척도로 보고 있죠. 최소 전달 정보로 시스템을 자율적으로 운영할 수 있는지를 따집니다.

미국 국립표준기술연구소(NIST)의 무인 시스템 자율도 평가 모델을 기반으로 제작된 ETRI의 제조환경 지능 로봇 시스템 분석 가이드

제조 분야에 대한 직접적인 평가 지표가 있는 것이 아니어서 기존 지표를 활용하여 정의해 보았는데요. 제조 분야에서 8단계는 복합 공정^*에서 로봇들이 협업해 인간 개입을 최소화하며 작업을 수행할 수 있다는 의미입니다. 자율 제품조립 로봇 인공지능 기술은 제품 모델 파일이라는 최소 정보로 다중 지능을 통해 제품을 분류하고, 정렬하고, 조립하는 복합 공정을 별도의 인간 개입 없이 수행할 수 있다는 것이죠.
* 서로 다른 작업을 하는 작업 모듈

개발하시면서 어려웠던 부분도 있으신가요? 어떻게 해결하셨나요?

가상 환경을 실제 환경처럼 구현하는 것에 어려움이 있어요. 일례로 가상 환경에선 가능했으나 실제 환경에서는 작동이 되지 않은 적이 있는데요. 로봇마다 케이블이 달려있는데, 이것은 가상 환경에 표현이 되지 않아요. 그래서 가상 환경에서는 로봇들이 동작할 수 있었죠. 그런데 실제 환경에서 로봇이 움직일 때, 가끔 이 케이블에 걸려서 동작을 못 하는 상황이 생기는 거예요. 이 부분은 계속해서 개선되어야 할 부분이에요. 숙제로 남아있죠.

이외에도 그리퍼가 부품을 잡을 때 가상과 실제 사이의 오차가 생기는데요. 실제 환경에서는 부품이 놓인 땅이 평평하지 않거나, 바닥의 마찰력이라는 변수 때문에 물체를 비스듬히 잡게 되는 경우가 생기거든요. 이런 부분은 그리퍼의 끝에 촉각 센서를 달아서 활용하려는 계획을 세우고 있습니다.

박사님과 연구소의 추후 연구 계획과 포부를 듣고 싶습니다.

제조 현장에서 원하는 설비는 사용자를 99.99% 만족시켜야 합니다. 사람을 대체하기 때문이죠. 사람은 빠르고 정확합니다. 사람 수준의 정확도를 구현하기 위해 시각, 촉각, 역감^* 등 복합 정보를 활용한 연구를 계획하고 있습니다.

또한 현재 지능·제조융합연구실엔 로봇뿐 아니라 적층 제조 기반 가공 시스템 등 미니 공장 테스트베드들이 있어요. 실내의 시스템을 연동해 가공부터 분류, 조립, 이송, 출품 등 전체를 아우를 수 있는 시스템을 구축하고자 합니다.
* 역감(Kinesthesia): 근육이나 힘줄과 같은 근 감각을 자극할 때 전달되는 감각을 말한다.