우리나라 육군 훈련소에 신병이 입대하면, 필수적으로 받는 기초 훈련이 두 가지가 있다. 하나는 사격, 다른 하나는 각개 전투다. 두 가지 모두 중요한 훈련이지만, 실제 전투와는 차이가 있을 수밖에 없다. 달려가는 동시에 움직이는 적들을 향해 실탄을 쏴야 하지만, 현재의 가상훈련 시스템들은 실전과 유사한 훈련이 불가능하기 때문이다. 이에 국내 연구진은 가상현실 군사훈련을 위한 소프트웨어 개발에 본격 나섰다.
미래의 전장은 소부대 중심의 도심 작전이나 대테러 작전, 국외 파병 업무 등의 중요성이 증가할 것으로 판단됩니다. 이에 기존 훈련시스템에서는 경험할 수 없었던 미지의 작전지역에 대해 사전 훈련이 필요한 상황입니다. ETRI는 병사들이 게임과 같은 가상공간에서 실전과 같이 전술훈련을 반복적으로 수행하여 전투 능력을 향상 시키고자 본 기술개발에 착수하게 됐습니다.
ETRI 주관으로 개발한 ‘VR 훈련시스템’은 360도 전 방향 무한 이동이 가능한 러닝머신 위에서 이루어지는 가상훈련입니다. 훈련돔 내에서 펼쳐지는 미지의 예상 작전 공간에서 걷고, 달리고, 기는 등의 물리적인 훈련과 팀 전술훈련이 동시에 가능합니다. 보통 VR이나 HMD(Head Mounted Display)는 물리적인 이동 없이 사용하지만, 본 기술은 실제로 물리적인 공간 내에서 뛰고, 걷기를 반복하면서 실전처럼 경험할 수 있습니다. 즉 가상의 작전지역을 콘텐츠로 만들어 파병 병사들이 실제 전장처럼 훈련할 수 있는 기술입니다. 좀 더 쉽게 설명하자면, 배틀그라운드와 같은 게임을 마우스나 키보드로 조종하는 것이 아니라 온몸으로 체험하는 셈입니다. 훈련 시 사용하는 총도 실제 총과 무게가 같고, 사격에 의한 총의 반동도 실제 총과 유사하게 느낄 수 있습니다.
또 VR 훈련시스템은 국방 분야뿐만 아니라 민수 분야에서도 활용이 가능합니다. 사용자들은 게임을 할 때 화면을 보면서 키보드와 마우스로 조작을 합니다. 이 때문에 동적인 행동이나 이동은 불가능합니다. 이보다 한층 진화된 게임의 형태는 HMD를 이용하는 방식입니다. 그러나 HMD 방식의 경우 키보드 마우스 대신 더 간편한 양손 콘트롤러로 몰입감이 높은 게임이 가능하지만 걷고, 달리기와 같은 물리적 이동은 불가능합니다. 이에 ETRI가 개발한 VR 훈련시스템을 통해 물리적 공간과 가상공간의 경계를 허물 수 있는 초실감 VR 콘텐츠를 개발하고자 합니다.
기술적인 기대효과 측면에서는 상용화 적용이 가능한 핵심기술을 확보하고자 합니다. 본 기술에 활용된 핵심기술인 전 방향 이동장치(2차원 트레드밀)는 러닝머신과 유사해 보이지만, 정반대의 메커니즘으로 운용되는 기술입니다. ETRI 주관으로 개발한 전 방향 이동장치는 360도로 이동할 수 있도록 만들었습니다. 기계 속도에 맞춰 한 방향으로만 사용하는 기존의 러닝머신과는 다른 기술입니다. 전 방향 이동장치는 뛰고 달리는 사용자에 맞춰 속도와 방향이 바뀝니다. 다양한 센서가 사용자의 속도와 방향을 감지하기 때문입니다. 이렇게 만든 이유는 실전처럼 뛰어다니면서 훈련해야 하는 필요성에 기인합니다. 액션이 다양한 전투훈련에서는 이동장치가 모든 방향으로 사람이 이동하는 방향과 반대로 돌아가야 사용자가 몰입감을 가지고 훈련할 수 있습니다. 앞으로 추가 기술개발을 통해 상용화가 가능한 수준의 가상 전투훈련 시뮬레이션 핵심요소 기술 성능을 확보할 예정입니다.
또 HMD를 착용하고 훈련에 임하는 것이 아니기 때문에 어지러움이나 착용의 불편함에서 벗어날 수 있습니다. 가상환경 시현 장치 구축을 도입함으로써 VR 분야의 새로운 방향을 제시하고자 합니다.
아울러 군용 훈련 분야뿐만 아니라 가상현실 연동 스포츠 훈련 분야, 안전한 실내 환경에서 동기부여가 가능한 재활훈련 분야, 날씨 및 장소에 구애받지 않는 엔터테인먼트 산업 분야, 호화 선박 및 대형 구조물의 가상 설계 분야 등 민간 분야로도 진출이 가능합니다. 이를 통해 산업적 파급효과가 클 것으로 예상합니다. 실용화 연구를 통해 상용화 가능 수준의 기술을 확보하게 되면 특수전 가상훈련 분야에서는 미국 등 방산 선진국들보다 앞서나가게 될 것으로 기대합니다.
현재 확보된 핵심기술들은 기술 수준(TRL) 5~6단계입니다. 상용화를 위해서는 수요기업과 함께 기술 수준 7단계까지 끌어올리는 추가 기술개발이 필요합니다. 주요 개선할 기술은 4가지 정도가 있습니다. 먼저 첫 번째는 오르막 내리막을 경험할 수 있는 경사 조절이 가능한 3차원 전 방향 이동 시스템을 개발하는 것입니다. 지형의 경사 표현과 훈련자가 360도 전 방향으로 이동이 가능한 전 방향 이동장치 기술이 개발되어야 합니다.
두 번째는 실시간 훈련자 모션 분석 기술개발입니다. 이는 비 학습된 훈련자의 행동인식을 위한 딥러닝 기반 행동인식 엔진 개발입니다. 현재 기술 수준은, 학습된 사람에 대한 행동인식률은 95%이지만, 다양한 사람의 대상으로는 100msec 이내의 짧은 시간 내의 행동인식률은 80%대로 떨어집니다. 이에 연구진은 AI 기술을 활용한 행동인식률 향상 기술을 개발 중입니다. 세 번째는 실감력 향상을 위한 복합센서 내장형 햅틱 수트를 개발하는 것입니다. 햅틱 수트를 통해 훈련자들의 실시간 자세, 위치, 행동 및 보행 데이터를 수집하고, 분석하고자 합니다. 훈련 시 수집한 데이터를 분석하여 훈련자를 코칭하는 시스템 개발을 목표로 합니다.
마지막으로 네 번째는 군 사용자가 훈련시스템으로 운영할 수 있는 시스템 운영 및 통합 가상환경 제공 기술개발입니다. 무기류 및 360도 콘텐츠 영상 시현 장치를 개발하고, 훈련 결과에 대한 분석 및 피드백을 위한 개인 맞춤형 훈련 효과 분석 기술개발을 통해 몰입감을 증대하고자 합니다.
ETRI는 크게 두 가지를 목표로 합니다. 10년, 20년 뒤 미래 병사는 로봇과 전쟁을 하러 가야 합니다. 무시무시한 전쟁이지만, 어떻게 하면 생존력을 높이고, 전투력을 증강시킬 수 있을지 연구하는 것이 첫 번째 본 연구그룹의 목표입니다. 전장에서 승리할 수 있는 최첨단 훈련 시스템을 개발하는 것을 목표로 초저지연, 초실감 훈련시스템을 개발하고자 합니다.
두 번째는 아이언맨에 ‘자비스’와 같은 인공지능을 만드는 것입니다. 헬멧의 글라스를 통해 위치가 어디고, 적이 어디 있는지 알려주는 기기라 보시면 됩니다. 병사들에게 장착된 센서를 통해 전장의 환경을 인식하고, 위협을 식별하고, 적과 아군의 위치를 파악하고, 전투원들 간의 정보를 공유해 작전 상황에 최적의 지휘통제를 할 수 있는 기술개발을 주도적으로 연계 개발할 계획입니다.
현재 우리나라 ICT 우수성은 세계 최고 수준이다. 그러나 국방과학 기술력은 9위권을 웃돌고 있으며, 최근 보도에 따르면 일본의 국방력이 세계 6위권으로 한국을 앞선 상황이다. 그렇다면, 우수한 ICT를 국방과학 기술과 융합을 하면 어떨까? 또 주변에 있는 정부출연연구원의 기술을 국방기술과 융합, 협업해 발전에 함께한다면 국방력 증강에 큰 도움이 될 것이다. 이에 박상준 책임연구원은 “ETRI는 기확보된 기술들은 후속 실용화 사업을 통해 군에서 사용 가능한 시스템 수준으로 개발하고, 새로운 국방 기술개발로 미래 국방력을 강화시켜 나갈 계획입니다.”라고 전했다.