Technology  ______  HMD 기반 혼합현실 기술

공유하기  

   

현실보다 더 현실 같은 혼합현실

최근 많은 종류의 HMD(Head mount display) 출시로 다양한 장소에서 가상현실을 체험할 수 있게 되었다. 관련 콘텐츠도 시장에 출시되면서 가상현실과 증강현실은 사용자들에게 일반화된 개념이 되어가고 있다. 특히 HMD는 가상현실과 증강현실을 더 몰입감 있게 하는 3차원 영상을 제공한다. 산업계에서는 가상현실 기술이 더욱 발전할 것으로 보고 있으며, 최근에는 현실을 기반으로 몰입감을 제공하는 혼합현실 기술도 떠오르고 있는 분야이다. 가상현실, 증강현실의 일부 또는 독립적인 개념으로 분류되는 혼합현실. 그중에서도 HMD 기반의 혼합현실 개요와 기술 동향 그리고 ETRI에서 연구되고 있는 HMD 기반 혼합현실 기술을 소개한다.

몰입감 있고, 실감 나는 혼합현실 기술

혼합현실은 컴퓨터에 의해 생성된 가상의 콘텐츠를 현실인 것처럼 느끼도록 제공하기 위한 기술이다. 한쪽 끝이 실제 환경만을 그대로 캡쳐하여 보여주는 현실 환경(Real environment)이고, 반대편이 컴퓨터 시뮬레이션과 같은 가상 환경(Virtual environment)이라고 할 때, 그 가운데 현실 환경에 가상을 추가하는 증강현실(AR: Augmented reality), 가상환경에 현실을 더하는 증강가상(AV: Augmented virtuality)이 존재하며, 증강현실과 증강 가상은 현실과 가상이 혼합되어 있다는 측면에서 혼합현실이라고 정의한다.
혼합현실은 증강현실과 같이 현실을 기반으로 가상 객체를 제공하고, 가상의 콘텐츠를 가상현실과 같이 몰입감 있게 제공하는 기술이다. 따라서 혼합현실 기술은 진화된 증강현실 기술이라고 정의할 수도 있다.
증강현실, 가상현실과 마찬가지로 혼합현실을 즐기기 위해서는 HMD가 필요하다. 가상현실에 활용되는 비투과형 HMD(Closed HMD)는 시야가 폐쇄되어 별도의 장치 없이 실 객체를 직접 볼 수 없다. 반면 혼합현실에 사용되는 투과형 HMD는 중첩된 가상객체와 함께 실제 세계를 보여준다. 또, 광학적 투과형 HMD는 부분적으로 투명한 광학 결합기를 통해 사용자는 눈으로 직접 실제 세계를 볼 수 있고, 부분적으로 반사된 광학 결합기를 통해 모니터로부터 재현된 가상객체 이미지를 반사하여 볼 수 있다.
반면, 비디오 투과형 HMD는 비투과형 HMD에 사용자의 현재 시점의 실세계를 보여주기 위해 하나 또는 두 개의 카메라를 장착해 실세계영상과 가상 객체가 하나의 장면으로 결합하여 사용자에게 보인다.
혼합현실 디스플레이 형태는 착용형 HMD와 투명 모니터 형태의 디스플레이를 사용하는 방법이 있다.

HMD 혼합현실 기술 분야의 선두주자, 마이크로소프트

현재 가상현실, 증강현실, 혼합현실 기술 분야는 마이크로소프트, 애플, 구글, 인텔 등 IT 글로벌 기업들이 자신들의 기술 개발과 더불어 기존의 주요 기술을 가진 스타트업 기업들의 합병을 통해 시장 선점을 위한 하드웨어 단말 그리고 소프트웨어 플랫폼 개발을 통해 독립적인 생태계 구축을 진행하고 있다.
특히 혼합현실 기술 분야의 선두 기업인 마이크로소프트와 매직립(Magic Leap)을 꼽을 수 있다. 매직립은 홈페이지 컨셉트 영상을 통해 혼합현실 서비스의 미래를 보여준다. 우리가 꿈꾸던 모습이 생생하게 눈앞에 펼쳐진다. 그러나 기술적으로 외부에 공개된 내용은 한정적이다. 그래핀을 소재로 한 투명한 ‘포토닉스 칩, 초소형 프로젝션’ 등 공개된 핵심 기술에 대한 키워드로 볼 때, HMD 기반의 혼합현실 기술은 아니다.
마이크로소프트는 2015년 홀로렌즈(HoloLens) 시연 영상을 통해 거실 공간에서의 가상 TV 스크린 등 다양한 가상 디지털 장치의 제공, 실시간 공간 스캔을 통한 게임 객체 가시화, 실 객체 기반 디자인, 영상 통화 기반의 협업 등 가장 현실적인 HMD 기반의 혼합현실 서비스를 제시했다. 이후, 2016년에는 최고급 HMD인 홀로렌즈 개발자 버전을 출시해 전 세계 개발자를 통한 혼합현실 서비스와 콘텐츠 확보에 노력하고 있다. 마이크로소프트의 홀로렌즈는 실시간 공간 스캔과 위치 추적을 통해 현재 공간에 가상 객체를 고정하는 높은 성능의 안정성을 보여준다. 또, 스피커를 통해 시각뿐 아니라 청각으로도 공간감을 느낄 수 있게 해준다. 더 나아가 인물에 대한 고품질의 3D 모델을 생성하고 이를 압축하여 실시간으로 전송하는 3D 캡쳐 기술을 개발한 ‘홀로포테이션(Holoportation)’ 프로젝트의 결과물을 홀로렌즈와 연계하여 혼합현실 기반의 실감형 텔레프레전스(Telepresence)를 제공하는 기술을 2015년 공개하였다.

ETRI의 HMD 기반 혼합현실 기술

ETRI는 실-가상계의 상호 연동이 가능한 지능형 혼합현실 공간(별명: 스마트스페이스) 구현이라는 목표 아래 HMD 기반 혼합현실 기술을 개발해왔다.
스마트스페이스 기술은 공간 정보를 기반으로 사용자가 인터랙션 가능한 체험형 가상 객체의 제공뿐 아니라 실객체 기반의 가상 객체를 제공하고, 가상 객체의 인터랙션을 통해 실 객체와 상호작용할 수 있는 혼합현실 공간을 제공한다. 요소기술로 ▲HMD 위치 및 자세 추적 기술 ▲다수 키넥트(Kinect) 기반 실시간 객체 생성 기술 ▲다중 공간 스마트 객체 제어 기술 ▲HMD 기반 사용자 입력을 위한 Palm UI 기술, ▲스마트스페이스용 센서 통합형 광학기반 투과형 HMD 디바이스 개발을 진행했다.
HMD 위치 및 자세 추적 기술은 다수의 가상객체가 증강될 현실공간의 3차원 영상 정보를 저장하고, 이들을 HMD에 장착된 카메라로부터 수집되는 영상과 비교하여 HMD의 위치 및 자세를 추정한다.
실시간 3D 객체 생성 기술은 공간 내 사용자에 대한 3D 모델을 실시간으로 생성하여 원격으로 전송하는 원격 공간 사용자 간의 텔레프레전스와 원격으로부터 수신되는 사용자의 3D 모델을 의자와 같은 실 객체 위치에 재현하여 마치 원격의 사용자가 현재 공간에 마주 앉아 있는 것과 같은 서비스를 제공하는 기술이다.
다중공간 스마트 객체 제어 기술은 스마트스페이스에서 증강현실과 원격제어를 결합한 혼합현실 기반 객체 제어 기술을 제공한다. 현재 공간 또는 원격 공간의 실 객체에 대한 제어용 가상 객체를 증강하여 제공하고, 이 가상 객체 제어를 통해 실 객체와 상호 연동할 수 있다.
HMD 사용자 입력 인터페이스 기술은 두 손이 자유로운 HMD 착용자를 위한 사용자 입력 인터페이스를 위해 손바닥, 손가락의 인식을 통한 손바닥 터치 기반의 사용자 입력을 제공한다. 서비스가 가능한 타깃 객체가 시야에 존재할 때, 손바닥을 들도록 알림 아이콘을 제공하여 사용자가 직관적으로 인터페이스를 사용할 수 있도록 한다.
스마트스페이스용으로 개발된 센서 통합형 HMD는 HDMI 인터페이스와 USB3.0 케이블을 통해 PC와 유선으로 연결되어 동작된다. 광학 기반 투과형 HMD로 사용자가 바라보는 공간 정보 획득을 위한 RGB 카메라와 손바닥 기반 사용자 입력 인식을 위한 깊이(Depth) 센서, HMD 자세 추적을 위한 IMU 센서를 HMD에 장착했다.
혼합현실 기술은 다양한 산업 분야로 적용이 가능한 기술이다. 따라서, 혼합현실을 위한 핵심 기술뿐 아니라 대용량 3D 영상에 전달을 위한 네트워크 및 전송 기술 향상, 영상 품질 향상과 실시간 처리 기술, HMD 경량화, 고품질화를 위한 센서와 디스플레이 H/W 기술 등 관련 분야의 연구 개발과 콘텐츠, 서비스 확보를 위한 연구가 필요하다.

※ 논문 다운받기(논문 저자 : 김화숙, 엄기문 스마트미디어연구그룹 책임연구원 / 전준기 스마트미디어연구그룹 연구원 / 김선중 스마트미디어연구그룹 그룹장)
- 본 글은 전자통신동향분석 「HMD 기반 혼합현실 기술」논문을 재구성하여 작성했습니다. 자세한 내용은 논문을 확인해주시기 바랍니다. -