Technology  ______  인터랙티브 초다시점 콘텐츠 제작 기술

공유하기  

   

3D 영상을 더 편안하게 즐기는 초다시점 콘텐츠

2009년 영화 ‘아바타’의 흥행과 함께 전 세계적으로 3D 열풍이 불었다. 3D 영화의 생생하고 입체적인 영상은 관람객에 영화에 대한 몰입감을 선사했고, 안방에서도 3D 영상을 볼 수 있는 3D TV 시장의 성장으로 이어졌다. 최근에는 VR(Virtual reality) 열풍으로 360도 VR 영상 제작 기술들이 개발되고 있다. 이들 기술은 모두 3D 안경 또는 HMD를 착용해야 즐길 수 있는데 착용에 따른 불편함과 사람에 따라서는 거부감도 느낄 수 있다. 초다시점 디스플레이 기술은 별도의 장치 착용 없이 양질의 입체 영상을 즐길 수 있도록 개발되고 있다.

인터랙티브 초다시점 콘텐츠 기술 동향

초다시점은 시점 영상 간 간격이 조밀하여 관찰자의 동공(5mm 정도 크기) 안에 2개 이상의 시점 영상이 맺히도록 설계된 다시점 디스플레이를 일컫는다. 초다시점 디스플레이는 단안 초점 조절이 가능한 입체 영상 표현이 가능한 것으로 알려졌다. 궁극의 3D 디스플레이라 불리는 홀로그램과 유사한 측면이 있다. 대학과 연구소를 중심으로 초다시점 영상 획득 및 가시화 관련한 연구가 이루어지고 있으며, 미국, 일본, 네덜란드, 한국에서 상용 다시점 디스플레이를 생산하고 있다. 상용 다시점 디스플레이는 9개 또는 4개 시점이 가장 많으며 다수의 시청자가 안경 없이 동시에 입체 영상을 감상할 수 있으나, 아직 본격적인 시장 형성이 되지 않았으며 콘텐츠 제작의 어려움이 주된 원인으로 추정된다.
ETRI는 수십 시점 이상을 가진 초다시점 영상콘텐츠 제작기술을 개발 중이다. 방송국 등 전문 콘텐츠 제작자를 위한 실시간 초다시점 영상 생성 시스템, 일반 사용자를 위한 휴대형 다시점 촬영 장치 및 다시점 제작 도구를 개발 하였으며 안경 없이 입체를 보며 자연스럽게 상호작용할 수 있는 기술도 개발하였다. 실시간에 수백 시점의 CG(Computer graphics) 영상을 렌더링하여 초다시점 디스플레이에 표현하는 기술도 개발하여 무안경 입체로 게임이나 VR을 즐기는 것이 가능하게 되었다. 인터랙티브 초다시점 콘텐츠 해외 기술 동향은 어떠할까? 미국 남가주 대학은 피코 프로젝터 어레이를 이용한 72 시점 수평 시차 디스플레이를 구축하고 시점별 640x480 해상도 영상을 실시간에 가시화하는 렌더링 시스템을 개발했다. 미국 Google은 2015년 Google I/O에서 16대의 GoPro HERO4 Black 카메라를 연결하여 360도 촬영 가능한 카메라 리그 ‘JUMP’를 선보였다. 나고야 대학은 100개의 다시점 카메라 시스템을 갖추고 촬영된 영상을 서버로 전송하여, 깊이 맵 기반의 임의시점을 영상을 실시간으로 생성하고, 이를 다시 모바일 단말로 보내는 중간시점 TV 시스템을 구축했다. 미국 카네기멜론 대학(CMU)은 가까운 거리의 깊이 정보 획득이 가능한 깊이맵 카메라와 웨어러블 시스템을 접목하여 손가락의 움직임으로 실공간의 모든 표면에 나타난 가상객체와 상호작용이 가능한 Omnitouch 기술을 개발했다. 미국 워싱턴 대학(UW)은 부가적으로 몸에 부착하는 Sensing device나 Line-of-sight가 필요 없는 Wi-Fi 시그널 기반 제스처 인식 솔루션을 개발했다. Foundry사와 NewSight사는 영상을 제공하는 저작기술을 제공하고 있다.

초다시점 영상 콘텐츠 제작과 콘텐츠 저작도구

어지러움 없이 편안하게 초다시점 영상을 초다시점 디스플레이에서 보려면, 초다시점 디스플레이 자체도 인체에 맞게 잘 설계되어야 하지만, 그 안에 담기는 초다시점 영상 콘텐츠도 사람 눈에 편안하게 만들어져야 한다. 입체영상의 입체감을 살리기 위해 충분히 넓은 각도의 시점에서 피사체를 영사에 담으면서도, 관객이 초다시점 디스플레이를 통해 피사체를 보며 움직일 때, 영상 변화에 있어서 연속감을 느껴야 한다. 초다시점 영상제작기술은, 초다시점 디스플레이가 제공하는 정해진 시점 수 안에서 불연속적인 시점별 영상들이 피사체의 연속감을 다치지 않게 하려는 적절한 타협점을 찾는 데 있다. 초다시점 영상시스템이 가진 물리적 조건은 다음과 같다. 첫째, 초다시점 디스플레이가 제공하는 시점 수는 제한적이다. 둘째, 충분한 입체감을 느끼려면 피사체를 촬영한 양 끝 시점 카메라 간의 각도가 커야 한다. 셋째, 초다시점 실사영상 제작의 경우, 다시점 카메라 리그에서 촬영된 영상들만으로는 어지러움 없이 눈이 편안한 초다시점 영상을 만들 수 없다는 점이다.
초다시점 영상 콘텐츠 저작도구에서 제작 전 과정은 영상 촬영, 영상보정(위치 동기화), 영상 변환, 영상 압축, 영상 출력의 5단계로 구분하여 진행된다. 다시점 실사 영상 촬영은 일정한 간격과 방향으로 배치된 다수의 카메라가 장착된 리그를 사용한다. 이때, 카메라들의 평행배치와 집중배치를 휠 하나로 손쉽게 제어할 수 있도록 만들었다. 다시점 카메라 리그에서 촬영된 영상들은 거의 모든 경우, 시간, 색상 차이가 있고 카메라 자세가 일정하지 않아 통일된 형태로 동기화하는 것이 필요하다. 다시점 카메라 리그에서 촬영된 영상들의 시간상 시작 시점이 다를 수 있으므로 일치시키는 시간 동기화가 필요하다. 카메라의 방향과 위치에 따라 조명 조건이 상이하여 같은 시점의 영상들이라도 색상차이가 발생하므로 표준컬러패치를 사용하거나 각 영상의 히스토그램을 조정하여 색상차를 줄이는 것이 일반적이다. 다시점 카메라 리그에서 촬영된 모든 영상이 하나의 카메라 자세에서 촬영된 결과를 가지는 것은 거의 불가능하기 때문에 위치 동기화가 필요하다. 다시점 영상들의 위치 동기화를 위한 처리 과정에는 영상 캘리브레이션 과정과 영상 정렬과정이 있다. 영상 캘리브레이션 과정을 통해 각 카메라의 자세 정보를 찾아내고, 각 카메라의 자세를 동기화하는 리매핑 정보를 구하고 이를 통해 정렬된 영상을 생성한다. 초다시점 영상을 만드는 데 필요한 중간시점 영상은 시차 정보를 구하는 것이 필요하다. 시차정보를 활용하는 DIBR(Depth image-based rendering), Image domain warping 등의 방법을 사용하여 생성할 수 있다. 초다시점 영상 처리에 있어서 최종 시점 수가 많을수록 중간시점 영상들을 포함하여 처리해야 할 전체 영상 데이터양이 매우 크므로 초다시점 영상을 압축하여 보관할 필요가 있다. 이를 위해 인접 프레임 간 영사 압축과 인접 시점 간 영상 압축을 동시에 지원하는 기술이 활용되고 있다. 준비된 초다시점 영상들은 초다시점 디스플레이에서 출력 가능한 형태로 변환하는 것이 필요하다. 자연스러운 입체감을 만들기 위해 조정하는 작업과 영상 분할 작업이 필요하다.

콘텐츠 스트리밍 기술

초다시점 영상 콘텐츠 스트리밍 기술은 여러 개의 다른 시점의 카메라들에서 촬영된 영상들을 스트리밍하여 초다시점 디스플레이에서 사람의 눈이 편안한 초다시점 영상을 볼 수 있도록 하는 것이다. 이 과정은 기본적으로 많은 양의 데이터 처리를 고려한 H/W 및 알고리즘적 장치를 사용하여 시점 영상들을 동기화하는 것이 필수이다. 초다시점 영상 콘텐츠를 스트리밍하여 보려면 시점 영상간의 시간적 동기화, 색상 동기화, 영상 정렬, 깊이맵 계산, 중간영상 생성이 필수적으로 필요하다. 이 중 시간적 동기화, 색상 동기화 및 영상 정렬은 촬영 환경 및 H/W 및 S/W를 사용하여 미리 맞추어 놓고 이후 깊이맵 계산과 중간영상 생성, 필요시 CG 합성을 한다. ETRI에서 개발한 초다시점 영상 콘텐츠 스트리밍 시스템은 18개의 일렬로 늘어선 카메라들로부터 획득된 영상들은 3개의 노드 서버들로 들어와 동기화 및 전·배경 분리가 된다. 노드 서버들은 계산한 전·배경 분리 영상 및 원래 영상들을 획득 서버로 전송한다. 획득 서버에서는 이들로부터 깊이 맵을 계산하여 영상 및 깊이 맵 영상에 CG 영상을 합성한 영상을 만들어 중간영상 서버로 전송한다. 중간영상 서버에서는 받은 18개의 영상에 적절한 수의 중간시점 영상을 만들어 초다시점 디스플레이에서 보일 초다시점 영상으로 먹싱한다. 이 영상은 초다시점 디스플레이에 보내져 관객이 스트리밍된 초다시점 영상을 즐길 수 있다. 디지털 콘텐츠와 상호작용을 위한 사용자 제스처 인식을 위해 카메라(RGB, Depth 등) 또는 웨어러블 센서로부터 획득한 영상 및 신호 데이터를 분석하여 인식할 수 있는 다양한 방법들이 연구되어 왔다. 초다시점 콘텐츠의 특징은 사용자의 위치에 따라 각기 다른 방향의 입체 영상을 볼 수 있다는 것이다. 사용자의 위치에 따른 제약이 존재하지 않도록 인간의 신체에 착용하여 몸의 움직임 제스처를 입력 수단을 활용한다. 다시점 콘텐츠 사용자의 위치 제약 없이 상호작용 가능한 웨어러블 디바이스 기반 제스처 인식 기술이다. 반지형 디바이스 기반 제스처 인식 기술은 손가락의 움직임을 자이로 센서 및 가속도 센서 정보를 이용하여 제스처를 인식함으로써 컴퓨터나 주변 기기 제어 및 콘텐츠와 상호작용할 수 있는 장점으로 다양한 반지형 디바이스가 선보이고 있다. 그런데, 반지형 디바이스 기반 제스처 인식 기술은 자이로 센서 및 가속도 센서 정보를 이용 손가락의 움직임 정도만 인식함으로써 콘텐츠와의 상호작용에 있어 한계를 가지고 있다. 이에 반해 손목 또는 팔목에 착용 가능한 밴드형 디바이스 기반 제스처 인식 기술은 맨손 손가락의 움직임에 따른 근전도 및 손목 힘줄 변화 등의 생체신호 변화를 감지하고 인식함으로써 다양하고 정밀한 상호작용 응용에 적용할 수 있다.

실사 다시점 영상의 경우 복잡한 단계를 거쳐야 콘텐츠 제작이 가능하지만, 이러한 기능들을 지원하는 저렴한 촬영장치와 제작도구가 제공되면 초다시점 콘텐츠 제작비용을 낮출 수 있어 많은 다시점 콘텐츠들이 쉽고 빠르며 저렴하게 생산되어 유통될 기반을 마련할 것이다. ETRI에서 개발된 초다시점 콘텐츠 제작 도구, 초다시점 실시간 스트리밍 시스템 그리고 초다시점 콘텐츠를 위한 웨어러블 상호작용 기술은 새로운 무안경 입체 콘텐츠 시장 활성화에 도움이 될 것으로 기대된다.

※ 논문 다운받기(논문 저자 : 정재숙, 허기수 차세대영상연구실 선임연구원 / 김상원 차세대영상연구실 책임연구원 / 정일권 차세대영상연구실 책임연구원·실장)
- 본 글은 전자통신동향분석 논문을 재구성하여 작성했습니다. 자세한 내용은 논문을 확인해주시기 바랍니다. -