VOL. 180 July 2021
3D 입체 영상,
우리 삶을 그대로 옮기다
콘텐츠연구본부 정일권 본부장
최근 VR, AR 등 실감나는 입체 영상 콘텐츠에 대한 수요가 더욱 늘어나고 있다.
입체 영상 콘텐츠는 2D 콘텐츠에서는 느낄 수 없었던 색다른 경험을 제공하고
교육, 훈련, 의료, 과학 등 수많은 분야에 활용할 수 있어 많은 관심을 받고 있다.
이러한 입체 영상을 비전문가도 고품질로 제작할 수 있는 기술을 개발한
ETRI 콘텐츠연구본부 정일권 본부장을 만나 이야기를 들어보았다.
박사님과 콘텐츠연구본부를
소개해주세요.introduction
저는 1999년에 현재 콘텐츠연구본부의 전신인 가상현실연구센터에 선임연구원으로 입사했고, 2019년부터 콘텐츠연구본부 본부장을 맡고 있는 정일권이라고 합니다. ETRI 콘텐츠연구본부는 제가 입사했던 1999년 가상현실연구센터 시절부터 VR을 비롯한 가상현실을 연구해왔습니다. 지금은 조직이 조금 더 커져서 콘텐츠연구본부가 됐죠.
비정형 플렌옵틱 기술이란
무엇인가요?Plenoptic
플렌옵틱(Plenoptic) 기술은 진정한 의미의 홀로그램이 완성되기 전에 사람들이 홀로그램처럼 콘텐츠를 감상할 수 있도록 입체 영상을 촬영, 처리, 영사하는 기술이라고 설명할 수 있습니다. 여러 대의 카메라로 촬영한 정보들을 수집·처리해 사용자가 가상현실 안에서 시점과 위치를 자유자재로 바꿔가며 즐길 수 있는 콘텐츠를 만드는 기술이죠.
이 플렌옵틱 기술을 가지고 양안 시차(왼쪽, 오른쪽 눈에 맺히는 상에 서로 차이가 생기는 현상)를 구현하면 3D TV에 표현 가능한 3D 영상이 되고, 운동 시차(가까운 물체는 빠르게, 멀리 있는 물체는 느리게 움직이는 것처럼 보이는 현상)를 구현하면 홀로그램이 됩니다. 이것들은 평판형 디스플레이에서 구현하는 것이고, 현재 잘 알려진 HMD(Head Mounted Display) VR(Virtual Reality)고글에 적용하면 가상현실이 실제 눈앞에 펼쳐진 듯한 콘텐츠를 감상할 수도 있습니다.
Youtube같은 영상 플랫폼에서 360도 VR 영상을 접해보셨을 텐데, 이런 영상들은 한 장소에서 여러 대의 카메라를 한데 뭉쳐서 촬영하는 방식입니다. 이렇게 촬영한 영상은 특정한 장소에 가서 주위를 둘러보는 것 같은 효과를 줘요. 그런데 어떤 물체를 좀 더 가까이 보려고 하거나 다른 각도에서 보려고 머리를 움직여도 사용자의 위치는 고정되어 있기 때문에 영상 속 물체와의 거리가 변하지는 않습니다. 이렇게 고정된 위치에서 주변을 둘러볼 수 있는 것을 수학적으로는 3자유도라고 합니다. 저희가 개발한 플렌옵틱 기술은 6자유도라고 해서 사용자의 움직임에 따라 자연스럽게 반응하는 콘텐츠를 제작할 수 있습니다. 사용자가 마치 가상현실 속에 들어가 실제로 움직이는 것처럼 느끼는 것이죠.
이 플렌옵틱 기술을 저희는 정형 플렌옵틱에서 비정형 플렌옵틱으로 발전시켰습니다. 정형 플렌옵틱은 카메라가 촬영한 영상을 처리하는 과정을 간소화하기 위해서 바둑판 격자모양(4x4, 6x6)처럼 고정된 형태로 카메라를 배치해서 촬영합니다. 그러나 비정형 플렌옵틱 기술은 카메라를 자유롭게 배치할 수 있을 뿐 아니라 다양한 기종의 카메라를 함께 사용할 수도 있습니다. 촬영에 있어서 자유도가 높아진 것이죠. 이렇게 자유도가 높아지면 입체 영상에서 자세하게 표현하고 싶은 부분에는 카메라를 많이 배치하고, 배경처럼 크게 중요하지 않은 부분에는 카메라를 적게 배치하는 등 촬영과 연출에 있어서 이점이 많습니다. 대신 처리해야하는 데이터의 양과 복잡도가 훨씬 높아 도전적인 면도 있죠.
비정형 플렌옵틱을
개발하게 된 계기는?motive
저희 콘텐츠연구본부는 인간의 5감에 대해서 연구하는 부서입니다. 시각만이 아니라 청각, 후각, 촉각 등 미각을 제외한 모든 감각에 대한 연구가 진행되고 있고, 미각 또한 곧 연구할 계획을 가지고 있어요. 그 중에서도 시각은 인간이 받아들이는 정보의 80%를 차지하는 만큼 가장 활발하게 연구가 진행되고 있습니다.
콘텐츠연구본부는 가상현실연구센터 시절부터 시각과 관련해 CG(Computer Graphics)에서 가상현실까지 연구를 지속하고 있습니다. 기존 2D 영상과 관련된 기술에서 시작했던 것이 이제는 3D를 넘어서 입체 영상, 홀로그램 연구도 진행하고 있습니다. 이중에서도 홀로그램에 대해 이야기해보면, 보통 소비자가 생각하는 영화 속의 홀로그램과 같은 영상을 송출할 수 있는 하드웨어, 예를 들어 홀로그램 TV같은 기기들이 나오려면 최소 5년 이상 걸릴 것으로 예상됩니다. 하지만 소비자의 눈높이는 이미 높아져 있죠. 그래서 홀로그램으로 가는 중간 과정으로써 비정형 플렌옵틱 기술을 연구하게 된 것입니다.
비정형 플렌옵틱 기술의
기대효과는?expectation
요즘 VR과 관련된 많은 콘텐츠가 있죠. 그런 곳에서 체험하는 VR은 전부다 CG에요. CG는 최근 10년동안 GPU와 더불어 눈부시게 발전을 해왔습니다. 이 VR 콘텐츠에서 느끼는 자유도가 6자유도입니다. 내가 움직이면 주변 배경도 나의 움직임에 맞춰서 움직이죠. 이렇게 CG에서는 6자유도가 현실적으로 표현되는데, 사람들은 실사에서도 그런 몰입감과 자유도를 체험하고 싶어합니다.
그러나 기존 360도 동영상은 3자유도이기 때문에 실제 현장에 있다는 현실감이 떨어지고, CG로 만든 입체 영상들은 진짜가 아닌 가짜이기 때문에 빛이 복잡하게 굴절, 산란되는 유리 등은 표현할 수 없는 등 제약이 있어요. 그러나 저희가 개발한 비정형 플렌옵틱 기술은 실제 현장에 있는 것처럼 6자유도를 구현할 수 있습니다. 실제 사물들을 촬영해 이미지를 처리하는 방식이기 때문에 표현에 제약도 없어요. 말 그대로 실제 이미지를 고스란히 옮겨 놓은 것이니까요.
플렌옵틱 기술의 이런 장점을 이용하면 실감 체험이 필요한 교육이나 훈련용 콘텐츠를 효과적으로 제작할 수 있을 것으로 보입니다. 교육, 국방, 의료 등 다양한 영역에서 사용될 수 있고, 소비자 입장에서도 플렌옵틱 기술을 활용한 광고, 영화, 드라마 등 실감나는 콘텐츠를 제작하고 즐길 수 있겠죠.
더불어 플렌옵틱 기술이 더욱 발전되면 최근 주목받고 있는 메타버스(Meta-Verse) 콘텐츠 시장에서도 큰 역할을 할 것으로 보입니다. 실사를 바탕으로 촬영이 진행되기 때문에 실제와 구분하기 힘들만큼 사실적이고 차별화된 콘텐츠를 제작할 수 있기 때문이죠.
앞으로의 연구 방향은?
최종적인 목표는 무엇인가요?The final goal
기가코리아(Giga KOREA)라는 사업에서 제가 콘텐츠 과제 책임자를 맡은 적이 있습니다. 당시에는 수평으로 여러 대의 카메라를 배치해 수평 시차를 만들어내고 실시간으로 입체 디스플레이에 구현하는 연구를 진행했어요. 물론 지금의 플렌옵틱 기술은 수평 시차뿐 아니라 수직 시차와 함께 정형에서 비정형까지 발전했지만, 아직 실시간으로 입체 영상을 처리할만큼 기술이 발전되지 못했습니다. 이런 점을 해결하기 위해 알고리즘을 개선하고 최신 하드웨어를 도입해 이미지 처리 성능을 높이고, 결과물의 품질도 끌어올리는 것이 저희의 목표입니다.
구체적으로는 플렌옵틱 기술로 처리한 영상의 해상도가 입체 영상에서의 4K, 30fps에 이르는 퀄리티와 그것을 실시간으로 처리할 수 있는 성능을 목표로 연구를 진행하고 있습니다. 더불어 욕심이 있다면 연구개발에서 멈추지 않고 개발한 기술을 다양한 분야에 실증함으로써 연구를 지속하는 것입니다. 이를 위해 지금은 전시관이나 박물관, 무형-유형문화재를 기록하는 등 시범적으로 활용되고 있고, 이후에도 다양한 실증과제를 수주해서 연구를 이어갈 계획입니다.
Editor epilogue
콘텐츠연구본부와 본인의 최종 목표를 묻는 질문에 정일권 본부장은 ‘현실과 구분할 수 없는 것처럼 생생한 꿈과 같은 콘텐츠를 제작하는 기술을 개발하는 것이 최종 목표’라고 말했다. 다른 사람이라면 말도 안되는 소리라며 농담으로 받아들였겠지만, 그의 표정과 목소리에선 굳은 확신이 느껴졌다. 정일권 본부장과 ETRI 콘텐츠연구본부를 통해 만들어질 미래 콘텐츠 시장의 새로운 모습이 기대되는 순간이었다.
