VOL. 180 July 2021
0과 1로 이루어진 세계,
딥러닝 기반
입체 영상 획득 기술
애플은 지난 2020년 10월 LiDAR 센서를 탑재한 아이폰 12를 발표했다.
레이저를 이용해 사물과의 거리, 깊이 정보를 수집하는 기술인 LiDAR를 이용해
AR을 비롯한 다양한 서비스를 제공하겠다는 목표도 함께 발표하였다.
이처럼 3D 정보를 활용한 기술들이 우리 일상 속으로 들어오고 있다.
3차원 깊이맵 연구의 의미3 Depth Map
3차원 컴퓨터 그래픽에서 깊이맵(Depth Map)은 관찰시점에서 물체 표면으로부터 관찰자까지의 거리 정보가 담긴 영상을 말한다. 최근에는 센서, 카메라, 조명계 및 시간 분해 검출기를 사용해 정확한 깊이맵을 측정하는 추세다. 깊이맵 이미지를 통해 2D 컬러 이미지로부터 정확한 깊이를 추정하면 주어진 장면의 이해, 내비게이션, 이미지 분할 맵, 초점면 변경, 증강현실 복원 등이 가능해진다. 이렇게 획득된 3차원 영상 정보는 3D 모델링, 자율 차량 내비게이션, 물체 인식, 의료영상, 항공-국방기술, 로봇공학 등 다양한 분야에서 쓰이고 있다.
최근 깊이 추정의 연구개발은 2D 이미지로부터 3D 복원을 수행하기 위해 합성곱 신경망을 활용하는 것에 중점을 두고 있다. 합성곱 신경망은 합성곱 연산을 데이터 처리에 활용한 신경망을 의미하는데, 쉽게 말해 2차원 입력 데이터에 필터를 적용해 이미지의 공간 데이터를 처리하는 방법으로 이미지 분류와 처리에 뛰어난 성능을 보인다.
깊이맵 측정 기술 동향
Technology Trends
깊이맵을 측정하는 데에는 현재 다양한 방법이 시도, 연구되고 있다. 먼저 DPSNet은 2019년에 발표된 기술로, 카메라로 촬영된 작은 모션 클립으로부터 별도의 카메라 보정을 필요없이 고품질의 깊이맵을 얻을 수 있는 알고리즘이다. 특히 DPSNet은 스위핑 알고리즘(Sweeping algorithm)1)을 사용하여 깊이맵을 효과적으로 유추할 수 있다는 장점이 있다.
이 방법은 단안 카메라로부터 얻은 정보를 입력하는 것 만으로 높은 정밀도를 가진 깊이맵을 얻을 수 있는 것이 특징이다. DPSNet 모델을 토대로 한 실증 기술이 더 발전되면 다양한 데이터에서 카메라 자체 교정 및 고품질 깊이 측정을 수행하도록 할 수 있을 것으로 기대된다.
1) 스와핑 알고리즘(Sweeping algorithm)
다각형과 같은 주어진 선분의 집합에서 선분 사이의 교점을 효과적으로 구하는 알고리즘
두번째로 현재 가장 잘 알려진 기술인 LiDAR는 레이저 빔을 목표물에 비춰 물성, 사물까지의 거리, 3D 영상 정보 등을 수집할 수 있는 기술이다. LiDAR 시스템은 출력과 탐색범위, 안정성 등 면에서 한계점이 있다. 하지만 최근에는 학습기반 알고리즘을 통해 이와 같은 한계점을 극복해나가고 있다. 2020년에 미국의 스탠포드대학 연구팀은 LiDAR 시스템에 부족한 깊이 정보와 파손된 요소들을 훈련함으로써 악조건에서도 깊이맵을 완성시킬 수 있음을 입증하기도 하였다.
마지막으로 DenseDepth 모델은 인코더-디코더 구조를 지니며 단일 RGB 이미지로부터 고해상도 깊이맵을 계산하는 합성곱 신경망을 제시한다. 인코더-디코더 구조는 경계면(Boundary)을 더 정확하게 나타내는 고품질 깊이맵 결과를 도출하도록 하는 역할을 수행한다. 인코더-디코더 구조 기반 깊이맵 추정 방법은 크게 두 가지로 나눌 수 있다. 첫번째는 원본 이미지의 좌우 스테레오 2D 이미지 쌍으로부터 생성하는 방법이며, 두 번째는 다시점 영상들로 구성된 여러 이미지들로부터 생성하는 방법이다.
딥러닝 기반
3D 이미지 처리 기술 동향Hologram
최근 들어 머신 러닝 기술을 응용한 기계학습 기술들이 홀로그래픽 광학 분야에 도입되고 있다. 홀로그램은 기준파(Reference wave)와 물체파(Object wave)라는 두가지 빛의 간섭에 의해 물체의 공간정보를 기록한 것을 말한다. 이때 컴퓨터에 의해 합성되는 홀로그램을 CGH(Computer-Generated Hologram)라고 말한다.
CGH는 홀로그램 데이터의 합성 속도 향상, 제한된 시야각 개선, 그리고 낮은 품질의 복원 영상 등과 같이 해결해야 할 문제들이 남아 있다. 이에 최근 머신 러닝 기술을 응용한 기계학습 기술들이 홀로그래픽 광학 분야에 도입되고 있다. 여러 딥러닝(또는 심층 신경망)기반 광학 연구 프로젝트들이 위상 정보 복원, 초해상도, 고스트 이미징 문제 등을 해결하기 위해 진행되고 있다.
더불어 최근 디지털 홀로그래픽 이미징 기술은 생물학적 응용과 산업적 응용에서 3차원 물체의 파면 정보를 제공할 수 있는 기술로 주목받고 있다. 그러나 이미징 센서가 가지고 있는 픽셀 구조의 한계는 디지털 홀로그램 데이터에도 영향을 미치며, 이는 홀로그래픽 복원 영상의 화질에도 악영향을 미친다.
이런 제약을 극복하기 위해서 2019년 노스웨스턴 폴리텍 대학/홍콩대학의 연구팀은 고품질의 디지털 홀로그램 콘텐츠를 획득할 수 있는 초해상도(SRH: Super-Resolution for Hologram) 딥러닝 모델을 제안하였다. 대규모 데이터를 컨볼루션 신경망으로 훈련시킴으로써 저해상도(USAF 1951 resolution tar- get, 512×512)의 홀로그램 데이터를 고품질(1,024 ×1,024)로 출력시킬 수 있는 홀로그램 해상도 향상 기술이다.
입체 영상 기술,
영화 속 장면을 현실로Super-realistic
지금까지 딥러닝과 합성곱 신경망을 이용해 깊이 정보와 3D 이미지 획득·처리 기술 최신 연구동향을 살펴보았다. 딥러닝 연구 개발에 있어 지금과 같은 추세라면 이동 중인 자율차량 내에서 단일 카메라로 촬영한 영상으로부터 홀로그램을 실시간으로 처리하게 되는 시대도 멀지 않을 것이다. 나아가 개인의 모바일 단말에서 촬영된 영상들로부터 360° 전방향에서 재생되는 초실감(Super-realistic) 영상을 원격 대화면으로 체험할 수 있 는 시대도 멀지 않았다.
아직까지 딥러닝 기반 실감 영상처리 SW는 해외 의존도가 매우 높은 기술 분야이며, 우리나라는 선진국에 비해 전문 인력 및 기술 경쟁력이 낮은 편이다. 그러나 관련 기관들이 원천 기술 확보가 가능한 공백 기술·핵심 요소 부문을 발견해 내고, 학습 데이터의 신뢰도 및 성능저하 극복이라는 과제를 해결해 나간다면 3차원 영상 처리 분야를 선도할 수 있을 것이다.
본 내용은 전자통신동향분석 35권 5호(통권 185)를 참고,
‘딥러닝기반 입체 영상의 획득 및 처리 기술 동향’(윤민성)을 재구성한 글입니다.
