Technology  ______  VR 미디어 표준화 동향

공유하기  

   

차세대 VR 미디어의 표준화를 위한 준비

마치 현실처럼 구성된 가상공간을 체험하는 가상현실은 점차 우리의 생활 속에 스며들고 있다. 가상현실 기술의 핵심인 VR(Virtual reality) 미디어는 VR 콘텐츠를 획득하여 부호화한 후, 방송망 또는 통신망을 통해 전송하여 사용자가 실감 인터페이스 기기로 상호작용한다. 특히 사용자에게 높은 몰입감과 현장감을 제공할 수 있는 차세대 미디어 형태 중 하나로 거론되고 있다. 세계 유력 표준화 단체에서는 VR 미디어 시장에서의 요소 기술 선점을 위해 VR 미디어 표준화 준비를 활발히 진행하고 있다.

전방위 VR 영상 기술을 검토하는 MPEG

MPEG(Moving Picture Experts Group)은 1988년에 설립되어 350여 명의 다양한 산업·학계 전문가가 참여하고 있는 멀티미디어 표준화 전문 그룹으로, 비디오, 오디오 등 멀티미디어 데이터의 국제 표준 개발을 담당하고 있다.
MPEG는 2016년 10월 116차 회의를 통해 2021년 또는 2022년까지 6-DoF(Degrees of freedom)를 지원하는 VR 기술의 표준화 작업 완료를 목표로 3단계의 표준화 계획을 포함한 MPEG-I(MPEG immersive) 프로젝트를 발족하며, 가장 활발한 표준화 활동을 진행 중이다. 이에 따라 5개 표준화 파트를 도출하고, 파트 별 수행 그룹 구성을 위한 논의와 효율적인 전방위 VR 영상 저장 포맷, 압축·전송 기술 등에 대한 검토를 진행하고 있다.
MPEG-I에서는 총 4개의 인터페이스로 구성된 VR 미디어 시스템의 흐름도를 정의했다. 이 중 현재 중점적으로 논의되고 있는 이슈는 인터페이스 부분의 전방위 VR 영상의 저장과 전송 포맷인 OMAF(Omnidirectional media application format)이다. MPEG-I에서는 113차 회의부터 OMAF의 요구사항 정의를 위해 지속적인 논의를 진행해 왔다.
또한, 다양한 전방위 영상 투사(Projection) 방법과 정보 패킹(Packing) 방법에 관한 실험과 논의도 진행 중이다. 최근 회의에서는 Equirectangular 투사 방법의 코딩 효율에 대해 실험한 결과 보고와 HEVC(High efficiency video coding) 기반 360° 영상 부가정보(SEI: Supplementary enhancement information) 메시지 정의 등이 이루어졌다.
한편, VR 미디어 전송 기술 관련 논의도 진행 중이다. DASH 기반의 전송 기술을 주로 다루는데, 3-DoF 지원 360° VR 미디어 전송에 대한 적용 방안과 즉시 적용 가능성 등을 분석 중이다.
MMT 기반의 모바일 VR 스트리밍 서비스에 대한 기술현황도 발표되었다. 타일 기반 4K 스트리밍 기술이 시연되었는데, 핵심 성능 인자인 MTP 지연이 최소 수백 ms 수준으로 일반적 VR 게임에 해당하는 수십 ms에 도달하기 위해서는 아직 많은 연구가 필요할 것으로 예상한다.

VR 미디어 서비스 상호 운용 가능성부터 요구사항까지

전 세계 이동 통신 시스템 기술 규격을 제정하는 3GPP(3rd Generation Partnership)는 2016년 4월 VR 미디어 서비스 관련 기술 보고서 작성을 시작으로, ‘3-DoF 360 VR over LTE’를 주제로 한 표준화를 진행하고 있다. 3GPP 규격 하에서의 VR 미디어 서비스의 상호 운용 가능성을 검토하고, 시스템 요구 사항을 정의하는 등 관련 논의를 활발히 진행 중이다.
3GPP에서 논의하고 있는 VR 비디오 시스템은 핵심 기능 블록들에 대한 기술적 분석과 요소기술별 적용 가능성 검토가 이루어지고 있다.
캡처와 스티칭 기술로는 거울 기반의 직접 스티칭 시스템(Direct stitching by mirror-based systems)과 깊이 인지(Depth-aware) 스티칭, 그리고 깊이 정보를 이용하여 중간 시점을 생성하는 라이트 필드 렌더링이 비교·분석되었다. 또한, 유스케이스 수집과 지연 시간 분석 등을 통해 3GPP 규격 하에서의 VR 미디어 서비스의 운용 가능성을 검토했다. 유스케이스에 있어서는 3-DoF로 정의되는 단일 관찰점(Single observation point) 경우에 대해 주로 다루었고, 사용자의 제어에 따라 시점이 자유롭게 변하는 경우를 ‘Apparently full freedom’으로 명기하며, 기존 3-DoF 환경에서 적어도 수평 방향으로의 직선 운동 자유도가 추가된 경우로 정의했다. 논의된 유스케이스에는 Unicast DASH 기반의 실시간 스트리밍 서비스나, MBMS(Multimedia broadcast multicast services) 기반의 TV 생중계 서비스 등 3GPP 네트워크 상에서의 다양한 미디어 서비스 방식이 포함되었다.
특히 360° 비디오 부호화는 투사 과정과 일반적인 비디오 부호화의 두 단계로 구분하고, 후자의 경우 3GPP의 TV 비디오 프로파일 코덱의 적용과 확장을 고려할 수 있다.
한편, 지연시간 관련 요구사항을 논의하여 VR 미디어 서비스의 실제 적용 가능성을 검토했다. 최근 미디어 서비스의 초당 프레임 수가 약 60~90FPS(Frame per second)임을 고려할 때, 사용자 움직임에 대한 반응 지연시간을 약 10ms로 목표하는 것이 타당하다고 명시했다. 여기에 사용자 움직임을 감지하는 시간과 관련 영상 처리시간이 모두 포함되어야 하므로 어려움이 있다는 점 역시 지적하고 있다.

2020년까지 VR 방송 표준 규격 제정

유럽의 디지털 방송 표준화 단체인 DVB(Digital Video Broadcasting) 또한, 2015년 말 DVB-CM(Commercial module)-VR-SMG(Study Mission Group)을 발족하여 VR의 방송·미디어 서비스 적용 가능성, VR 시장 현황, 관련 요소기술 등 폭넓은 분석을 진행하고 있다. 이러한 분석을 바탕으로 2018년 말까지 상업적 요구사항 정의와 2020년까지 VR 방송 표준 규격 제정이라는 계획을 발표했다.
상기 목표를 바탕으로 DVB는 ‘Vitual reality prospects for DVB delivery’라는 스터디 미션 보고서의 초안을 2016년 6월 배포하였다. 스터디 미션 보고서에 따르면, DVB는 VR 기술의 상업적 성공 여부를 판단하기 위해 세 가지 질문을 제시했다. ‘경제적이고 실용적인 VR 영상의 획득, 전송 그리고 디스플레이 기술의 개발이 가능한가?’, ‘VR 멀미를 포함하여 신체적·감각적 불편함을 없앤 VR 시스템 개발이 가능한가?’, ‘소비자가 기꺼이 지갑을 열 만한 콘텐츠 형식의 개발이 가능한가?’이다. 질문에 대한 해답을 찾기 위해 현재 DVB에서는 VR 체감 품질 관련 기술적 요소, 신체적·심리적 고려사항, 콘텐츠 제작 방법, VR 시장 조사·관련 장비 판매 현황 등을 포함한 광범위한 분석을 진행 중이다. DVB 측에서 제시한 VR 방송 서비스를 위한 주요 고려사항은 다양한 환경 또는 디바이스에서 VR 미디어 소비가 가능해야 하고, 8K 이상의 고화질이어야 하며, VR 멀미 감소를 위해 프레임률은 최소 90FPS, 120FPS여야 한다고 제시했다. 또, VR 미디어 저장, 편집 그리고 배포를 위한 공통된 표준 파일 포맷과 이미 개발된 또는 개발 중인 VR 서비스 플랫폼을 활용해야 한다는 것이다.
각 표준화 단체별로 진척 정도는 서로 다르지만, 모두 VR 미디어를 핵심적인 차세대 미디어 형태 중 하나로 인식하고 관련 표준화 방안 검토와 기술 논의에 주력하고 있다. 세계적인 표준화 단체의 기술 동향 분석을 통해 차세대 VR 미디어 시장에서의 국가 경쟁력을 높일 수 있는 계기가 될 것이다.

※ 논문 다운받기(논문저자 : 곽상운, 정준영, 김준수 테라미디어연구그룹 연구원 / 윤국진, 정원식 테라미디어연구그룹 책임연구원 / 서정일 테라미디어연구그룹 그룹장)
- 본 글은 위 논문을 재구성하여 작성했습니다. 자세한 내용은 논문을 확인해주시기 바랍니다. -