VOL. 175 May 2021
미디어 콜라주,
‘시나리오 기반 인터랙티브
영상 창작 기술’
콘텐츠 간의 경계가 허물어지고 있다.
소설이 영화화되거나, 영화가 책으로 나오기도 하고,
게임을 드라마로 만들거나 웹툰이 영화화되기도 한다.
최근에는 각 콘텐츠 형식이 서로의 영역으로 스며들고 있다.
영화 같은 영상미로 사용자를 끌어들이는 게임 콘텐츠가 있는가 하면,
게임처럼 시청자가 직접 이야기에 참여하는 방식의 영상 콘텐츠도 많아지고 있다.
미디어, 융합으로 혁신을 만들다Media Convergence
게임은 왜 재미있을까? 많은 이유가 있겠지만, 가장 큰 부분을 차지하는 것은 즉각적인 ‘상호작용’이다. 게이머가 어떤 것을 선택했을 때, 즉각적으로 반응이 돌아오는 게임의 상호작용은 책이나 영화, 드라마 등 다른 미디어 장르에서는 느끼기 어려운 요소다. 이런 상호작용을 통해 게이머는 스토리를 진행하고, 임무를 수행하며 성취감을 느끼게 된다. 그리고 이 과정에서 큰 재미를 느끼는 것이다.
최근 영상 콘텐츠에서도 ‘상호작용’ 요소가 활용되는 것을 볼 수 있다. 개인 사용자 기반 동영상 플랫폼인 Youtube의 경우 영상 마지막에 설정할 수 있는 추천 동영상을 이용해 시청자가 다음에 이어질 내용을 선택할 수 있는 콘텐츠가 만들어지고 있다. 영화, 드라마 등 상업 콘텐츠 플랫폼인 Netflix의 경우 시청자가 스토리가 어떻게 진행될지 선택할 수 있는 영화를 제작해 큰 관심을 받기도 했다. 이렇게 사용자가 미디어를 수동적으로 받아들이는 기존의 형식에서 벗어나 미디어와 이용자가 상호작용하는 새로운 형식의 콘텐츠가 많아지고 있다.
이렇듯 디지털 미디어 환경에서 개인 사용자의 공감과 참여에 초점을 두는 개인화 광고와 영화, 게임 등 산업 간의 융복합을 통한 새롭고 콘텐츠 수요가 많아지면서 인터랙티브 미디어 기술 개발이 활발하게 진행되고 있다. 시나리오만을 가지고 개인 맞춤형 영상을 만들어낼 수 있는 인터랙티브 미디어 창작 기술은 이런 요구를 충족시킴과 동시에 지속가능한 성장 가능성과 일자리 창출 등 다양한 분야에 기여할 것으로 보인다.
새로운 형식을 위한, 새로운 플랫폼이 필요하다New Platform
이렇게 인터랙티브 영화, 광고, 게임 콘텐츠들이 다양해지고 대중화되면서 누구나 쉽게 인터랙티브 미디어를 창작하고, 어디에서나 활용할 수 있도록 하는 ‘인터랙티브 미디어 플랫폼’ 기술의 필요성이 대두되고 있다. 특히 인터랙티브 영상의 경우, 기존에 제작된 영상을 바탕으로 제작자가 의도한 시나리오대로 작동하는 새로운 콘텐츠를 제작할 수 있는 플랫폼이 필요해졌다.
이렇게 기존에 제작된 영상 콘텐츠를 가지고 새로운 인터랙티브 영상 콘텐츠를 만들고자 할 때 가장 필요한 기술이 바로 기존 영상 콘텐츠의 내용을 인식하고 분류하는 기술이다. 현재 영상 콘텐츠 시장은 하루에도 수십 년 길이의 동영상이 제작되고 업로드되기 때문에 사람이 모든 콘텐츠를 하나하나 보고 분류하는 것이 불가능하다. 따라서 이러한 작업을 자동으로 처리해줄 시스템이 필요한 것이다.
기존 기술의 한계점을 극복하다Limit Points
ETRI는 드라마, 다큐멘터리 등 방송 콘텐츠를 장면별로 분할하는 기술을 제안한 바 있다. 이 기술은 1시간 길이의 방송 콘텐츠 10여 편을 대상으로 한 시험에서 약 81%의 정확도를 보였다. 그러나 해당 기술은 제한된 길이의 영상에서 추출된 샷을 대상으로 하고있어 영화와 같이 길이가 긴 영상 콘텐츠를 다루는 데에는 한계가 있었다.
ETRI는 이런 한계점을 극복할 수 있는 ‘시나리오 기반 인터랙티브 영상 창작 플랫폼’ 기술을 개발했다. 인공지능을 기반으로 영상의 내용을 분석해 장면을 분할하고, 장면을 분류하는 메타데이터1)를 자동으로 생성하는 기술이다. 여기에 제작자의 스토리를 가지고 영상을 재구성하고 편집하는 기술을 포함하고 있어 기존 콘텐츠를 활용한 인터랙티브 영상 제작에 큰 도움이 될 것으로 보인다.
시대, 장소, 사람, 옷차림, 날씨 등 수많은 조건을 제작자의 의도대로 찾아내고 활용할 수 있다는 장점은 개인이나 독립영화 제작자 등 영화 제작에 큰 비용을 들일 수 없는 콘텐츠 제작자에게 그야말로 날개를 달아주는 셈이다.
1) 메타데이터
데이터를 분류·분석하기 위한 데이터를 말한다.
더 풍요로운 미디어 콘텐츠 시대를 열다Media Content
이 기술은 인터랙티브 영상 제작뿐 아니라 사진과 동영상을 분류하는 서비스를 제공하고 미디어 마켓, 광고 플랫폼에 활용하는 것도 가능하다. 인터랙티브 형식을 기반으로 하는 교육, 전시회 등에 활용할 수도 있다. 동영상과 이미지를 활용하는 곳이라면 어떤 곳에든 활용이 가능한 것이다.
그러나 극복해야 할 점도 명확하다. 기존에 제작된 콘텐츠를 활용하는 만큼 사전에 콘텐츠들이 수집되어야 하며, 단순히 영상을 수집하는 데에서 그치지 않고 수집된 영상의 저작권, 초상권 문제를 해결해야 한다. 최근에는 저작권이 없는 영상들을 공유하는 플랫폼이 등장하고 있으나, 콘텐츠가 충분하지 않아 원하는 영상을 찾지 못하는 경우가 많아 이를 극복할 방안이 필요한 상황이다.
이번 기술의 개발은 다양한 미디어 시장에 큰 변화의 바람이 불러일으킬 것으로 기대된다. 기존 콘텐츠 시장뿐 아니라 앞으로 개발될 새로운 형태의 콘텐츠의 기반이 될 ‘시나리오 기반 인터랙티브 영상 창작 기술’의 미래를 기대해 본다.
본 내용은 ETRI 기술사업화플랫폼에 등재된
'시나리오 기반 인터랙티브 영상 창작 기술' 을 인용해 구성하였습니다.
저자 : ETRI 미디어지능화연구실 김선중 책임연구원
