사회적 요구,
텔레프레즌스 서비스
신종 코로나바이러스 감염증(코로나19) 사태로 지난 3월 16일, 각 학교가 사상 초유의 ‘온라인 개강’을 맞았다. 전례 없는 강의환경이 익숙하지 않은 교수와 학생들 사이에 온갖 해프닝이 벌어지고 있다. 화면이 계속 끊겨 수업 진행이 불가능한 상황이 발생하여 실시간 화상 강의를 포기하고, 유튜브에 녹화 강의를 올린 뒤 링크를 공유하는 일도 발생했다. 이처럼 원격의 사용자들에게 동일한 장소에 모여 함께 대면 회의를 하는 것과 같은 실시간 영상 서비스가 요구되는 실정이다. 이번 호에서는 이러한 문제점을 해소해줄 기술로 떠오르는 텔레프레즌스 서비스(Telepresence Service)에 대해 알아보고자 한다.
지난 3월 17일, 온라인으로 진행된 한 대학원 수업은 유튜브 라이브 방송을 방불케 했다. 교수가 초대한 화상 채팅방에 들어온 학생들이 실명이 아닌 닉네임을 사용하여, 교수가 학생들을 ‘○○님’ 등 닉네임을 부르기도 했다. 또 개인 사정으로 수업에 참여하지 못할뻔한 학생들은 혜택을 받았다. 몇몇 학생들은 늦은 전철을 타고 집에 가며, 출석에 응하거나 병원에서 수업을 듣기도 했다. 한 대학 강의에서는 교수가 마이크를 켜지 않고 수업을 진행하기도 했으며, 모니터 화면을 거울모드로 설정해 칠판 글씨가 뒤집어져 보이는 해프닝도 발생했다. 교수가 화상 채팅방에 비수강생 참여를 막는 기능을 설정할 줄 몰라 생긴 웃지 못할 일도 있었다.
온라인 강의를 진행한 한 교수는 집중도가 떨어지기 때문에 일반 강의보다 온라인 강의에 비해 에너지가 3배 정도 더 든다고 말했다. 서버에 트래픽이 몰리면 화면이 계속 끊겨 수업 진행이 불가능할 정도이기 때문이다. 학생들이 강의를 모두 들었는지 확인하는 것도 어렵다. 이에 실시간 화상 강의를 포기하고, 유튜브에 녹화 강의를 올린 뒤 링크를 공유하는 일도 벌어졌다. 이런 사회적 요구에 따라 텔레프레즌스 서비스가 요구되는 바다.
초기의 텔레프레즌스는 사용자와 실제로 대면하고 있는 듯한 실재감을 높이기 위하여 대형 스크린과 고품질 비디오 및 오디오를 지원하는 것을 주요 특징으로 했다. 최근에는 자료 공유, 주화자 인식, 시선 맞춤, 몰입도 평가기술 등을 도입하여 온라인 협업의 효율성을 극대화할 수 있는 몰입형 영상회의 서비스 형태로 발전해 왔다. 몰입도 분석 기술은 서비스 사용자의 몰입 수준을 정확하게 판단하고, 몰입 저하에 따라 서비스의 구성 및 흐름을 제어하여 몰입의 선순환 구조를 형성하는 기술로 정의할 수 있다. 이에 텔레프레즌스 서비스에서도 사용자의 집중도 및 그룹 상호작용에 대한 참여도를 평가하여 영상회의 서비스에 반영함으로써 효율성 개선에 기여할 수 있는 요소 기술로 관심을 받았다.
온라인 협업의
효율을 극대화
몰입도 분석기술은 몰입도 평가 기술 뿐만 아니라 몰입도 평가 결과를 서비스에 반영하여 사용자의 몰입 경험을 증강시키는 몰입도 피드백 기술까지 포함한다. 몰입도 분석기술은 디지털 콘텐츠, 인간 로봇 상호작용(HRI), 텔레매틱스, 온라인 협업 등 다양한 서비스 분야에서 사용자의 집중도, 참여도, 관심도를 평가하기 위해 활용되고 있다. 최근에는 사용자의 몰입 경험을 객관적으로 판단할 수 있는 데이터 주도형 몰입도 분석기술을 위주로 연구 개발이 이루어지고 있다.
국내에서는 몰입 수준이 다른 게임 콘텐츠를 사용할 때 사용자의 동공 크기, 눈 깜빡임 빈도, 눈 깜빡임 지속 시간에 차이가 있음을 확인하고, 사용자가 경험하는 몰입의 상태를 이러한 시각적 반응을 측정하여 객관적으로 판단하는 시각적 몰입지표를 탐색하는 연구가 시도되었다.
구글은 코넬대학교와의 공동연구를 통해 사용자의 시선을 추적하여 구글 플레이 스토어(Google Play Store)의 콘텐츠 아이템에 대한 사용자의 관심도 및 몰입도를 평가하는 기술을 개발했다. 또한, 시선 기반 몰입도 평가기술을 활용하여 제로 인터페이스 기반의 사용자 맞춤형 콘텐츠 추천 서비스를 제시했다.
몰입도 분석 기술이 가장 많이 연구되고 있는 분야 중 하나가 바로 HRI 분야다. 인간과 로봇의 보다 자연스럽고 효율적인 상호작용을 지원하기 위해 로봇은 사용자의 의도를 정확하게 파악하고 사용자의 의도에 맞게 적절하게 반응해야 한다. 아울러 텔레매틱스 서비스 분야에서도 자동차 실내에 설치한 카메라 영상에서 운전자의 휴대전화 사용 행위, 음료수를 마시는 행위 등 운전을 방해하는 9종류의 행위를 인식하여 운전자의 집중 여부를 판단하는 운전자 몰입 평가기술이 시도된 바 있다.
차별화된
텔레프레즌스 서비스
현재 ETRI는 고품질 UHD(Ultra High Definition) 대면 영상과 무안경 입체 영상인 초다시점 콘텐츠를 공유할 수 있는 실감형 텔레프레즌스 서비스 플랫폼 기술을 개발했다. 특히 영상회의 서비스에 대한 사용자의 몰입 경험 및 만족도를 극대화하기 위해 영상회의 사용자의 행위를 인식하여 몰입 상태를 판단하고 몰입도 저하가 지속되는 상황을 인지하여 적절한 몰입도 피드백 메시지를 제공하는 몰입도 분석기술을 개발했다.
몰입도 피드백 기술은 사용자의 몰입 상태가 낮게 평가된 경우 회의 집중을 유도하는 알림 메시지를 제공하는 기능을 담당한다. 몰입도 피드백 사용자의 몰입 상태가 비몰입 상태로 계속해서 판단되는 ‘지속적 비몰입 경우’와 수동형 몰입 상태에 오랜 시간 머물러 있는 ‘지속형 수동형 몰입 경우’로 정의했다.
몰입도 분석기술 중 사용자의 심리 생리학적 또는 시청각적 반응을 실시간 측정하고 분석하여 사용자의 몰입 수준을 객관적으로 판단하는 데이터 주도형의 몰입도 평가기술이 현재 다양한 서비스 분야에 활용되고 있다.
이에 ETRI도 차별화된 텔레프레즌스 서비스를 위해 영상회의 사용자의 얼굴 영상으로부터 표정, 머리 동작, 발언 여부, 졸음 여부, 머리/시선 방향 등 총 12개의 몰입지표를 자동 인식하고, 실시간 몰입 지표 인식 결과를 기반으로 사용자의 몰입 상태를 4단계 중 하나로 판단하는 몰입도 평가기술을 개발했다. 향후, 몰입도 분석기술의 고도화를 위해 몰입지표 인식 모델의 정확도를 개선하는 연구와 경험적 규칙을 기반으로 사용자의 몰입 상태를 도출하는 현재의 규칙 기반 정성적 몰입도 평가 방법을 보완하거나 대체할 수 있는 정량적 몰입도 평가기술에 대한 연구도 요구된다.
이후 ETRI 연구진은 유프리즘과 함께 지난 2014년 외산 솔루션을 넘어서는 성능과 가격 경쟁력을 갖춘 토종 화상회의 솔루션 ‘기가큐릭스’를 국회 소회의실에 구축하고 국회의장 등을 대상으로 시연을 성공적으로 마치기도 했다.
글 / 윤현진 도시·공간ICT연구실 선임연구원,
한미경 도시·공간ICT연구실 책임연구원,
장종현 IDX원천기술연구실 책임연구원
본 내용은 ETRI가 발행한 전자통신동향분석 전자통신동향분석 32권 5호(통권 167)에서 인용 발췌해 재구성하였습니다.