REVIEW
촉각으로 듣는 음악
최근 ETRI는 국악 연주자, 국내 기업과의 협업을 통해 청각장애인을 위한 국악 공연을 진행했다.
이는 ICT와 예술의 결합으로 앞으로 장애인들이 물리적 장벽 없이 예술 공연을 즐길 수 있게 될 전망이다.
생생한 라이브를 즐기다
ETRI는 청각장애인을 위한 국악 공연, ‘이음풍류’를 성공적으로 개최했다. 이음풍류는 국내 최초로 청각장애인들이 시각과 촉각을 통해 국악의 생생한 라이브를 즐길 수 있도록 기획됐다. 모든 곡에는 수어를 통한 감정 전달과 해설, 그리고 자막이 제공됐다.
청각장애인들은 국내 기업인 비햅틱스에서 개발한 조끼를 착용해 연주의 박자감을 온몸으로 느끼고 ETRI의 촉각 음정 시스템이 적용된 장갑을 통해 악기의 정밀한 음정 변화를 손가락으로 느낄 수 있었다. 또 각 악기의 선율 변화가 미디어아트와 함께 제공돼 시각적인 즐거움을 더했다.
이번 공연에서는 국악기 중 대금에 집중해 대금의 세세한 음정 변화를 손가락의 촉감을 통해서 체험할 수 있었다. 총 7곡 중 대금이 포함된 4곡이 연동돼 제공됐으며, 특히 대금 솔로 공연인 김동진류대금산조에서 음정의 변화를 실감 나게 느낄 수 있었다.
해외의 경우, 촉각을 이용해 청각장애인을 위한 라이브 공연을 시도한 적이 있으나 이는 음악의 비트를 몸으로 체감하는 수준에 그쳤다. 정밀한 악기에서의 음정 변화를 동시에 제공하는 방법으로는 이음풍류 공연이 세계 최초의 시도이다.
촉각 음정 시스템으로 전달하다
ETRI는 이번 공연에서 촉각 음정 시스템으로 국악 악기의 음정을 실시간으로 전달했다. 촉각 음정 시스템은 음악이나 소리 등 청각 정보로부터 소리의 주파수 신호를 뽑아내 촉각 패턴으로 만들어 기기를 통해 피부에 전달하는 사용자 인터페이스(UI) 기술이다.
촉각 음정 시스템 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음의 높이를 피부로 느낄 수 있다. 연구진이 고안한 방법은 주변에서 4옥타브 계이름 ‘도’ 소리가 들리면 사용자 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 하는 방식이다.
이처럼 손의 구조와 인지 용이성을 설계에 반영하고, 한 손에 3개 옥타브 범위인 3옥타브 ‘도’에서 5옥타브 ‘시’까지에 해당하는 반음 포함 36개의 음계를 촉각 패턴으로 표현했다. 손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있는 것이다.
ETRI, 완벽한 공연을 위한 노력
ETRI는 국악 공연과 실시간 연동을 위해 촉각 음정 시스템의 기존 촉각 패턴을 서양 음계 방식에서 국악의 음계 방식으로 변경하고, 악기의 특성에 맞게 음역을 확대하는 등 기존 시스템을 최적화했다.
연구진은 잡음 조정과 속도, 떨림 보정을 통해 명확한 음정 표현을 가능하게 했으며, 음향과 기기 간 실시간 반응 속도를 높여 정확도를 향상시켰다. 또 공연 환경과 상황에 따라 실시간으로 촉감의 최적화를 변경할 수 있도록 사용자 인터페이스를 개선해 이음풍류 공연에 제공했다.
이밖에도 ETRI는 각 악기와 촉각 장치들을 체험할 수 있는 공간을 마련해 청각장애인들과 교류를 진행했다. 향후 연구진은 촉각 센서 및 기기 완성도를 높이는 연구를 수행할 예정이며, 교육용 콘텐츠 개발을 비롯한 음악 관람 및 학습 분야로 촉각 음정 시스템을 더욱 확산할 예정이다.
