-
‘촉각 피치 시스템’이란?
-
의료 기술과 ICT의 발전으로 청각장애인들도 인공와우 수술을 통해 비장애인과 원활한 구어 대화가 일부 가능해졌다. 그러나 여전히 음의 높낮이를 구분하는 데 한계가 있어, 의사소통에 필요한 소리의 의미를 파악할 수 있는 정도에 불과하다. 이러한 한계를 극복하고, 청인과 농인이 ‘함께’하는 가능성을 열어가는 연구가 있다. 인터뷰를 통해 자세히 알아보자.
신승용 선임연구원 • ‘촉각 피치 시스템’이란 실시간으로 주위의 소리나 사용자의 목소리에서 음계를 인식하고, 인식한 음계에 맞는 촉각 패턴을 사용자에게 피부를 통해 전달해주는 시스템입니다. 이를 활용하여 일상적으로 소리의 높낮이를 구분하기 어려운 청각장애인에게 소리의 높이를 알게 하고, 자신의 목소리 높낮이를 인지하도록 하여 자율적으로 높낮이를 조절할 수 있도록 하는 학습 시스템입니다.
-
청각 장애인을 위한 촉각 피치 보조 시스템
-
신형철 실장 • 청각장애인과 관련된 전문가들의 인터뷰 과정에서 인공와우나 보청기를 사용하는 장애인도 소리의 높낮이에 대한 인지력이 떨어진다는 사실을 알게 되었습니다. 또 인공와우 수술을 했거나 보청기를 사용하는 청각장애인들도 소리의 높낮이를 잘 알지 못합니다. 이 때문에 아직도 많은 분이 청인과 함께 음악을 공유하고, 즐기는 데 많은 어려움을 겪고 있습니다. 실제로 말할 때 억양이 부자연스럽거나 사람의 감정을 잘 읽지 못하는 문제점도 알게 되었습니다. ETRI 연구진은 이러한 문제점에서 착안, 촉각을 이용한 간단한 방법으로 이 문제를 해결하고자 ‘촉각 피치 시스템’을 개발하게 되었습니다.
인공와우 수술을 받은 분들은 소리를 매칭하는 훈련을 1~2년 정도 받고 있습니다. 그러나 비장애인처럼 자연스럽게 말을 하거나 노래하지 못했습니다. 발음이 안 되고, 목소리에 높낮이가 없기 때문입니다. 사회복지학과 교수님께서 말씀하시길 실제로 인공와우 수술을 받은 청각장애인들은 일반 학교에 다니지만, 음악 시간에는 참여하지 못한다고 합니다. 이런 문제를 해결하기 위한 프로그램을 만들어야겠다 생각했고, 작년 한 해 연구한 결과 인공와우 수술을 한 두 명의 청각장애인이 노래를 할 수 있게 됐습니다.
-
청인
청각 장애인에 상대하여, 청력의 소실이
거의 없는 사람을 가리키는 말
-
01
촉각 피치 시스템을 설명 중인 신형철 실장
-
보급을 위해
풀어야 할 문제는? -
신형철 실장 • 저희가 개발하고 있는 따뜻한 ICT 기술은 초등학교부터 고등학교까지 음악교육을 하거나 발음 교육에 도움이 될 수 있는 역할을 할 수 있습니다. 저희가 개발하는 시스템을 안정성 있게 만들어 사회적기업이 같이 제공하면 충분히 쓸 수 있지 않을까 생각합니다. 기업이 저희 기술을 이용하여 교과서에 나오는 음악을 시스템에 맞게 만들어 청각장애인 음악교육, 발음 교육에 보급할 수 있도록 하는 것입니다.
보급하는 일이 어렵지는 않습니다. 콘텐츠 프로그램이 충분히 만들어지고, 제품화하겠다는 기업이 나타나면 바로 할 수 있다고 생각합니다. 우선 교육부에서 특수교육을 위한 예산으로 학교에 보급하는 방식으로 가야 충분히 사용될 수 있습니다. 그리고 거기에 맞는 기업이 음악이나 발음에 대한 콘텐츠를 만들어 실제 보급해야 합니다. ETRI는 동요 정도를 만들었지만, 실제로 교과서에는 많은 음악이 있어요. 거기에 맞춰 콘텐츠별로 만들어져야 합니다.
이런 것들을 기업에서 만들어도 교육부에서 받아들이지 않으면 의미가 없습니다. 상용화의 경우 영업을 잘 하면 되겠지만, 이 기술은 상용화가 목적이 아닙니다. 교육부에서 먼저 이 기술을 청각장애인 교육 보급 사업에 적용한다면, 기업들이 저희 프로그램을 통해 콘텐츠를 제작할 것입니다.
신승용 선임연구원 • 기술적인 측면으로는 착용성을 개선하고, 인지 난이도를 쉽게 하여 음계 인식의 안정성을 높여야 합니다. 학습의 시점으로 보면, 청각사들과의 교류를 통해 체계적인 학습 과정을 설계하여 학습 플랫폼을 개발할 예정입니다.
-
농인
청각에 장애가 있어 소리를 듣지 못하는 사람
-
향후
휴먼증강연구실의
연구 방향은? -
신승용 선임연구원 • 현재는 조금 더 많은 인원으로 테스트를 해보려고 합니다. 통계적으로 어떤 성과가 나오기 위해서는 일정 인원수가 되어야 하는데 작년에는 갑자기 연구를 시작하게 되면서 사용자를 두 명밖에 선정하지 못했습니다. 향후 연령층도 달리할 예정이며, 인공와우 수술을 받은 분들뿐만 아니라 아예 듣지 못하는 분들에게도 적용할 예정입니다.
그리고 작년에 연구하면서 나왔던 의견 중 장갑이 불편하다는 의견도 있었습니다. 이런 부분도 수렴해 개선해 나갈 예정입니다. 또 학습시켜주는 소프트웨어의 경우 저희가 먼저 만들고, 청각사에게 검사를 받는 식으로 의견을 물었지만 향후 처음부터 의견을 받아 사용자 테스트를 할 예정입니다.
신형철 실장 • 사실 우리가 평상시에 특정 작업을 할 때를 제외하고는 장갑을 착용하진 않습니다. 이런 것들이 불편하다 보니, 손목이나 시계 형태로 만드는 것이 어떨지에 대한 의견이 있었습니다. ETRI가 장갑으로 촉각을 구현했던 것은 피아노도 계이름으로 음을 맞추는 것처럼 청각장애인들이 쉽게 접근 가능한 방법을 찾았던 것입니다. 다른 피부 부위에 적용하는 방법도 있지만, 먼저 장갑으로 가능성을 봤기 때문에 좀 더 쉽고 편안한 방법을 찾고자 합니다. 간편한 방식을 찾기 위해 더 노력하겠지만, 사용자가 비장애인과는 다른 문화를 가지고 있기 때문에 더욱 고민해야 합니다.
-
인공와우
(Cochlear Implantation)
와우 질환으로 양쪽 귀에 난청이 발생한 환자가
보청기를 착용하여도 청력이 나아지지 않을 때
인공와우를 이식하는 수술
-
02
휴먼증강연구실의 최종 목표를 설명 중인
신형철 실장(좌) 신승용 선임연구원(우)03
기술을 넘어 소통하는 세상을 만들어나가는
휴먼증강연구실 
-
실장님과
선임연구원님의
최종목표는? -
신승용 선임연구원 • 촉각 피치 시스템의 경우 적정 기술을 모티브로 개발된 연구결과물입니다. 따라서 연구에만 머물지 않고, 상용화를 위한 연구를 끊이지 않게 진행하는 것이 목표입니다. 나아가서는 소리의 높낮이뿐만 소리의 모든 정보를 촉각을 통해 전달하는 기술을 개발하여 모든 청각장애인이 인공와우 없이 모든 소리를 피부를 통해 느낄 수 있게 하는 것이 최종목표입니다.
신형철 실장 • 현재 휴먼증강연구실은 여러 가지 분야를 연구하고 있고 ‘촉각 피치 시스템’은 그중 해당하는 한 개 분야입니다. 저희가 연구하는 최종목표는 감각이 손실된 사람들에게 감각을 살려주는 것이고, 청각 부분에서 ‘촉각 피치 시스템’이 그 가능성을 입증할 수 있지 않을까 생각했습니다. 열심히 연구한 결과 많은 분이 고맙다고 말씀해주셨고, 덕분에 좋은 결과도 있었습니다.
예전에 신승용 선임연구원이 청각장애인도 비장애인과 같이 영어 듣기 시험을 볼 수 있도록 하고 싶다는 말을 했습니다. 그때는 목표였고 바람에 불과했지만, 현재는 연구를 통해 적용해 나가는 상황입니다. 중간에 나온 연구결과물을 적용해 향후 최종목표에 도달한다면 더 좋을 것 같습니다.
Editor epilogue
보급을 위해 풀어야 할 문제를 설명하던 중 신형철 실장은 “우리 기술이 5G, 6G처럼 대단한 기술은 아니지만, 쓸모 있게 만드는 것이 중요합니다.”라고 전했다. 그의 말처럼 따뜻한 ICT라는 분야가 기술과 사람이 만나는 분야인 만큼 선뜻 “이렇게 만들면 됩니다!”라는 말을 하기가 어렵다. 사람이 받아들여야 하고, 어떻게 받아들일지 모르기 때문이다. 그러나 휴먼증강연구실은 이번 연구를 통해 그 가능성을 보았고, 모두가 함께 즐기고 소통할 수 있는 세상을 만들기 위해 노력하고 있다.
