Technology
Technology ______ 인지증강 기술 동향
공유하기
인간의 행동을 예측하고 마음을 읽어내는 기술
이제 인공지능은 사용자의 정서와 의도까지 이해해 감정적인 대화가 가능할 정도로 발전했다.
고령화 사회에서 이 같은 기술은 고령자의 고독감을 치유하는 데 적용된다. 더 나아가 인지력이 저하된 고령자의
생체신호를 분석해 독립적인 일상생활을 도와주고, 건강을 관리하는 ‘인지증강 기술’로 발전하고 있다.
인지증강 기술이 읽어내는 생체신호는 인간의 행동패턴은 물론 감정까지 포함한다.
인간의 저하된 인지력을 보완하는 인지증강 서비스
ICT 기반의 의료산업은 헬스케어와 웰니스라는 전문분야로 성장하고 있다. 인지력 저하로 지속적인 관리가 필요한 고령자나 환자의 독립적인 일상생활을 도와주는 인지증강 서비스가 대표적이다.
Liftware의 기술을 예로 들어보자. LiftWare는 손 떨림이나 파킨슨병으로 식사를 할 때 어려움이 있는 사람을 위해 전자 숟가락을 출시했다. 복합 센서 데이터를 기반으로 사용자의 움직임을 인식하고 추적하며, 사용자가 음식을 흘리지 않도록 도와주는 제품이다.
SoundHawk는 무선마이크, 무선이어폰을 스마트폰 앱과 연동시켜 생활소음과 잡음을 없애고 청력이 약한 사용자가 상대방의 이야기를 더 잘 들을 수 있도록 해준다.
고혈압, 당뇨 등을 앓는 만성질환자를 위한 복약 알림 및 복약 여부를 감지하는 제품들은 인지력이 저하된 고령자에게 중요한 서비스를 제공한다.
Nvolve 스마트 약통은 제때 약을 복용할 수 있도록 알려주는 알람 기능이 탑재되어 있을 뿐만 아니라 사용자가 약통을 들어 올린 것을 감지해 복약 여부를 실시간으로 점검한다.
WellDoc은 당뇨병 관리를 돕는 BlueStar를 개발했다. 이 서비스는 사용자에게 혈당 측정 시간, 혈당 조절 약의 복용 시간에 대한 알람을 보내며, 혈당 수치에 따른 적절한 실시간 대응 방안에 대해서 안내한다.
국내업체인 Ybrain은 치매환자의 뇌에 전기 자극을 주어 만성적 뇌질환을 완화시켜주는 휴대용 헬스케어 기기 Yband를 개발해 임상실험을 진행하고 있다.
인간의 생활과 관련된 경험정보를 분석하다
인지력 저하로 인해 발생하는 문제를 해결하는 인지증강 서비스가 가능해지려면 장기간 경험정보를 분석하는 기술이 꼭 필요하다. 생체신호, 감정, 행위 등의 경험정보를 통해 인지 저하로 인한 문제를 예측하고 대응할 수 있기 때문이다.
최근에는 심전도, 근전도, 뇌전도, 체온 등을 측정하는 개인용 생체신호 측정 센서(BioSensor)의 성능이 향상되었을 뿐만 아니라 호흡, 혈압, 생체 임피던스, 맥파 전달 속도 등을 측정하는 새로운 형태의 센서들도 등장하면서 ‘생체신호 인식 기술’에 관한 연구 범위도 확대되고 있다. 웨어러블 디바이스를 통해 생체신호(심박수, 혈중산소포화도(SpO2), 피부 온도)와 신체활동과 관련된 데이터(움직임의 종류, 움직임의 가속도, 칼로리 소모 등)를 얻어내 사용자의 24시간 주기 생활리듬, 행동에 따른 생리학적 반응, 라임병 또는 염증 반응 조기진단, 피로도와 혈중산소포화도의 상관관계를 분석하는 식이다.
일상생활에서 일어나는 특정 행위를 인식하는 ‘행위 인식 기술’, 즉 식습관과 수면패턴, 운동패턴을 모니터링하고 예측하는 ‘라이프로깅(Life-logging)' 관련 연구 역시 다양하게 시도되고 있다. 특히 자율주행 자동차 관련 기술이 크게 주목받기 시작하면서 운전 중 사용자의 상태나 행위를 인식하려는 연구도 활발히 진행 중이다. 이들 연구에서는 스마트 디바이스의 관성 측정 센서(IMU: Inertial Measurement Unit)를 사용해 사용자의 운전습관을 분석하거나 카메라에 감지된 사용자의 표정이나 눈의 깜빡임 정도를 인식해 운전자의 피로도나 집중도를 탐지한다.
인간의 감정을 정략적‧정성적으로 측정하다
감정 역시 인식할 수 있다. 비디오(표정, 행동), 오디오(음성) 데이터를 기반으로 하는 기존 연구와는 차별화된 것으로, 스마트폰이나 웨어러블 디바이스 등의 다양한 센서에서 획득한 데이터를 복합적으로 활용하려는 노력이 진행 중이다. 인식한 감정 상태는 인간과 컴퓨터의 상호작용(Human-Computer Interaction) 기술에 활용하는 것을 목표로 하고 있다.
카네기멜론대 로봇연구소가 개발한 감정인식 프로그램 InterFace는 스마트폰 카메라를 통해 실시간으로 사용자의 슬픔‧혐오‧중립‧놀람‧기쁨 등 5가지 감정을 인식한다. 음성과 표정의 시차를 인식해 우울증의 정도를 파악하는 임상실험도 진행 중이다. 마이크로소프트는 프로젝트 옥스퍼드(Project Oxford)를 통한 머신러닝으로 분노‧멸시‧공포‧혐오‧행복‧슬픔‧놀람‧중립 등 8가지 감정의 상대적인 강도를 수치화해 분류하는 Emotion API를 공개했다. 또한 뇌파 데이터를 수집한 연구들의 경우에도 조울증, 스트레스 관리 등에 활용할 수 있는 개인의 흥분 정도 인식과 관련한 연구도 진행되었다.
향후에는 인간의 감정이 가진 개인 특성과 복잡성 등을 반영한 데이터 선정을 비롯해 감정 특성 및 요인을 정의하기 위한 다양한 연구가 필요할 것으로 보인다.
| 관련연구 | 센서 데이터 | 인식감정 |
| Singh et a. | PPG, 산소 측정계(혈증산소포화도), 복식 호흡 벨트, GSR 벨크로 전극 |
운전 상황에서의 편안한, 보통의, 스트레스 받은 감정 |
| Rebolledo-Mendez et al. | 비침습형 뇌전도 측정기 및 드라이 전극 | 운전 상황에서 집중한, 긴장한, 피곤한, 편안한 감정 |
| Thirunavukkarasu et al. | 비침습형 뇌전도 측정기 및 드라이 전극 | 운전 상황에서의 행복한, 슬픈, 편안한, 분노한 감정 |
| LikamWa et al. | 스마트폰 사용 통계(SNS, email, 통화, 앱 사용, 웹 브라우징, 장소), 사용자 기록 데이터 |
5단계의 기분 상태 |
| Valenza et al. | ECG, 압전기형 호흡 측정 센서, 가속도계 | 조울증 환자의 우울, 복합, 경조증, 정상 감정 상태 |
| Snyder et al. | EDA | 개인의 각성, 흥분 감정의 트렌드 |
[ 감정 인식에 활용되는 센서 ]
의미 있는 정보만을 캐내는 경험데이터 관리 방식
인지증강 서비스는 사용자의 경험데이터 중 의미 있는 정보만 정확하게 검색할 수 있어야 한다. 또한 사용자의 특정 패턴을 분석하고 예측하기 위해서는 경험데이터 간의 관계를 포함하는 질의를 처리할 수 있는 구조를 지원해야 한다. 경험데이터를 관리하는 방식으로는 자동 태깅을 지원하는 ‘이벤트 기반 자동 태깅 방식’, 높은 질의 처리 성능을 지원하는 ‘관계 데이터 모델 기반 방식’, 다양한 의미적 관계 표현을 지원하는 ‘시멘틱 네트워크 기반의 경험데이터 관리 방식’ 등이 있다. 다수의 센서로부터 수집되는 이질적인 경험데이터를 효율적으로 관리하고 검색하기 위해 데이터의 연관성을 추출하고 이를 함께 기록하는 방법이 필요한데, ‘이벤트 기반 자동 태깅 방식’은 이벤트에 따라 자동으로 데이터를 분류하고 사용자가 확인할 수 있도록 한 것을 말한다. 사용자 활동을 이동활동‧청각활동‧시각활동‧기록활동‧말하기 활동 등으로 분류하고, 이동상황‧지속상황‧감지상황‧선택상황 등의 상황정보 컨텍스트 정보로 추상화시켜 자동 태깅하여 저장하는 것. 즉, 사용자의 다양한 활동을 상황으로 표현하고, 다수의 일화에서의 주제를 나타내는 키워드로 자동 태깅하는 방식이다. 이 외에 ‘관계 데이터 모델 기반’으로 데이터를 분석 관리함으로써 복잡한 질의 처리를 가능케 하고, 질의 처리 성능을 높이고자 하는 연구가 있다. 이 연구에서는 데이터를 종류별로 나눠 Web, GPS, Email, Audio, Video, Picture, Document, Contact 테이블로 관리하고, 각 데이터 간의 관계기술을 위한 관계 테이블을 생성해 관리한다.
시멘틱 관계를 포함하는 ‘시멘틱 네트워크 기반의 방식’에 관한 연구도 선행되고 있다. 과거의 경험데이터를 이용해 중요한 단서 사건을 추출하고, 이를 토대로 경험데이터를 계층적으로 관리함으로써 사용자의 기억을 보완해주는 등의 여러 관련 연구가 성과를 내고 있다. 향후에는 센서데이터 중심의 인식기술과 더불어 개인 경험 상황의 특징을 고려한 인식증강 기술의 심화연구가 필요하다. 또한 사용자 개인의 특정 패턴분석을 위해 다수의 이질적인 경험데이터를 기반으로 한 경험정보 모델링 및 분석 기법에 관한 연구의 중요성도 커질 것으로 보인다. 이와 같은 기술은 초고령화 사회 등 미래 사회의 문제에 선제적으로 대응하고 해결하는 데 중요한 역할을 할 것으로 기대된다.
※ 논문 다운받기(논문 저자 : 정현태, 김가규 웨어러블컴퓨팅연구실 책임연구원, 노경주, 임지연 웨어러블컴퓨팅연구실 선임연구원, 정승은 웨어러블컴퓨팅연구실 연구원)
- 본 글은 전자통신동향분석 논문을 재구성하여 작성했습니다. 자세한 내용은 논문을 확인해주시기 바랍니다. -
