VOL.106 · April 27 · 2018
실시간 통계사이트 ‘Worldometers’에 따르면, 현대인은 하루에 2,100억 개 이상의 e-mail을 주고받는다고 한다. 이러한 하루 정보량은 20세기 초로 따지면 전 세계인의 평생 정보량과 맞먹을 정도다. 그만큼 4차 산업혁명 시대는 초지능화, 초연결성, 초실감으로 진행됨에 따라 방대한 정보처리가 필요하다. 규모를 가늠할 수 없는 거대한 데이터를 가공하여 재생산이 필요한 시대가 다가온 것이다. 우리는 이런 거대한 데이터를 가리켜 ‘빅데이터’라고 한다. 빅데이터로 보는 세상은 어떻게 달라질까?
빅데이터란 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 형태의 데이터를 말한다. 웹상에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기가 짧다. 데이터 환경은 과거와 비교해 많이 달라졌다. 데이터의 양이 폭증했다는 점과 함께 데이터의 종류도 다양해졌다. 이 때문에 사람들의 행동은 물론 위치 정보와 SNS를 통해 생각과 의견까지 분석하고 예측할 수 있다.
또한 초지능, 초연결, 초실감으로 진행됨에 따라 정보의 크기 또한 점점 커지고 데이터는 복잡해지고 있다. 따라서 관건은 어떻게 수많은 데이터 내에서 옥석을 찾느냐는 것이다. 빅데이터는 이에 따라 정제되어 있지 않은 데이터의 패턴을 찾아내고 분석해 처리하는 것이라 할 수 있다.
미국 시장조사기관 IDC에 따르면 2020년 전 세계 디지털 정보량은 90 제타바이트(ZB)로, 이는 99조 기가바이트에 해당된다. 지금보다 약 50배 정도 늘어난 수치가 될 것이라 예상했다. 그렇다면 이렇게 많은 데이터의 양을 축적하고 활용하기 위해선 어떤 기술이 필요할까?
현재 전 세계는 사물인터넷, 빅데이터 등 엄청난 양의 데이터를 축적하고, 활용하는 4차 산업혁명 시대를 맞고 있다. 이 때문에 컴퓨팅 서버의 고집적과 저전력 요구가 날로 커지고 있다. ETRI는 이러한 문제점들을 고려하여 연구한 끝에 아톰(ATOM) 및 암(ARM) 중앙처리장치(CPU) 기반으로 집적도를 10배 이상 높인 저전력 마이크로 서버(KOSMOS) 개발에 성공했다.
국내 기존 서버 시장은 외국계 글로벌 기업이 시장의 95%를 차지하고 있다. 그 가운데 연구진이 범용 서버보다 부피도 작고 전력 소모량도 획기적으로 줄인 마이크로 서버를 개발하는 데 성공한 것이다.
마이크로 서버는 저전력 · 고집적 모듈형 서버로 고속연결망을 통한 서버 간 내부 통신은 물론, 관리 모듈로 손쉬운 시스템관리 지원이 가능하다. 또한 고속 장비 회로기판(백플레인) 연결을 통한 케이블 없는 시스템을 구현했다. 이번 기술 개발로 외산 주도 국내 서버 시장에서 새롭게 떠오르는 저전력 · 고집적 서버 영역에서 주도권을 확보한다는 방침이다.
마이크로 서버(KOSMOS)는 서버가 차지하는 공간을 획기적으로 줄일 수 있다. 전력 소비량은 x86 서버와 비교해 최대 1/7 수준으로 낮췄으며, 와트당 성능은 3배다. 입출력 속도 역시 기존 이더넷보다 10배 정도 향상되었다. 이 기술은 향후 국내 서버 산업에 새로운 촉진제가 되어줄 것으로 예상한다. 이로써 연구진은 초절전형 마이크로 서버 개발로 세상의 모든 데이터를 담을 수 있도록 채비 중이다.
데이터가 점차로 대형화됨에 따라 거대한 데이터 속에 숨겨진 패턴을 찾아내고, 분석하는 과정의 중요성도 점차 커지고 있다. 이젠 빅데이터는 사람들의 행동은 물론, 위치 정보와 SNS를 통해 개인의 생각까지도 예측이 가능하게 변모하고 있다.
이런 빅데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐 활용되고 있다. 특히 마케팅 분야에서는 ‘빅데이터를 보면 소비자의 마음이 보인다’고 할 정도로 대부분의 분석이 적중한다.
이뿐만 아니라 게임 산업도 빅데이터와 결합하고 있다. 게이머들의 반응을 실시간으로 읽어 상품개발에 고객 반응을 반영하는 움직임이 시작됐다. 그렇다면 ‘빅데이터’를 통해 사람이 생각하는 부분의 예측도 가능할까?
ETRI는 온라인 게임 속에서 플레이어들의 미래행동을 예측하고, 효율적으로 대비하는 대응 시나리오 자동생성 기술개발에 성공했다. 연구진은 게이머들의 서비스 이탈에 대한 예측이나 미래 행동결과를 확률적으로 계산하여, 분석 성능 비교를 위한 표준화된 평가셋을 국내 게임 기반으로 마련한 것이다.
평가셋 구축에는 기술 평가에 필요한 다양한 기술이 활용되었다. 이를 통해 연구진은 게임업계가 중요한 정보로 여기는 게이머들의 서비스 이탈과 같은 집단행동 사전 예측이 가능하다고 설명했다.
이 기술은 게임뿐만 아니라 다양한 분야에 적용할 수 있어 그 활용도가 우수하다. 즉 게임 인공지능 기술을 통해 실생활 접목이 가능하기 때문이다. 실세계를 축소해놓은 게임과 같은 가상세계를 예측하다 보니 실제 상황 예측도 가능한 셈이다. 향후 범죄예방의 추정, 군중심리 예측 등이 가능할 것으로 전망되어 국민의 안전에 크게 기여할 것으로 기대된다.
ETRI는 지난해 말, 스위스 제네바에서 열린 국제전기통신연합(ITU) 표준화 회의에서 빅데이터의 유통 활성화를 위한 국제표준을 승인받았다. 또한 빅데이터 및 클라우드 컴퓨팅 분야에서 2건의 신규아이템을 제안, 채택시키는 성과를 거두었다.
연구진이 승인받은 국제표준은 빅데이터 생태계를 기반으로 빅데이터 교환 유형을 정의했다. 아울러 데이터 및 서비스 제공자, 빅데이터 소비자 간 데이터 교환에 요구되는 데이터 등록, 검색, 전송, 품질 및 데이터 소유권 관리, 개인정보 보호에 필요한 기능 요건들을 상세하게 기술하고 있다.
이를 통해 국가적으로 추진하고 있는 공공 데이터 개방과 빅데이터 유통 생태계 조성을 위한 표준화 기반을 확보한 셈이다. 향후 빅데이터 유통, 데이터 시장 등에 폭넓게 사용함으로써 활용 가능한 데이터의 양적 성장에 기여할 것으로 연구진은 보고 있다.
지금까지 알아본 것처럼 빅데이터는 다양한 영역에 걸쳐 우리의 삶을 더욱 편리하게 만드는 분야에 사용되고 있다. 더불어 국내 연구진 및 전문가들은 이런 빅데이터를 활용하는 기술이 점점 더 중요해지는 시대가 도래할 것으로 전망한다. ETRI는 세상의 모든 데이터를 담을 수 있는 마이크로 서버를 개발했고 온라인 게임을 통해 플레이어들의 미래행동까지 예측하고 있다. 아울러, 관련 기술의 국제표준을 위해서도 속속 성과를 내고 표준반영에 노력 중이다. 빅데이터를 통해 세상을 바라보고, 그에 맞는 전략을 세워 우리의 세상이 더욱 편리해지기를 기대해 본다!
