방대한 정보 속 '미래 예측' 가능...인문학·문화 분야서 새로운 가치 창출 가능성
빅데이터가 등장하기 전부터 이미 대량의 데이터는 고객관리 등에 사용되어 왔고, 인류의 데이터 사용의 역사는 문명의 역사만큼 오래되었다. 따라서 빅데이터의 과거를 고찰하고 미래를 전망하는 일은 빅데이터에 대한 보다 깊은 이해와 통찰을 얻을 수 있는 출발점이다.
이에 본고는 간략하게 인문학적 관점에서 빅데이터의 역사를 살피고, 미래를 전망해 보고자 한다.
▶빅데이터의 역사
빅데이터 역시 데이터의 일종이므로 데이터의 ‘수집/기록’, ‘저장/보존’, ‘처리/활용’이라는 Life- Cycle 관점에서 고찰하는 것은 합리적이다.
인류가 본격적으로 데이터를 사용한 흔적은 경에 제작된 메소포타미아 문명의 ‘점토판(B.C. 4000년 경)’에서 찾을 수 있다. 당시 사람들은 농축산물의 수확량을 갈대나 금속으로 만들어진 ‘막대기’로 기록하고 점토판에 저장하고 보존했다.
데이터의 수집/기록에 활용된 도구인 막대기는 이후 ‘주판’으로 발전하였으며, 고대 그리스인들은 ‘안케키테라 기계장치’로 불리는 일종의 컴퓨터를 개발했다. 1881년 ‘허만 홀러리스(1860-1929)’는 ‘천공카드’와 ‘태뷸레이터’라는 기계를 만들어 미국 인구 센서스에 활용했다. 홀러리스가 설립한 ‘C-T-R Co.’는 최초의 전기 기계식 계산기인 ‘MARK-1’을 개발한 IBM의 전신이다. 이후 본격적으로 컴퓨터와 PC가 등장했으며, 인터넷으로 연결된 각종 모바일 디바이스로 데이터가 수집/기록되는 시대가 도래했다.
점토판에서 시작된 데이터의 저장/보존은 도서관으로 진화한다. B.C. 300년경에 세워진 이집트의 ‘알렉산드리아 도서관’은 로마에 파괴되기 전까지 세계 최대의 데이터 센터였다. 1928년 ‘프리츠 플로이머(1881~1945)’는 자기테이프를 발명하여 디지털 데이터 저장기술의 초석을 세웠다. 1965년 미국은 자기테이프를 활용하여 세금 환급 기록과 지문을 저장하기 위한 데이터 센터 건립 계획을 세웠고, 오늘날에는 IDC(Internet Data Center)의 구축과 활용이 일반화 되었다.
인류가 데이터를 처리/활용한 최초의 목적은 농축산물의 수량 파악이었다. 이후 정보 축적 목적을 넘어 통계적인 분석과 미래 예측에 데이터가 활용되었다. 1662년에 ‘존 그란트(1620-1674)’가 발표한 ‘사망표에 관한 자연적 및 정치적 제 고찰’은 최초의 데이터 통계 분석 실험 기록이다. 1865년 ‘리처드 밀러 데븐스’에 의해 ‘비즈니스 인텔리전스’라는 용어가 등장하였고 1958년 ‘한스 피터 룬(1896-1964)’은 비즈니스 인텔리전스를 ‘성취하고자 하는 목적을 달성하는데 필요한 행동들을 알려주는 방법’으로 정의하였다. 1970년대 중반 이후 컴퓨터와 데이터의 저장장치의 비즈니스 활용이 본격화되었다. 1989년 작가인 ‘에릭 라슨’이 최초로 빅데이터를 ‘타겟 고객에 대한 광고주의 데이터 활용’이라고 언급하였다. 1999년 ‘스티브 브라이슨’ 등에 의해 학계에서도 빅데이터라는 용어가 사용되었고, 2011년에 컨설팅 업체 ‘맥킨지’가 ‘저장만 하고 방치된 정보 데이터나 그 기록들 중 미래의 활용 가능성이 높은 것’으로 빅데이터를 정의한 후 고유명사로 자리 잡았다.
이와 같이 빅데이터는 대량의 데이터라는 의미보다 데이터의 처리/활용 관점에서 진화해왔다고 보는 것이 타당하다. 빅데이터는 본질적으로 데이터이므로 데이터의 수집/기록과 저장/보존 기술의 발전과 유기적인 관계를 맺어 왔다. 그러나 인문학적 관점에서 데이터의 수집/기록, 저장/보존 기술이 인간의 물리적 한계를 극복하기 위한 것이었다면, 빅데이터는 처리/활용이라는 논리적 한계를 극복하기 위한 것이라는 점에서 큰 차이가 있다.
▶빅데이터의 전망
데이터의 수집/기록 기술은 ‘사물인터넷(IoT)’의 대두로 새로운 전기를 맞이하고 있다. 사물인터넷은 생활 속 사물들을 유무선 네트워크로 연결해 정보를 공유하는 환경이고, 사물로부터 데이터를 수집하는 ‘센서’는 한층 더 많은 데이터를 수집하고 기록할 뿐만 아니라. 데이터 생성의 주체를 인간 중심에서 만물로 확장시킨다는 의미에서 패러다임의 전환이다.
데이터 저장/보존 측면은 ‘클라우드 컴퓨팅’의 영향이 크다. 클라우드 컴퓨팅은 정보처리를 자신의 컴퓨터가 아닌 인터넷으로 연결된 다른 컴퓨터로 처리하는 기술이다. 빅데이터를 처리하기 위해서는 다수의 서버를 통한 분산처리가 필수적인데 이는 클라우드 컴퓨팅의 핵심 기술이기도 하다.
데이터 처리/활용 측면에서도 기업의 비즈니스 인텔리전스 영역을 넘어서고 있다. 특히 재난방재 등 공공부문에서 활용하기 위한 노력과, 공공부문 데이터 개방을 기반으로 민간과 공공영역의 매쉬업(Mash-up) 서비스를 발굴하기 위한 노력이 한창이다.
바야흐로 사물인터넷을 통해 상상을 초월하는 대량 데이터가 수집되고 클라우드에 저장된 후, 이제껏 인류가 알 수 없었던 영역의 미래에 대한 예측이 다시 클라우드로 서비스는 되는, 사물인터넷과 클라우드, 그리고 빅데이터 삼위일체 시대가 도래한 것이다. 따라서 기술 측면에서 빅데이터에 접근할 때는 ‘사물인터넷과 클라우드 기술을 기반으로 한 플랫폼 서비스’를 추구하고 선점하는 것이 필수적이다.
컨텐츠 측면에서는 지금까지의 기술이 넘볼 수 없었던 새로운 변경을 찾아 내는 것이 관건이다. 오늘날까지 인간만이 할 수 있다고 믿어온 영역, 통계와 분석기반으로 추측할 수 없을 것이라고 믿었던 영역에서 보다 큰 가치 창출이 가능할 것이다. 어쩌면 사람 냄새가 물씬 나는 인문학이나 문화와 예술과 연관된 영역이 새로운 기회의 땅일 가능성이 크다.
마재용 이사 (주)브이티더블유 전략사업본부 본부리더