오늘날 우리는 실생활에서 많은 양의 데이터를 사용하며 살아가고 있다. 모든 것이 인터넷 네트워크망으로 연결되어 이루어지는 현대에서 데이터는 이 세계를 이루고 있는 작은 단위라고도 볼 수 있다. 우리가 사용하는 모든 데이터는 데이터베이스 관리도구에 수집, 저장, 관리, 분석 되며 그것은 시장에서는 소비자의 수요를 알기 위해, 정부에서는 국민의 고충을 알기 위해, 교통 분야에서는 사람들의 유동량, 유동인구 등을 알기 위해 다방면에서 이용된다. 이러한 데이터베이스 관리도구의 역량을 뛰어넘으며, 우리가 사용하는 소용량 데이터가 아닌 우리를 관리하고, 세계를 정상화 시키는 데 도움이 되는 대용량 데이터를 처리하는 아키텍쳐가 되는 것이 바로 빅데이터이다.
빅데이터는 말 그대로 의미를 설정하자면 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 정형 및 비정형 데이터란 뜻이다. 좀 더 쉽게, 좀 더 정보통신 분야의 의미로 얘기하자면 빅데이터란 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 과거에 비해 데이터양이 폭증했다는 점과 함게 데이터의 종류도 다양해져 사람들의 행동은 물론 위치정보와 SNS를 통해 생각과 의견까지 빅데이터 환경을 통해 분석하고 예측할 수 있다. 빅데이터로 우리를 관리할 수 있다는 말이 바로 이 뜻이다. 이러한 빅데이터의 특징은 3V로 요약된다. 즉 데이터의 양(Volume), 데이터 생성 속도(Velocity), 형태의 다양성(Variety)을 의미한다. 최그네는 가치(Value)나 복잡성(Complexity)을 덧붙이기도 한다.
빅데이터는 주로 우리의 동향을 확인하는 데 주로 사용된다. 이것은 사람들이 인터넷 사이트 도처에 남긴 발자국라고도 말한다. 이 발자국의 빈도와 방향을 분석해 사용해야 효율이 높아지는 분야에서 빅데이터 활용은 활발하게 일어나고 있다. 첫 번째 사례로 쇼핑에서의 빅데이터 활용이 있다. 인터넷 쇼핑몰이 대표적인 예인데, 과거 상점에서 물건을 살 때만 데이터가 기록되었는데 인터넷 쇼핑몰에서는 소비자가 물건을 구매하지 않더라도 이곳저곳 사이트를 돌아다닌 기록이 자동적으로 데이터로 저장된다. 이것을 통해 요즘 소비자가 제일 관심이 있는 상품이 어떤 것인지, 평균 얼마 정도 쇼핑 사이트에 머무는 지 알 수 있다.
두 번째 사례는 구글의 빅데이터 활용이다. 구글은 데이터 양이 많으면 많을수록 얻을 수 있는 정보의 품질이 좋아진다는 것을 인터넷 검색에서 실천하고 있는 기업이다. 소비자가 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 트래픽이라는 형태로 얼마나 검색어와 밀접한 관계를 가지는 지를 측정해 지수로 환산해 작업한다. 이것은 소규모가 아닌 방대한 양의 대규모 작업으로 이루어지며 이 방대한 작업을 빠른 시간에 처리하기 위해서 구글은 ‘구글분산파일 시스템’과 ‘맵리듀스’란 새로운 처리 기술을 개발했다.
세 번째 사례는 공공기관에서의 빅데이터 활용이다. 2014년 월드컵과 2016년 올림픽을 준비하는 리우데자네이루는 보다 안전한 치안을 갖춘 월드컵을 개최하기 위해 지능형운영센터(IOC)를 통해 도시 관리와 긴급 대응 시스템을 갖추었다. 지능형운영센터에는 IBM의 분석 솔루션이 적용되어 교통, 전력, 홍수, 산사태 등의 자연 재해와 수자원 등을 통합 관리할 수 있는 대비 체계가 갖추어져 있다. IBM이 제공한 고해상도 날씨 예측 시스템은 날씨와 관련한 방대한 데이터를 분석해 폭우를 48시간 이전에 예측한다. 싱가포르는 차량의 기하급수적인 증가로 인한 교통체증을 줄이기 위해 교통량 예측 시스템을 도입하였다. 싱가포르는 이 시스템을 통해 85% 이상의 정확성으로 교통량을 측정하고 있다.
이러한 양상으로 실생활 적용, 사용, 이용되고 있는 빅데이터는 일상생활의 행동 하나하나가 빠짐없이 데이터로 저장되고 있는 지금의 세계에서 소설 1984의 빅브라더와 같은 역할을 하는 것이 아니냐는 질문을 계속해서 받고 있다. 빅데이터는 우리의 생활을 편리하게 하지만, 그것을 사용하고 이용하는 데에는 인간에 대한 윤리 의식이 제대로 확립되어 있어야 함을 반드시 유념해 두어야 할 것이다.