빅데이터 시장

빅데이터는 2010년부터 본격적으로 열풍이 불기 시작했습니다. 트위터나 페이스북에서 하루 발생하는 메시지양은 몇십에서 몇백 페타바이트로 보고되고있습니다. 1페타바이트는 1000 테라바이트 입니다. 사진, 동영상, 게시물, 댓글, 민원글, 기업에서 작성하는 업무 문서, 고객 상담과 관련된 녹취록, 교통정보, 기상정보, 지리정보, 위성정보 등이 빅데이터에 포함될 만큼 방대한 용량을 갖고 있습니다. IBM에서는 빅데이터의 3가지 특성을 정의했습니다. 첫째, 페타바이트, 엑사바이트, 제타 바이트 등 익숙하지 않은 데이터 단위로 대변되는 엄청난 양(Volume), 둘째로 사진, 동영상, 디지털 문서 등 기존의 구조화된 데이터가 아닌 다양한 형태의 정보(variety), 셋째로 정보의 생성과 흐름이 고속으로 진행되는 속도(velocity)가 있습니다.

  빅데이터의 활용사례를 들면, 최근 출시된 라면 신제품에 대한 실제 소비자 태도의 변화 동향을 신속하게 분석하여 제공하기도 합니다. 그리고 전세계에 퍼져있는 구글 사용자들이 독감과 관련된 키워드를 검색하는 빈도를 분석해보면 실제 미국 질병통제예방센터(CDC)보다 2주 이상 빨라 전세계 독감 확산 현황을 파악할 수 있다고 합니다. 그러면 왜 과거엔 빅데이터를 분석하지 않았느냐? 과거에는 이러한 정보를 분석하는데 많은 시간이나 자운이 필요했기 때문에 해당 정보에 대한 분석을 끝내고 나면 현실적으로 이미 그 정보의 가치가 사라져버리는 경우가 많았습니다. 그러나 이젠 관련 기술요소가 발달하면서 이러한 빅데이터 분석이 가능해졌고, 해당 정보의 가치가 살아있는 시점에 제공할 수 있게 된 것입니다.

  기업의 입장에서는 핵심 경쟁요소로 빅데이터 분석의 중요성이 높아졌고, 데이터 과학자라는 직업이 생기게 되었습니다. 데이터 과학자란 빅데이터 전문가이며 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 특정 도메인에 대한 비즈니스 지식도 필요합니다.