빅데이터. 요즘, 아니 최근까지 유행하던 키워드다. 기업들이며 언론이며 모두 이 키워드가 대세라고 이야기하는데, 정작 이게 현실에서 어떻게 나타나는지는 크게 고민 안하는 것 같다. 기술 발달로 나타난 이 빅데이터가 엄청난 사회 변화를 불러오긴 할텐데, 지금 당장 눈에 띄는건 없다는 늬앙스로 받아들여진다. 하지만, 생각보다 빅데이터는 현실적이 되어가는 중이다.
빅데이터
빅데이터를 이야기하면, 다들 기술적인걸 먼저 생각한다. 당장 빅데이터 서치를 해보면 Hadoop, NoSQL 같은 전문가들이나 이해할법한 용어들이 먼저 등장하고 이걸 활용하는게 빅데이터인양 인식이 되는데..
사실 빅데이터는 말 그대로. 엄청나게 많은 데이터를 뜻한다. 과거부터 다양한 형태로 데이터가 존재해왔는데, 기술적 한계와 비용 이슈 때문에 활용할 수 있는 데이터는 상당히 제한적이었다. 하지만 지금은 세상이 좋아져서 이전보다 좀더 데이터를 많이 활용할 수 있게 되었다라고 이해하면 된다.
데이터 수집과 분석, 그리고 이해
앞서 말했던 빅데이터를 데이터 분석 측면에서만 고민들 하는데, 사실 데이터를 수집하는 과정이 있어야 하고 그걸 분석을 해야하는데 분석된 데이터의 의미를 이해해야 빅데이터를 잘 활용한게 된다.
‘사물인터넷(Internet of Thing)’ 이라는 개념이 데이터를 수집하는 과정과 관련이 있다. 온라인이야, 웹상에서야 데이터가 어떤 식으로든 남으니깐 된거고, 오프라인에서의 데이터를 수집하는게 향후 빅데이터가 나아갈 방향이다. 그래서 모든 사물에 인터넷 접속 기능을 부여시켜서 그 데이터를 죄다 모으겠다는 의도인거고 많은 업체들이 열심히 준비하는 중이다.
모으고 나면 이제 지금 빅데이터 산업이라고 이야기하는 Hadoop, NoSQL, 그리고 Cloud Computing을 통해 이전에는 상상 못했던 저비용으로 데이터를 분석할 수 있게 된다.
마지막으로, 나타난 데이터로 의사결정을 하든 또는 뭔가 활용을 하면 .. 그게 빅데이터 인거다.
위협받는 화이트 칼라
그게 나랑 무슨 상관일까? 세상은 더 좋아지고 뭐 혁신가들이 새로운거 만드나보다.. 라고 생각하면 큰 오산이다. 요즘 나오는 신기술 트랜드는 100년전 산업혁명 수준의 혁신이다. 그것도 일상생활에 아주 밀접하게 다가온 현실이다.
빅데이터의 가장 큰 효용이 무언지 아는가? 원래 통계라는건 전체 모집단에 대한 접근 비용이 너무 비싸고 사실상 물리적으로 불가능해서 샘플, 즉 표본집단을 뽑아서 이 샘플을 분석해 이게 전체를 대변한다고 보고 접근하는 툴이다. 좀더 생각을 펼쳐보면 지금 현재 화이트칼라 라고 불리는 지식노동자들은 대부분 ‘제한적인 정보’를 가지고 ‘판단’을 하는 전문가들이다.
대표적으로 의사는 ‘검사’를 통해 확보한 데이터를 기준으로 과거 사례나 연구 자료와 비교해 병을 유추하고 그에 대한 적절한 치료 방안을 제시하는 사람이다. 금융 전문가도 ‘경제지표’나 ‘경제 활동 주체들의 정보’를 통해 특정한 상황을 유추하고 그에 맞는 ‘자산 가격’을 예측해 사람들의 대응을 돕는 일을 한다.
이들이 전문가로 불리는 이유는 충분한 훈련을 거치지 않은 사람으로써는 도저히 그 제한된 정보로는 유의미한 결론을 도출할 수 없기때문에, 일반인들에게 대가를 받고 그 일을 대신해주는 스페셜리스트로 불린다.
하지만, 이들에게도 시련이 닥쳐왔다. 제일 타깃이 되는건 의료 업계. 병원만큼 데이터가 풍부한 산업이 없다. 앞서 이야기했지만, 병원에서는 모든 업무의 시작이 ‘검사’, ‘검진’으로 부터 시작된다. 그래서 피를 뽑든, CT 촬영을 하든 다양한 방식으로 데이터를 남기게 된다. 고로 빅데이터를 수집하는 문제는 벌써부터 해결된 산업이다.
데이터를 분석하는게 문제였는데, 이게 요즘 해결되는 국면인거고 남아있는건 분석해서 적절한 처방을 내리는거다. 근데, 이미 과거부터 충분한 데이터를 기록해왔던 탓에 굳이 사람이 개입하지 않아도 컴퓨터가 과거 데이터를 바탕으로 현재 환자의 상태를 진단하고 적절한 시술이나 약을 처방하는게 가능해지고 있다.
어디서 하냐고? ‘왓슨’ 이라는 걸 들어봤는지 모르겠다. 시작은 2000년대 초반 전세계 체스 챔피언과 체스를 두던 슈퍼컴퓨터였는데, 이게 발전에 발전을 거듭해 이제는 의료 산업을 관장하는 스마트 플랫폼으로 거듭나고 있다. 아직도 불완전한 상태이긴 하지만, 시간이 가면서 시행착오 및 데이터가 누적되기 시작하면.. 이제는 사람이 체스로 컴퓨터를 이길수없듯이 의료 산업에서도 그 어떤 명의보다 나은 ‘컴퓨터 의사’가 될 수 있을거라 본다.
의료 뿐만 아니라 금융도 위태한건 마찬가지다. 예를들어, 금융권에 큰 영향을 미치는 데이터 중 소비자 물가지수의 경우, 원래 정부가 공식적으로 발표하는 스케쥴이 있다. 이 데이터가 워낙 중요한 의미를 가지기 때문에 사전 유출은 어림도 없고, 모든 사람들이 이 지표가 발표되는 시간 전후로 숨죽이고 있는다. 발표되는 순간 자산 가격이 급변동하는건 물론이다. 그래서 이 자료 몇 초라도 먼저 확보하게 되면 대박을 칠 수 있는데..
이 데이터를 굳이 정부 발표를 기다리지 않아도 미리 알 수 있다. 이미 구글을 통해서 그 가능성을 보여주는 자료가 발표되었었고, 이제 이걸로 사업하는 스타트업까지 등장했다. 어떻게 하느냐 하면, 소비자물가지수는 시장에 거래되는 상품들의 가격을 모아서 전체 물가 수준이 어떻게 변해가는지를 보여주는 지표다. 즉, 지수에 포함되는 상품을 알고 그 가격도 알고 그 가중치를 안다면 물가지수 산출이 그낭해진다.
생각을 해보라 요즘 왠만한 상품들의 가격은 인터넷에 다 있다. 가격비교 사이트만 해도 몇개인가. 포함되는 상품이나 가중치는 찾아보면 되는거고, 그럼 결론은? 인터넷 상의 데이터 수집해서 보여주면 되는거네? 맞다. 그러면 되는거다. Google 에서 ‘Google Price Index’라고 검색하면 연구차원으로 제시되었던 자료를 볼 수 있고, Premise (http://www.premise.com/)를 방문해보면 이게 연구가 아니라 지금 실제 서비스가 되는.. 현실이라는 걸 실감하게 된다.
오우~ 지식 정보화 시대를 맞이하야, 지식노동자가 대세였는데 이 무슨. 그럼 이 사람들이 다 실직자가 된다고? 말도 안되는 소리라고 생각을 하고 싶지만.. 그게 왠지 산업혁명 시대에 가내수공업하던 사람들의 마음과 같다는 생각은 드는건 왜일까?
사실 이런 생각을 오래전부터 해왔지만, 최근들어 언론에서 이런 주제들을 본격적으로 다루기 시작한다. 얼리어답터들이나 알던 그런 이슈들이 아니라 이제는 점점 현실에 녹아드는 중이라는거. 다만, 우리 모두는 거기에 준비되지 않았다는게 큰 문제라면 문제다.
…
지금 우리가 사는 세상은 100년전에 비해서 더했으면 더했지 덜한 변화는 아니지 않나 라는 생각 해본다.
아래 있는 링크들은 이 주제들과 관련된 언론들의 보도 내용이다. 참고하시길~
http://www.economist.com/news/leaders/21594298-effect-todays-technology-tomorrows-jobs-will-be-immenseand-no-country-ready
– Technology and jobs: Coming to an office near you / The Economist
http://www.venturesquare.net/531637
– 소프트웨어 로봇이 기자를 대체한다 / Venture Square
http://techcrunch.com/2014/03/13/real-time-economic-data-tracking-platform-premise-raises-11m-from-socialcapital-partnership/
– Real-Time Economic Data Tracking Platform Premise Raises $11M From Social+Capital Partnership /TechCrunch