지난 편까지 2편에 걸쳐 빅데이터의 기술적인 측면에 대해 살펴보았습니다. 데이터를 어떻게 모으고, 가공해서 보여줄 것이냐를 살펴보았죠. 하지만 그전에 가장 근본적인 문제가 있습니다. 바로 데이터를 바라보는 관점입니다.
2차 세계대전이 한창일 무렵 연합국에 고민이 있었습니다. 격추되는 전투기가 계속 많아져서 전투기의 어떤 부분을 보강해야 하느냐가 초미의 관심이었습니다. 격추에 크게 영향을 미치는 부분에 철판을 덧붙여 보강하기로 결정이 났습니다. 문제는 너무 많은 철판을 붙이면 무거워져 연료 소모가 커지니 딜레마였습니다. 높으신 분들이 일단 데이터를 가져오라 합니다. 대대적인 조사가 이뤄집니다. 귀환한 전투기에 난 총알구멍을 전수조사해 보니 아래 그림과 같은 결과가 나옵니다. 결론은 쉽게 나왔죠.
‘총알구멍이 많은 곳이 집중 공격당하는 곳이니 그쪽을 보강하라’
전투기에 표시된 총알 자국
“총알 자국이 하나도 없는 엔진 부위를 보강해야 한다.”
왜 그랬을까요? 귀환한 전투기 중, 엔진에 총알을 맞은 것이 하나도 없다는 것은 돌려 생각하면 엔진에 총알을 맞으면 무조건 격추됐다는 것이죠. 그래서 가장 치명적인 부위는 엔진이라는 결론을 낸 것입니다.
데이터를 어떻게 해석하느냐에 따라 상반된 결과가 나오는 경우가 있습니다. 빅데이터의 분석 관점이 중요한 이유입니다. 만약 총알 자국 숫자를 맹목적으로 집계하고 분석했다면, 엄청 빠른 시간에 날개 부위 중 가장 총알 자국이 많은 곳을 보완했을 겁니다. 총알 자국 ‘0’을 다르게 해석할 수 있는 통찰력이 빅데이터 분석에서 중요한 이유입니다.
좀 더 현실에 가까운 이야기를 해보겠습니다. 여러분은 책을 어떤 관점으로 고르시나요? 어떤 책이 좋은 책인가요? 과거에는 독자가 객관적으로 판단할 수 있는 방법이 별로 없었습니다. 공신력 있는 기관이나 개인의 의견에 기댈 수밖에 없었죠. 제가 애용하던 방법은 신문의 주말 섹션에 있던 책 소개였습니다. 그래서 베스트셀러가 되려면 돈을 주고서라도 기사를 실어야 했죠. 시간은 흘러, 인터넷 세상이 되었습니다. 이제 좋은 책을 찾을 수 있는 방법이 조금은 다양해졌습니다. 책을 많이 읽는 개인들이 홈페이지나 블로그에 책 소개나 서평을 올리기 시작합니다. 인터넷에서 책을 사는 비중이 커지고, 인터넷 서점은 나름의 기준으로 베스트셀러 순위를 매기고 판매지수라는 것도 만들어내죠. 하지만 그 기준은 그들만이 알고 있었습니다. 독자는 베스트셀러 순위나 판매지수로 상대적으로 어떤 책이 대중의 호응을 얻고 있는지, 좀 더 팔렸는지 비교할 수 있을 뿐이었죠.
그런데 최근 인공지능, 빅데이터와 같은 기술이 적극적으로 활용되면서 변화가 생깁니다. ‘밀리의 서재’라는 서비스가 있습니다. 인터넷을 통해 e-book, 오디오북 등을 제공하는 곳이죠. 이 서비스에는 ‘밀리 완독 지수’라는 것이 있습니다.
처음 이 지수를 봤을 때는 과거와 별 차이가 없다고 생각했습니다. 왜냐하면, 다 경험이 있으시겠지만 e-book을 다 보는 것이 과제라면 어떻게 하시겠어요. 그냥 다음 버튼을 계속 누르겠죠. 또 책 중에는 5분 만에도 다 읽을 수 있는 그런 책도 있습니다. 그렇다면 완독비율이 높다고 모든 사람이 그 책을 자세히 보고 어떤 의미를 찾은 것은 아니겠죠.
그런데 자세히 보니 완독지수는 밀리의 서재가 제시하는 완독지수에는 한 가지 요소를 더했더군요. 바로 책을 완독할 수 있는 예상 시간입니다.
그래서 그림과 같이 ‘완독할 확률’과 ‘완독 예상 시간’이라는 두 개의 축으로 표가 만들어집니다. 덧붙여 각 축의 중앙에 전체의 평균치로 선을 그었습니다. 익숙한 사분면이 만들어지죠. 그리고 각 사분면에 의미를 부여했습니다. 자신의 독서 성향에 따라 맞는 유형에 있는 책을 찾아보면 되죠. 저는 ‘밀리 픽’을 저에게 맞는 책으로 정했습니다. 다 읽는데 평균보다 긴 시간이 걸리는 데도 불구하고 참고 완독을 할 만큼의 가치가 있는 책이라 생각해서죠.
과거의 오프라인 서점도 나름대로 판매 실적을 집계했고 관리했습니다. 하지만 빅데이터로 발전시키기에는 너무나 큰 노력이 필요했죠. 기술이 발전하면서 빅데이터를 얻는 방법은 과거보다 훨씬 용이해졌습니다. 하지만 전투기와 밀리의 서재 사례와 같이 데이터를 어떻게 활용할지에 대한 관점은 조금은 다른 문제입니다.
빅데이터 이야기는 여기서 마치겠습니다. 이제 인공지능만 설명하면 이 시리즈도 끝이 나겠네요. 다음 글에서 뵙겠습니다.
+ 디지털 트랜스포메이션 1편 : 애인의 유산과 매트릭스
+ 디지털 트랜스포메이션 2편 : 사이퍼의 스테이크
+ 디지털 트랜스포메이션 3편 : DT 사이클
+ 디지털 트랜스포메이션 4편 : 기업의 디지털 트랜스포메이션
+ 디지털 트랜스포메이션 5편 : 요약은 컨설턴트의 숙명
+ 디지털 트랜스포메이션 6편 : 멋쟁이는 옷을 제때 갈아입는다
+ 디지털 트랜스포메이션 7편 : 장인의 연장
+ 디지털 트랜스포메이션 8편 : 빈 비누 케이스를 제거하라
+ 디지털 트랜스포메이션 9편: DT의 핵심기술 클라우드
+ 디지털 트랜스포메이션 10편: DT의 핵심 기술 클라우드(2)
+ 디지털 트랜스포메이션 11편: DT의 핵심 기술 빅데이터(1)
+ 디지털 트랜스포메이션 12편: DT의 핵심 기술 빅데이터(2)
