빅데이터 분석 플랫폼의 등장

발전을 거듭하던 디바이스와 네트워크가 융합하여 데이터의 기하급수적 폭증인 ‘빅데이터’를 야기했고, 기존의 무의미해 보였던 데이터들이 사실은 미래 비즈니스의 성패를 가를 중요한 자원임을 기업들은 깨달았습니다. 그래서 비즈니스 혁신에 유의미한 새로운 통찰을 얻기 위해 다양한 빅데이터 분석 플랫폼이 개발 및 출시됩니다. 이를 Gartner에서는 ‘Data Science Platforms’라 정의하기도 합니다. 이러한 빅데이터 분석 플랫폼을 통해, 기업은 비즈니스에 유의미한 결과를 도출하여 의사결정에 활용하거나, 고객의 숨겨졌던 니즈를 포착하여 경쟁력있는 새로운 서비스를 출시하고자 했습니다.

실제 비즈니스 활용의 진입 장벽, ‘업종별 분석전문가’의 부재

그러나 이러한 빅데이터 분석을 위한 노력과는 달리, 분석 결과를 실제 비즈니스에 활용하여 수익성을 개선하거나, 혁신적이고 새로운 서비스가 출시된 사례는 당초 시장의 기대보다는 더디게 나타나고 있는 것이 사실입니다. 이러한 결과에는 각 업종별 다양한 요인이 존재하나, 수집된 데이터를 바탕으로 비즈니스에 유의미한 분석 결과를 도출할 수 있는 ‘빅데이터 분석 전문가’의 부재를 가장 큰 원인으로 꼽을 수 있습니다. 빅데이터에 대한 관심과 투자가 이어진지 상당한 시간이 흘렀지만, 어째서 아직도 각 비즈니스 별 빅데이터 분석 전문가를 찾기 어려울까요?

이유는 크게 두 가지를 들 수 있습니다. 우선 빅데이터 분석 기술 패러다임의 변화가 심한 탓에 진입 장벽이 높고, 기술과 경험을 겸비한 데이터 분석 전문가를 찾기 힘들다는 것입니다. 단적인 예로, 데이터 분석에 활용되는 프로그래밍 언어 트렌드의 변화를 살펴봐도 알 수 있는데요, 데이터 분석 관련 헤드헌팅 업체인 ‘Burtch Work’는 미국 내 데이터 분석가들을 대상으로 ‘데이터 분석 업무 시 선호하는 분석 언어’를 조사한 바 있습니다. 이 조사에 따르면, 2014년에는 데이터 분석 업무에서 선호하는 분석 언어로 SAS를 선택한 분석가가 가장 많은 57%, R을 선택한 분석가가 43%였습니다. 그런데 2017년 동일한 주제로 조사한 결과, 분석가들의 선호 언어는 Python이 69%, R은 38%였으며, SAS는 고작3%에 그쳤습니다. 3년 전에는 언급조차 되지 않던 분석 언어가 현재는 데이터 분석에서 가장 선호되는 언어로 꼽힐 정도로, 데이터 분석의 패러다임은 지속적으로 변화하고 있는 것이죠. 이러한 분야에서 최신 기술 트렌드를 모두 이해하고 있으며, 분석 경험까지 축적된 전문가를 찾는 것은 어려운 일입니다.

둘째, 데이터 분석의 전문가라고 하더라도 현재 다수가 각 산업의 업종 전문성을 보유하고 있지 않은, 단순히 공학적인 의미의 ‘전문 Data Scientist(이하 전문 DS)’에 그친다는 것입니다. 이는 정작 비즈니스에서 실상 필요로 하는 유의미한 결과를 도출할 수 없는 이유가 되는데, 이 때문에 McKinsey는 향후 10년간 Data Scientist & Business Translator(Business 담당과 Data 분석가 사이의 의사소통과 협업을 돕는 역할)에 대한 수요가 급증할 것으로 예상하고 있습니다. 또한 Gartner에서는 Business Translator의 개념 대신, 각 산업별 전문 지식을 보유한 업종 전문가가 직접 분석을 수행하는 Citizen Data Scientist(이하 Citizen DS)라는 역할을 정의하여, 업종 전문가가 직접 분석을 수행하는 Self-Analytics 환경에 활발해질 때, 비로소 유의미한 데이터 분석이 가능할 것으로 전망하고 있습니다. 더불어 2020년에 이르면 Citizen DS가 수행하는 분석량이, 전문 DS의 분석량을 추월할 것으로도 예상하고 있습니다.

빅데이터의 비즈니스 활용을 위한 열쇠, 데이터 분석 플랫폼

위에서 비즈니스에 유의미한 데이터 분석을 수행하기 위해서는 분석 전문성과 업종 전문성이 동시에 수반되어야만 가능하다는 것을 말씀드렸습니다. 이를 위해 업종 전문성을 보유하고 있는 Citizen DS가 스스로 유의미한 분석을 수행할 수 있는 환경을 조성하는 것이 중요하며, 결국 전문 DS에 비해 데이터 분석 역량이 미흡한 Citizen DS도 분석 업무를 간편하고 쉽게 수행할 수 있도록 빅데이터 분석 플랫폼의 역할과 기능이 그 언제보다 중요하다는 것을 의미하게 됩니다. 예컨대 데이터 분석 경험이 적은 초보자도 분석 결과의 의미를 직관적으로 쉽게 이해하고, 추가적인 분석을 위해 필요한 분석 모델링을 쉽게 설계할 수 있도록 편의 기능을 제공하는 것이 데이터 분석 플랫폼의 주요 역할이 될 것입니다.

그렇다면 빅데이터 분석의 성공적인 비즈니스 활용을 위해서 반드시 필요한 빅데이터 분석 플랫폼은 현재 어느 정도 수준까지 도달했으며, 실제로 비즈니스에는 어떻게 활용될 수 있을까요? 다음 2편에서는 빅데이터 분석 플랫폼인 Brightics AI와 제조, 물류, 리테일 등 다양한 비즈니스에서 실제로 활용된 사례들에 대해 알아보도록 하겠습니다.



▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.