생성형 AI로 데이터 분석의 패러다임 전환

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기] : https://www.ciokorea.com/column/336340

생성형 AI '파티'는 여전히 현재 진행형입니다. 이제 시대정신이 된 생성형 AI는 매일 수많은 방식으로 비즈니스 세계를 뒤흔들고 있으며, 여전히 변화하는 중입니다. 2024년도 4개월이 지난 지금, 많은 기업이 ROI 측면에서 AI에 진정한 가치가 있는지 증거를 요구하기 시작했습니다.

AI 가치를 실현하는 구체적인 길은 무엇일까요? 데이터 분석 솔루션업체 알트릭스(Alteryx)가 전 세계 CIO와 기업 이사회 구성원을 대상으로 설문 조사를 실시한 결과, 새로운 AI 역량을 비즈니스 성과로 이끌어내기 위한 유망한 접근 방식을 발견했습니다.

알트릭스 설문에서 생성형 AI는 82%의 기업에서 목표 달성에 이미 영향을 미치고 있는 것으로 나타났습니다. 이런 흐름을 주도하는 주된 요소를 한 단어로 정리하면 '분석'입니다. 기업을 위한 새로운 인사이트 생성과 종합이 각각 사용례 순위에서 2위, 3위에 올랐습니다. 도입 측면에서 이 2가지 사용례보다 앞선 것은 '콘텐츠 생성'이 유일했습니다.

생성형 AI와 분석의 조합이 이토록 강력한 이유는 무엇일까요? 이를 설명하기 위해 먼저 생성형 AI가 어떤 중요한 과제를 해결하는지, 어떻게 작동하는지, 어느 부분에 적용해서 데이터와 분석의 가치를 최대화할 수 있고 생성형 AI의 성공을 위해 왜 거버넌스가 필요한지부터 살펴봐야 합니다.

생성형 AI로 분석 과제 극복

기업은 데이터 분석을 통해 수익을 개선하고 비용을 관리하고 위험을 완화하는 데 도움이 된다는 사실을 오래전부터 인지해 왔습니다. 그러나 데이터 주도 의사 결정을 대규모로 달성하는 과정은 3가지 주요 문제로 인해 느리고 어렵고 비효율적인 경우가 많습니다.

첫째, 비즈니스의 모든 측면에 걸쳐 필요한 폭넓은 인사이트를 제공할 데이터 과학, AI, 분석 분야의 전문가가 부족합니다.

둘째, 데이터가 어디에 있는지, 어떻게 액세스해야 하는지, 어떻게 다뤄야 하는지 알 수 없게 하는 사일로화된 레거시 시스템에 발이 묶인 기업이 많습니다.

셋째, 앞의 두 과제와 씨름하는 중에도 데이터의 복잡성과 볼륨은 계속 증가하면서 사용하기가 훨씬 더 어려워지고 있습니다. 여기에 견고한 거버넌스 정책의 부재까지 맞물리면 데이터 품질은 낮아지고 기업은 의사 결정 시 이런 저품질 데이터를 신뢰할 수 없게 됩니다.

분석에 생성형 AI 적용하기

생성형 AI는 이와 같은 과제를 해결할 수 있는 2가지 큰 기회를 제공합니다. 분석 툴의 사용 편의성과 효능 개선입니다.

먼저 사용 편의성부터 살펴봅니다. 생성형 AI는 분석 툴을 더 쉽게 사용할 수 있게 해줍니다. 여기서 주된 역할을 하는 것은 분석 기능을 훨씬 더 쉽게 사용할 수 있게 해주는 자연어 인터페이스의 도입입니다. 자연어가 곧 "코딩 언어"가 될 수 있기 때문입니다. 즉, 사용자는 파이썬을 배울 필요 없이 기본적인 영어(자연어)를 사용해서 복잡한 분석 작업을 실행할 수 있습니다. 모두가 알듯이 코딩 언어는 배우기가 어렵고 제대로 마스터하려면 몇 년이 걸릴 수 있습니다.

그다음 기회는 효능입니다. 생성형 AI는 추출, 로드 및 변환(ELT)부터 데이터 준비, 분석, 보고에 이르기까지 데이터 분석 수명 주기 전체에 적용 가능한 자동화의 품질을 대폭 개선합니다.

생성형 AI를 분석에 적용하면 다음과 같은 효과를 얻게 됩니다.

• ELT의 기초 데이터 단계 간소화: 예측 알고리즘을 적용해 데이터 추출을 최적화하고 로딩 중에 지능적으로 데이터를 정리하고 자동화된 스키마 인식 및 정규화 기법으로 데이터를 변환합니다.
• 보강과 데이터 품질을 통한 데이터 준비 가속화: AI 알고리즘이 누락된 값을 예측해서 채워 넣고 외부 데이터 소스를 식별 및 통합해서 데이터 집합을 보강하며, 고급 패턴 인식과 이상 탐지 기능이 데이터 정확성과 일관성을 보장합니다.
• 지리공간 및 오토ML과 같은 데이터 분석 강화: AI로 생성된 모델을 통한 매핑과 공간 분석은 지리 데이터의 정확한 해석을 가능하게 해주며, 머신 러닝 모델의 자동화된 선택, 조정, 검증은 예측 분석의 효율성과 정확성을 높여줍니다.
• 분석의 마지막 단계인 보고 기능 강화: 맞춤 생성형 AI 기반의 애플리케이션은 특정 비즈니스 요구에 맞춘 인터랙티브한 데이터 시각화와 분석을 제공합니다. 또한 자연어 생성은 데이터를 서술적 보고, 즉 데이터 스토리로 변환해서 더 많은 사람들이 인사이트에 액세스할 수 있게 해줍니다.

분석을 위한 주요 생성형 AI 사용례

생성형 AI가 분석에 미치는 영향은 명확합니다. 분석에 생성형 AI를 통합하면 LLM(Large Language Model)의 역량을 끌어내서 사용자가 방대한 데이터를 분석해 비즈니스 가치를 창출하는 답을 얻도록 할 수 있습니다. 콘텐츠 생성 외에 생성형 AI의 주요 사용례는 분석 인사이트 요약(43%), 분석 인사이트 생성(32%), 코드 개발(31%), 프로세스 문서화(27%)입니다.

생성형 AI를 통해 다음과 같이 사용할 수 있습니다.

• 인사이트 생성: 생성형 AI는 다양한 데이터 소스를 다루고 분석해서 사용자에게 인사이트를 제공할 수 있습니다. 또한 이런 인사이트를 이메일 보고서 또는 파워포인트 프레젠테이션과 같이 더 소화하기 쉬운 형식으로 요약해서 가치를 더합니다.
• 데이터 집합 생성: 실제 고객 또는 환자 데이터를 사용하는 방법은 경우에 따라 많은 비용이 들고 위험할 수 있지만 생성형 AI는 특히 엄격한 규제가 적용되는 산업에서 모델을 학습시키기 위한 인조 데이터를 생성할 수 있습니다. 인조 데이터를 사용해서 개념 증명을 구축하면 배포 속도를 높이고 시간을 절약하고 비용을 낮출 수 있습니다. 더 중요한 점은 개인정보 보호 법이나 규제를 위반할 위험이 줄어든다는 것입니다.
• 워크플로우 요약 및 문서화: 생성형 AI는 워크플로우를 자동으로 문서화해서 거버넌스와 감사가능성을 개선할 수 있습니다.

전체적인, 관리되는 접근 방식 구축

아직 발견되지 않은 자동화와 새로운 사용례의 기회는 무한하지만, AI와 LLM의 신뢰성은 데이터 입력의 품질에 따라 좌우된다는 점을 알아야 합니다. AI 모델이 생성하는 인사이트의 품질은 모델이 액세스할 수 있는 데이터 품질 이상일 수 없습니다. 생성형 AI의 성공을 위해서는 AI 도입 시 데이터 거버넌스를 적용하여 책임감 있는 AI 정책과 관행을 확립해야 합니다.

가드레일 없이 생성형 AI를 단독으로 사용하는 경우 데이터 개인정보 보호 우려, 부정확한 결과, 환각, 그리고 더 훨씬 더 많은 위험과 과제, 제약으로 이어질 수 있습니다. 기업에 중요한 것은 업계 표준에 부합하는 원칙과 프레임워크를 갖춘 벤더와 협력해서 생성형 AI를 대규모로 책임감 있게 도입할 수 있도록 보장하는 것입니다.

책임감 있게 AI를 도입할 수 있게 해주는 원칙에 근거를 두면서 기업이 이와 같은 위험을 완화하도록 플랫폼 내에 다양한 메커니즘을 내장해 수명 주기 전반에 걸쳐 이런 문제에 대처하고 AI 거버넌스 프로세스를 간소화합니다. 예를 들어 비공개 데이터 처리 기능을 제공하도록 플랫폼을 구축해서 각자의 AI 학습과 배포를 온전히 자체 방화벽 내에서 수행할 수 있도록 합니다.

마지막으로, 적절한 통제 수단을 구현하고 사람이 개입하는 피드백 메커니즘을 통합해 AI 모델을 지속적으로 검증하고 확인하는 것이 중요합니다. 이렇게 하면 AI 모델의 정확성과 신뢰성을 보장하고 원하는 결과와 정렬되도록 할 수 있습니다.

책임감 있게, 안전하고 통제되는 방식으로 사용하기만 한다면 생성형 AI는 시장 경쟁력(52%), 보안 개선(49%), 제품 성능 또는 기능 향상(45%)과 같은 주요 혜택을 돌려줄 수 있습니다.

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.