이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]
Executive Summary
오늘날 글로벌 비즈니스 환경에서 인공지능(특히 생성형 AI)은 기업의 생존과 미래 경쟁력을 결정짓는 핵심 동력으로 자리 잡았습니다. 수많은 기업들이 시장에서 주도권을 선점하기 위해 AI 파일럿 프로젝트와 대규모 모델 도입에 전례 없는 규모의 예산을 투입하고 있습니다. 그러나 이러한 AI 중심의 공격적인 투자 이면에는 심각한 불균형이 존재하고 있으며, 이는 향후 기업의 디지털 전환 전반을 흔들 수 있는 잠재적 위험 요인으로 부상하고 있습니다.
현재 글로벌 기업들이 직면한 가장 큰 모순은 AI에 대한 높은 기대감에 비해 이를 뒷받침할 인프라적 체급이 턱없이 부족하다는 점입니다. 통계적 수치는 기업들이 겪고 있는 인프라 결핍과 전략적 비대칭성을 극명하게 보여줍니다.
최근 발표된 글로벌 IT 조사 기관(NTT DATA 등)의 연구 결과에 따르면, 대부분의 IT 리더들은 자사의 클라우드 지출이 진화하는 AI 요구사항을 따라가지 못하고 있다는 점을 깊이 우려하고 있습니다. 더 큰 문제는 대다수 기업이 AI 성공의 핵심 전제 조건인 '클라우드 성숙도(Cloud Maturity)'의 격차를 좁히지 못한 상태에서 AI 애플리케이션 개발에만 몰두하고 있다는 사실입니다.
조사에 참여한 선도적 기업들 중, AI 성공을 위한 최적의 상태이자 클라우드 기반 혁신이 비즈니스 전환을 가속화하며 핵심 전략에 클라우드 네이티브 서비스가 내재화된 단계를 의미하는 '클라우드 진화(Cloud Evolved)' 등급의 기업은 단 14%에 불과한 것으로 나타났습니다. 그 아래 단계인 '성숙(Mature)' 단계, 즉 비즈니스 부문 전반에 걸쳐 광범위하고 전략적으로 클라우드를 사용하며 강력한 거버넌스, 최적의 실무 사례, 확장 가능한 워크로드를 갖춘 기업은 34% 수준이었습니다.
결과적으로 전체 기업의 절반이 넘는 52%가량이 AI를 효과적으로 구동하기 위한 '클라우드 곡선(Cloud Curve)'의 후행 그룹에 속해 있음을 의미합니다. 이 중 4분의 1 이상은 단순히 인프라를 가상화하여 올린 수준인 '클라우드 활성화(Cloud Enabled)' 단계에 머물러 있으며, 나머지 4분의 1 가까이는 클라우드 도입 초창기 수준인 '클라우드 초보(Cloud Novice)' 단계에 불과한 실정입니다.
클라우드 성숙도의 현주소가 이러한 상황임에도 불구하고, 실제 인프라 고도화에 투입되는 재정적 지원은 심각하게 정체되어 있습니다. 설문에 응한 IT 리더의 88%는 조직의 클라우드 투자 부족이 향후 추진할 AI, 클라우드 네이티브, 시스템 현대화 이니셔티브 자체를 위험에 빠뜨릴 수 있다고 경고하고 있습니다.
더욱이 AI 도입 확대로 인해 실질적인 클라우드 자원 사용량은 급증하고 있음에도 불구하고, 응답자의 84%는 지난 1년간 자사의 클라우드 관련 지출이 전년과 동일한 수준(Flat)이거나 오히려 정체되었다고 답했습니다. 이는 AI라는 새로운 소프트웨어 엔진을 구동하기 위해 정작 엔진이 얹어질 자동차의 차체와 연료 공급 장치(클라우드 인프라)에 대한 정비 예산을 삭감하고 있음을 보여주는 방증입니다.
이처럼 많은 IT 리더들은 한정된 예산 내에서 AI 프로젝트를 구동하기 위해 기존의 클라우드 운영 및 현대화 예산을 전용하는 이른바 '아랫돌 빼서 윗돌 괴기(Robbing Peter to pay Paul)'식의 자금 배분을 감행하고 있습니다. 이러한 단기적인 자금 재할당은 단기적인 AI 데모나 파일럿을 성공시키는 것처럼 보일 수 있지만, 궁극적으로는 AI를 실제 비즈니스 운영 환경으로 확장하고 상용화하는 단계에서 거대한 장벽에 부딪히게 만드는 원인이 됩니다. 클라우드 역량과 고도화된 인프라에 대한 투자 없이 추진되는 AI 혁신은 모래 위에 성을 쌓는 것과 다름없습니다.
비즈니스 현장에서 클라우드 인프라의 고도화 없이 진행되는 AI 프로젝트는 태생적인 한계를 가질 수밖에 없습니다. 클라우드 서비스가 AI 개발과 운영의 필수 불가결한 요소로 꼽히는 이유는 크게 세 가지 관점에서 분석할 수 있습니다.
생성형 AI(Generative AI)를 필두로 한 현대의 고도화된 AI 모델들은 상상을 초월하는 대규모의 데이터와 이를 처리할 막대한 컴퓨팅 연산 능력을 요구합니다. 기업 내부의 기존 데이터 센터에 위치한 수십, 수백 대의 서버 수준으로는 이러한 대규모 워크로드를 감당하는 것이 원천적으로 불가능합니다. 클라우드가 제공하는 무한한 탄력성과 확장성이 없다면 최신 AI 모델을 미세조정(Fine-Tuning)하거나 실시간으로 추론(Inference) 서비스를 제공하는 인프라를 유지할 수 없습니다.
클라우드 전략이 미흡하거나 체계적으로 구현되지 않은 기업의 가장 큰 특징은 데이터가 전사적으로 고립되어 있다는 점입니다. 각 비즈니스 부서와 레거시 시스템마다 데이터가 파편화되어(Siloed) 있으면, AI 모델을 학습시키기 위한 데이터 파이프라인을 구축할 수 없습니다.
전문가들이 지적하듯이, 정제되지 않은 '쓰레기 데이터(Junk Data)'를 사용하거나 데이터 거버넌스가 결여된 상태에서 개발된 AI 모델은 왜곡된 결과를 도출하며 예측의 정확성을 완전히 상실하게 됩니다. 클라우드 성숙도가 높은 기업일수록 데이터 아키텍처가 현대화되어 있고, 데이터의 수집부터 정제, 보안, 활용에 이르는 전 과정이 클라우드 플랫폼 위에서 유기적으로 통제됩니다.
수많은 기업들이 수십 개의 AI 파일럿 프로젝트를 성공적으로 수행했다고 말하지만, 정작 이를 현업 부서의 실제 운영 시스템(Production)으로 이관하는 단계에서는 처참한 실패를 경험하곤 합니다. 단편적인 데모 버전을 구동하는 것과, 실제 수천 명의 사용자가 동시 접속하여 실시간 데이터를 기반으로 구동되는 AI 시스템을 운영하는 것은 차원이 다른 문제입니다.
클라우드 환경의 성숙도가 낮은 '지저분한 클라우드 자산(Messy Cloud Estate)' 위에서는 AI 파일럿이 실운영 단계로 넘어가는 순간 부실한 데이터 거버넌스, 취약한 통합 구조, 모니터링 및 관찰 가능성(Observability)의 결여, 그리고 걷잡을 수 없이 치솟는 컴퓨팅 비용(Runaway Compute Costs) 등의 심각한 부작용이 동시다발적으로 터져 나오게 됩니다.
클라우드 성숙도가 중요한 이유는 단순히 인프라 때문만은 아닙니다. AI의 성패는 데이터 품질에 의해 결정됩니다. 데이터가 조직 내 여러 시스템에 분산되어 있거나 관리 기준이 일관되지 않다면 AI 모델은 정확한 결과를 도출하기 어렵습니다.
많은 기업들이 생성형 AI 도입을 논의할 때 모델 성능과 사용자 경험에 집중합니다. 하지만 실제 운영 환경에서 생성형 AI의 성능은 결국 학습 데이터와 운영 데이터의 품질에 의해 결정됩니다. 데이터가 여러 시스템에 분산되어 있거나 관리 기준이 일관되지 않은 환경에서는 AI가 신뢰할 수 있는 결과를 제공하기 어렵습니다. 실제 기업 환경에서는 데이터 품질 관리, 접근 권한 통제, 보안 정책, 데이터 계보 추적 등 거버넌스 영역이 AI 성공의 핵심 요소로 작용합니다.
클라우드 성숙도가 높은 기업들은 일반적으로 데이터 통합 체계와 운영 프로세스가 정립되어 있습니다. 따라서 AI 프로젝트를 시작할 때도 필요한 데이터를 신속하게 확보하고 운영 환경으로 연결할 수 있습니다. 반대로 데이터 관리 체계가 미흡한 기업은 AI 프로젝트 초기 단계에서는 성과를 보이는 것처럼 보일 수 있지만 운영 규모가 커질수록 정확도 저하와 비용 증가, 보안 리스크에 직면하게 됩니다.
일부 규제가 엄격한 산업군(금융, 의료, 공공 등)이나 극도의 보안을 요구하는 대기업의 경우, 클라우드를 배제하고 자체 데이터 센터 내부(On-Premise)에서 AI 프로젝트를 완결 지으려는 시도를 하기도 합니다. 물론 매우 제한적인 범위의 단일 업무 자동화나 내부 검색 레이어 구축, 부서 단위의 가상 비서 구현 등은 온프레미스 환경에서도 어느 정도 성과를 낼 수 있습니다.
그러나 이러한 폐쇄적 접근 방식으로 AI를 전사적 규모로 확장(Scaling)하는 것은 결코 쉽지 않습니다. 온프레미스 환경에서 대규모 AI를 안정적으로 서비스하려면 모델 서빙(Model Serving), 오케스트레이션(Orchestration), 실시간 관찰 가능성, 고도의 사이버 복구(Cyber-Recovery) 능력, 그리고 완벽한 보안 시스템을 갖춘 '성숙한 관리 레이어'가 사전에 내재화되어 있어야 합니다. 대다수의 일반 기업들은 이러한 고도의 인프라 관리 역량을 자체적으로 보유하지 못하고 있으며, 결과적으로 온프레미스 기반의 AI는 확장성과 유연성 측면에서 급변하는 시장 요구사항을 따라잡지 못하는 한계에 직면하게 됩니다.
결국 해답은 클라우드로의 전환이지만, 단순히 '돈을 많이 쓰고 서버를 클라우드로 옮겼다'는 사실 자체가 자동으로 AI 성숙도를 보장해주지는 않는다는 점을 명심해야 합니다. 기존의 분산되고 파편화된 아키텍처를 그대로 둔 채 인프라의 위치만 클라우드로 이전(Lift-and-Shift)하는 방식은 구조적 복잡성을 전혀 해결해주지 못합니다. 진정한 의미의 클라우드 투자는 데이터와 AI가 인프라적 장벽 없이 실시간으로 상호작용할 수 있는 '통합되고 유연하며 거버넌스가 확립된 기반'을 형성하는 데 집중되어야 합니다.
현재 많은 기업들이 생성형 AI 파일럿 프로젝트를 수행하고 있습니다. 일부 기업은 수십 개의 프로젝트를 동시에 운영하기도 합니다. 그러나 파일럿 단계의 성공이 곧 운영 환경에서의 성공을 의미하지는 않습니다.
AI 서비스가 실제 업무 프로세스와 연결되기 시작하면 데이터 통합, 보안, 비용 최적화, 운영 모니터링 등 다양한 과제가 동시에 발생합니다. 이 과정에서 클라우드 환경이 충분히 정비되지 않은 기업들은 예상보다 큰 어려움을 겪게 됩니다. 업계 전문가들은 복잡하게 얽힌 데이터 구조와 불완전한 거버넌스 환경 위에서 AI를 확장하는 것은 매우 어렵다고 지적합니다. 실제 운영 단계에서는 컴퓨팅 비용 증가와 시스템 복잡성이 급격히 확대되기 때문입니다.
결국 AI 경쟁력은 얼마나 많은 파일럿을 수행했는지가 아니라 얼마나 안정적으로 운영 체계에 안착시켰는가에 의해 결정됩니다.
그렇다고 클라우드 지출을 늘리는 것만으로 문제가 해결되는 것은 아닙니다. 일부 기업은 상당한 규모의 클라우드 투자를 진행했음에도 AI 확장에 어려움을 겪고 있습니다. 기존에 파편화된 데이터 구조와 운영 체계를 그대로 유지한 채 인프라만 클라우드로 이전했기 때문입니다.
기존에 분산되어 있던 시스템을 단순히 클라우드로 옮기는 것만으로는 데이터 사일로가 사라지지 않습니다. 오히려 여러 클라우드 서비스와 플랫폼이 혼재하면서 운영 복잡성이 증가할 수도 있습니다. 또한 예측하기 어려운 비용 구조, 특정 벤더 의존성, 파편화된 거버넌스 체계 역시 AI 운영 효율성을 떨어뜨리는 요인이 될 수 있습니다.
중요한 것은 클라우드 자체가 아니라 클라우드를 기반으로 얼마나 통합적이고 유연한 데이터 환경을 구축할 수 있는가입니다. AI는 결국 데이터와 인프라, 운영 체계가 유기적으로 연결된 환경에서 가장 큰 가치를 창출하기 때문입니다. 향후 기업 간 경쟁은 누가 더 많은 AI 파일럿을 수행했는지가 아니라, 누가 더 안정적이고 확장 가능한 AI 운영 체계를 구축했는가에 의해 결정될 가능성이 높습니다. AI 경쟁력의 출발점은 모델이 아니라 기반 환경이며, 그 중심에는 성숙한 클라우드 전략이 자리하고 있습니다.
단기적인 AI 성과(데모, 파일럿)를 빠르게 입증하기 위해 기존 클라우드 운영 및 현대화 예산을 AI 프로젝트로 전용하는 ‘아랫돌 빼서 윗돌 괴기’식 자금 배분을 감행하기 때문입니다. 조사에 따르면 IT 리더의 84%가 AI 도입 확대에도 불구하고 클라우드 지출이 정체되었다고 답했습니다.
데이터 사일로(파편화)로 인해 고품질 데이터 파이프라인 구축이 불가능해지며, 파일럿 단계를 지나 실운영(Production)으로 전환하는 시점에 제어할 수 없는 컴퓨팅 비용 상승, 보안 리스크, 시스템 복잡성 확장의 한계에 직면하게 됩니다.
부서 단위의 가상 비서 등 제한된 범위의 자동화는 가능합니다. 다만, 대규모 AI로 확장하려면 모델 서빙, 오케스트레이션, 실시간 관찰 가능성 등을 갖춘 고도의 관리 레이어가 필요한데, 대다수 기업은 자체 데이터 센터에서 이러한 확장성과 탄력성을 확보하기 어렵습니다.
단순히 서버를 클라우드로 이전하는 것보다 데이터 통합, 거버넌스 체계, 운영 자동화, 보안 정책을 함께 고도화하는 것이 중요합니다. AI가 안정적으로 확장될 수 있도록 데이터와 애플리케이션, 인프라가 유기적으로 연결된 운영 기반을 구축해야 합니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
CIO의 Contributor Writer
