Samsung SDS

Executive Summary

• AI 사용량과 도입 건수는 성과가 아니라 활동량입니다. 경영진이 이미 추적하는 KPI가 나아지지 않는다면, 파일럿을 넘어 운영 환경에 안착한 AI라도 가치를 입증했다고 보기 어렵습니다.
• AI의 가치는 매출과 고객 유지율에서 드러납니다. 소비자는 AI 신뢰를 얻은 브랜드에 7% 더 지불할 의향이 있고, 24%는 데이터 활용이 우려돼 구독을 해지하거나 구매를 멈췄습니다.
• 생산성 지표는 인력 감축 논리로 번질 수 있어 함정이 됩니다. 의사결정에 걸리는 시간, AI 네이티브 역량, 토큰당 가치처럼 AI가 비즈니스를 바꿨음을 보여주는 지표가 필요합니다.
• AI의 가치는 비용 절감 장부가 아니라 매출·고객·의사결정이 이어진 가치사슬 위에서 입증됩니다. 효과는 생산성 J커브를 지나며 뒤늦게 나타나므로 기대치를 현실에 맞춰 관리해야 합니다.

이 글은 IDG의 아티클을 전재하여 제공합니다.
원문보기

AI 투자의 성과는 얼마나 많은 비용을 줄였는가로 증명될 수 있을까요? 많은 기업이 언어 모델 라이선스를 확보하고, AI 에이전트를 시험하고, 코드 생성 표준까지 마련했습니다. 그러나 경영진의 질문은 여전히 같습니다. 그래서 이 투자가 비즈니스에 무엇을 남겼는가 하는 질문입니다. AI를 쓰는 기업은 늘었지만, AI로 성과를 입증하는 기업은 아직 많지 않습니다.

아웃시스템즈(OutSystems)의 '2026 AI 개발 현황(State of AI Development 2026)' 보고서에 따르면, AI 프로젝트의 절반 이상을 파일럿에서 실제 운영 환경으로 옮긴 기업은 전체의 50%에 불과합니다. 운영 환경 배포가 아직 진행 중인 데다, 사용량이 늘었다고 해서 곧바로 비즈니스 성과로 이어지는 것도 아닙니다. 문제의 상당 부분은 AI 기술 자체가 아니라 AI의 가치를 재는 방식, 즉 측정의 기준에서 비롯됩니다.

StarCIO 대표인 아이작 사콜릭(Isaac Sacolick)은 30명이 넘는 기업 리더에게 AI 전략의 효과를 추적할 때 가장 중요하게 보는 비즈니스 가치 지표를 물었고, 그중 IT 리더가 도입할 만한 5가지를 추렸습니다. 조직 전문성이 이끄는 매출 성장, 고객 유지율, 직원 역량, 고객·직원 경험, 그리고 AI가 운영에 미치는 영향입니다. 비용 절감을 넘어 매출과 고객 유지율까지 AI의 성과로 증명하려면 무엇을, 어떻게 측정해야 할까요?

AI 도입 건수는 성과가 아닙니다, AI ROI의 기준을 다시 세워야 합니다

AI ROI(투자수익률) 측정은 'AI를 얼마나 썼는가'가 아니라 'AI로 비즈니스가 얼마나 달라졌는가'를 묻는 일입니다. 베린트(Verint)의 롭 스쿠디어(Rob Scudiere) CTO의 진단은 날카롭습니다. 너무 많은 기업이 AI 도입 자체를 성과 지표로 삼고 있다는 것입니다. 그가 내세우는 기준은 단순합니다. 경영진이 이미 추적하고 있는 지표가 나아지지 않는다면, AI가 의미 있는 가치를 만들고 있다고 주장하기 어렵습니다. 배포한 에이전트 수나 처리한 프롬프트 수는 활동량일 뿐 성과의 증거가 아닙니다.

측정의 출발점은 AI가 비즈니스 전략과 핵심성과지표(KPI)에 미치는 영향입니다. AI의 역량과 활용 방식, 보안 고려사항이 빠르게 바뀌는 만큼, 최고경영진은 AI의 전략적 가치를 정기적으로 논의하되 그 논의를 뒷받침할 데이터를 갖춰야 합니다. 이는 IT 부서 혼자 해낼 수 있는 일이 아닙니다. 부미(Boomi)에서 IT를 이끄는 케이유르 아즈메라(Keyur Ajmera)는 기업이 처음부터 비즈니스 이해관계자들과 '그래서 무엇이 달라지는가(so what)'에 합의해 두어야 한다고 강조합니다.

그의 제안은 구체적입니다. IT 리더는 CMO, CHRO, CFO, 현업 실무자와 손잡고 활용 사례를 발굴하고, 거버넌스와 표준화 체계를 세우고, 직원이 새로운 업무 방식에 적응하도록 도우며, 사용량 기반 AI 비용이 늘어나는 상황에 대비해 재무적 가드레일을 마련해야 합니다. 측정은 숫자의 문제이기 이전에 합의의 문제입니다. 누구와 함께 어떤 질문에 답할지 정해지지 않은 지표는 대시보드에만 머물 뿐, 의사결정으로 이어지지 않습니다.

매출 성장과 고객 유지율, AI가 돈이 된다는 첫 번째 증거입니다

첫 번째 지표는 조직의 전문성이 이끄는 매출 성장입니다. 칸타타(Kantata)의 사라 에드워즈(Sarah Edwards) 최고제품전략책임자는 AI ROI를 비용 절감과 효율성으로만 논하는 관행에 문제를 제기합니다. 이런 방식으로는 조직이 실제로 더 똑똑해지고 있는지 알 수 없다는 이유에서입니다. 그가 대안으로 내놓은 개념이 '조직 전문성의 복리 성장률(Expertise Compounding Rate)'입니다. 조직 안에 흩어진 공식·비공식 지식을 수집하고 종합해 확산하며, 그 위에 전문성을 계속 쌓아 올리는 능력을 뜻합니다.

에드워즈는 생산성과 효율성 너머를 보라고 주문합니다. 새로운 영업 기회, 고객 유지율 개선, 새로운 가격 모델, 인력 충원 없이 더 많은 프로젝트를 수행하는 역량까지 AI가 매출 성장에 어떻게 기여하는지 따져야 한다는 것입니다. 측정 방법도 구체적입니다. 바이브 코딩(Vibe Coding) 도구를 익힌 데브옵스 팀이 쇼핑 컨시어지 에이전트나 생성형 AI 검색을 고객 웹사이트에 붙여 매출을 얼마나 끌어올렸는지 확인할 수 있습니다. AI 도구로 만든 광고 캠페인과 그렇지 않은 캠페인의 광고비 대비 수익률(ROAS)을 비교하는 방법도 있습니다. 서비스 상담 과정에서 판매 기회를 찾는 컨택센터라면 상담원 1인당 시간당 매출이나 상품 제안 전환율이 지표가 됩니다. 이케아(IKEA)는 컨택센터 챗봇이 상담 직원의 시간을 확보해 준 덕분에 13억 유로 규모의 새로운 사업 라인을 만들어 냈습니다.

두 번째 지표는 고객 유지율입니다. 구독 기반 비즈니스에서 특히 중요한 이 지표는 IT 리더가 데이터·AI 거버넌스를 어떻게 설계하느냐에 따라 오르기도, 내리기도 합니다. 유저센트릭스(Usercentrics)의 '2026 디지털 신뢰 현황(State of Digital Trust 2026)' 보고서에 따르면, 소비자는 AI와 관련해 신뢰를 얻은 브랜드에 7% 더 높은 가격을 지불할 의향이 있습니다. 반면 소비자의 24%는 AI에 자신의 데이터가 쓰이는 방식이 걱정돼 구독을 해지하거나 구매를 중단한 경험이 있습니다. 신뢰는 가격 프리미엄이 되기도, 이탈의 이유가 되기도 합니다.

유저센트릭스의 도나 드로르(Donna Dror) CEO의 시각도 같은 맥락입니다. 대부분의 IT 리더는 AI로 절감한 비용은 계산할 수 있지만, 매출에 더 직접적으로 나타나는 숫자는 데이터를 잘못 다뤄 잃은 고객이라는 것입니다. 이 숫자를 보려면 개인정보 처리 동의 철회 건수, 정보주체 열람 요청(DSAR), AI 기능 사용 거부율을 추적해야 합니다. 구독형 제품이라면 AI 기능 출시 후 90일간의 구독 갱신율을 측정하고, 해지 절차에 데이터·AI 활용 관련 사유 코드를 추가하는 방법도 있습니다. AI가 아낀 비용만큼, AI가 놓친 고객도 장부에 올려야 한다는 뜻입니다.

생산성 너머, 의사결정 속도와 경험이 비즈니스를 바꿉니다

세 번째 지표는 생산성을 넘어선 직원 역량입니다. 사콜릭은 일찍부터 AI의 생산성 향상에만 매달리는 것이 함정이 될 수 있다고 경고해 왔습니다. 어느 시점이 되면 CFO가 생산성 개선을 근거로 인력 감축을 통한 비용 절감을 요구할 수 있기 때문입니다. 에이전틱 AI(Agentic AI) 워크플로우에 투자하는 기업이라면 더욱 그렇습니다. 그가 먼저 꼽는 지표는 의사결정에 걸리는 시간(Time-to-Decision)입니다.

재무·컨설팅 분야 전문가들은 대부분의 AI 성과표가 활동량에 머문다고 꼬집습니다. 배포한 에이전트 수, 자동화한 작업 수, 처리한 프롬프트 수가 그 예입니다. 이들이 대신 권하는 지표는 AI를 도입한 뒤 재무팀이나 운영팀이 얼마나 빨리 행동할 수 있게 됐는지, 그 속도가 매출이나 회피한 위험으로 얼마나 환산되는지입니다. 여기서 주목할 대목은 지표가 말해주는 내용의 차이입니다. 인력 지표는 AI가 일을 대체했다는 사실을, 의사결정 속도 지표는 AI가 비즈니스를 바꿨다는 사실을 보여줍니다.

지식의 접근성도 함께 봐야 합니다. 제조 현장의 데이터 전문가들은 데이터 민주화의 진짜 성적표가 특정 담당자를 찾아다니지 않고도 누구나 꺼내 쓸 수 있는 조직 지식의 비율이라고 언급합니다. 공장의 모든 작업 흐름을 파악하고 단일 공급업체 의존 위험은 꼼꼼히 챙기면서도, 한 사람에게 지식이 쏠린 같은 종류의 위험은 놓치는 기업이 많다는 지적입니다. 측정 방법으로는 위험 관리 업무에서 평균 복구 시간(MTTR)과 평균 탐지 시간(MTTD)의 차이를 의사결정 시간으로 삼고, 지식 관리에서는 내부 LLM 활용률 증가와 전문가가 정보 요청(RFI)에 응답하는 데 쓰는 시간의 감소를 추적할 수 있습니다.

네 번째 지표는 고객과 직원의 경험 개선입니다. 기존 업무를 조금 더 잘하게 된 수준을 넘어, AI가 없었다면 사람이 하기 어렵거나 경제적으로 확장할 수 없었던 비즈니스 역량을 찾아내야 합니다. IT 운영 분야 전문가들은 IT·보안 사고 관리에서 그 사례를 찾습니다. 이들이 보기에 관심의 초점은 사고를 얼마나 빨리 해결했는가에서 얼마나 많은 사용자가 사고를 아예 경험하지 않았는가로 옮겨가고 있습니다. 장애 30분 전에 문제를 막거나 175분 걸리던 사고를 5분 안에 해결한다면, 영향을 줄이는 데 그치지 않고 지워버리는 셈입니다.

일부 전문가들은 한 걸음 더 나아가, 생성형 AI가 기업의 경제 구조를 바꾸고 있는지를 물어야 한다고 주장합니다. 의사결정 속도, 직원 1인당 확보한 추가 업무 역량, 상위 담당자에게 넘기지 않고 해결한 예외 상황, 회수한 매출 손실분, 고객과 직원이 아낀 노력, 그리고 AI의 효과가 손익계산서(P&L)에 반영되는 속도가 그 답을 가늠하는 지표입니다. 이들이 내리는 결론은 가장 강력한 AI 전략이 고객 경험(CX), 직원 경험(EX), 엔지니어링, 비즈니스 KPI를 분리된 성과표가 아니라 하나의 가치사슬로 묶는 전략이라는 것입니다. 이를 위해 IT 리더는 AI로 비로소 가능해진 신규 역량, 즉 AI 네이티브 역량을 찾아 가치 지표로 측정하고, 이를 전사에 알릴 혁신 성과로 활용해야 합니다.

토큰 단가가 아니라 토큰당 가치를 물어야 합니다

다섯 번째 지표는 AI가 운영에 미치는 영향입니다. 많은 IT 리더가 클라우드를 그대로 옮기는 리프트 앤드 시프트(Lift-and-Shift) 전략이나 과도하게 권한을 부여받은 데브옵스 팀의 인프라 구매 때문에 비용이 치솟는 경험을 했습니다. 그 뒤 핀옵스(FinOps) 모범 사례를 도입하고 비용 고려를 개발 초기 단계로 앞당기며(Shift-left) 재무 규율을 세웠습니다. AI에서도 같은 일이 되풀이되고 있습니다. 토큰 가격이 내려가도 모델과 에이전트의 사용량이 늘면 'AI 비용 부채(AI Cost Debt)'는 현실의 문제가 됩니다.

토큰 경제학(Tokenomics)은 이 문제에 대한 답입니다. AI 토큰 사용에 드는 비용과 그 지출이 만들어내는 비즈니스 가치를 함께 추적하고 관리하는 접근법입니다. 비용 계산에는 사람의 노동도 들어가야 합니다. 직원이 AI 모델과 에이전트의 오류를 알아차리고 바로잡는 데 쓰는 시간, 이른바 'AI 환각세(Hallucination Tax)'가 대표적입니다. 클라우드 비용 관리 전문가들은 토큰 지출이 이미 현실의 예산 항목이 됐다고 짚습니다. 지출이 창출하는 성과보다 빠르게 늘어난다면 자랑할 만한 확장 성과가 아니라 단위 경제성의 문제라는 경고입니다. 이들이 꼽는 지표는 AI가 만든 결과물이 재작업 없이 수용되는 비율, 사람의 개입 없이 실행되는 의사결정과 작업의 수, 그리고 토큰 하나를 쓸 때마다 얻는 가치(Value per Token)입니다.

정보 관리 분야 전문가들은 판단 기준을 한 단계 더 끌어올립니다. 핵심 업무가 더 빨리 끝나는지, 의사결정이 더 일관되는지, AI가 내놓은 권고를 신뢰할 수 있는 원천 정보까지 추적할 수 있는지가 활동량과 가치를 가르는 신호라는 것입니다. 앞으로 성공적인 AI 프로그램은 프로젝트 완료 시간 단축, 고객 서비스 품질 향상, 규정 준수 개선, 의사결정 일관성 강화로 평가받을 것이라는 전망도 이어집니다. 이때 개인의 업무에 미치는 단기 효과와 팀·부서·기업 차원의 성과는 구분해서 봐야 합니다. 사콜릭의 조사에 따르면 이미 다수의 AI 에이전트 오케스트레이션 플랫폼이 토큰 경제학 기능을 제공하고 있습니다.

승부는 J커브의 바닥을 버티는 현실적인 기대치에서 갈립니다

결국 처음의 질문으로 돌아갑니다. AI의 성과는 비용 절감만으로 증명될 수 있을까요? 지금까지 살펴본 5가지 지표가 말해주는 답은 '아니오'입니다. 비용 절감은 AI의 가치 중 가장 쉽게 보이는 일부일 뿐이며, 매출과 고객 유지, 의사결정의 속도, 경험의 질, 운영의 단위 경제성은 그보다 더 깊은 곳에서 AI의 진짜 가치를 보여줍니다. AI를 얼마나 썼는가가 아니라 AI로 무엇이 달라졌는가를 증명하는 기업만이 다음 투자를 설득할 수 있습니다.

다만 이 증명에는 시간이 필요합니다. IT 리더는 AI 실험에서 운영 환경 배포로, 전사적 도입으로, 마침내 비즈니스 가치 창출로 이어지는 전환을 이끌어야 합니다. 그 속도는 비즈니스 수요에 맞춰 조정되는 강력한 변화 관리 프로그램에 달려 있으며, 'AI 거품'이 꺼질 가능성까지 염두에 둬야 합니다. 킨드릴(Kyndryl)의 크리스 러브조이(Kris Lovejoy) 글로벌 전략 총괄은 기업용 AI가 생산성 J커브(Productivity J-curve)를 따른다고 진단합니다. 경제적 효과가 가시화되기 훨씬 전부터 기업은 새로운 역량과 운영 모델, 거버넌스, 프로세스 재설계에 투자해야 하고, 그래서 사용량은 먼저 오르는데 성과는 몇 달 뒤에야 나타난다는 분석입니다. 많은 경영진이 AI 투자 수익을 확신하지 못하는 이유 중 하나입니다.

AI 에이전트 배포와 직원 채택이 종착점은 아닙니다. 그러나 IT 리더는 비즈니스 가치를 과장해 약속하기 전에 이 두 가지를 먼저 잘 해내야 합니다. 출발점은 에이전틱 AI를 위한 IT 인력의 역량 강화와 AI 에이전트 배포 과정에서 흔히 저지르는 실수를 피하는 일입니다. AI의 가치를 측정한다는 것은 과거를 평가하는 일이 아니라, 다음 투자의 방향을 정하는 일입니다. 증명할 수 있는 지표를 먼저 세운 기업이 J커브의 바닥에서도 투자의 명분을 지켜낼 것입니다.

FAQ

▶   본 콘텐츠는 CIO의 원문과 공개 자료를 바탕으로 재구성한 콘텐츠이며, 원문 및 인용 자료의 저작권은 각 권리자에게 있습니다.
▶   원문과 인용 자료의 2차 가공 및 영리적 이용은 각 권리자의 이용 조건을 따라야 합니다.