Samsung SDS

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

AI 시대, IT 리더의 역할이 다시 주목받고 있습니다. '2026 CIO 현황(2026 State of the CIO)' 조사에 따르면 응답자의 82%가 AI 제품의 조사와 평가를 담당하고 있으며, IT 리더의 78%는 IT 부서가 AI 도입을 주도하고 사업 부문이 이에 맞춰 전략을 정렬하고 있다고 답했습니다. 대부분의 조직에서 AI 전략의 중심에는 여전히 IT 리더가 있습니다.

그런데 역설적이게도, AI 도입의 주도권이 커질수록 IT 리더의 고민은 오히려 깊어지고 있습니다. 이사회와 CEO는 ROI를 요구하지만 AI 운영 비용은 여전히 예측하기 어렵습니다. 추진하고 싶은 유스케이스는 많지만 조직과 데이터의 준비 수준은 이를 따라가지 못합니다. 무엇보다 AI의 결과를 어디까지 신뢰할 수 있는가라는 근본적인 질문이 전략 전체를 흔들고 있습니다.

2026년 하반기, AI 전략을 수립하는 IT 리더가 반드시 짚어야 할 7가지 이슈를 살펴봅니다.

AI 투자의 기준이 달라졌습니다

첫 번째이자 가장 강력한 압박은 투자수익률(ROI)입니다. 이사회와 CEO는 더 이상 가능성에 투자하지 않습니다. 킨드릴(Kyndryl)의 '2025 준비 보고서(Readiness Report)'에 따르면 고위 경영진과 의사결정권자의 61%가 AI 투자 ROI를 입증해야 한다는 압박이 전년보다 커졌다고 답했습니다. IT 서비스 기업 엔소노(Ensono)의 최고 AI 책임자 짐 피아자(Jim Piazza)는 이러한 변화를 "모든 것에 전면 투자하던 시대에서, 모든 프로젝트가 재무적 가치를 명확하게 입증해야 하는 시대로 바뀌고 있다"라고 요약합니다. 실험 단계에서 측정 가능한 성과의 단계로 넘어갔다는 것입니다.

주목할 점은 이러한 규율이 실제 성과로 이어지고 있다는 사실입니다. 던앤브래드스트리트(Dun & Bradstreet)가 2026년 5월 발표한 'AI 모멘텀 조사(AI Momentum Survey)'에서 조사 대상 기업 1만 곳 중 67%는 일부 영역에서 초기 ROI의 신호를 확인했다고 답했고, 20%는 복수의 프로젝트에서, 10%는 높은 수준의 ROI를 달성했다고 응답했습니다. 불과 얼마 전까지의 결과와 비교하면 극적인 반전입니다. 올해 1월 발표된 PwC의 '2026 글로벌 CEO 조사(Global CEO Survey)'에서는 CEO의 56%가 AI에서 유의미한 재무적 효과를 얻지 못했다고 답했고, MIT의 '기업 AI 현황 2025: 생성형 AI의 격차(The GenAI Divide)' 보고서는 기업 생성형 AI 프로젝트의 95%가 6개월 내 측정 가능한 재무 성과를 입증하지 못했다고 분석한 바 있습니다. 구축 비용과 운영 비용, 기대 효과를 체계적으로 검토한 비즈니스 케이스가 AI 프로젝트의 성과 차이를 만들기 시작했습니다.

더 빠른 AI보다 더 큰 혁신

두 번째 이슈는 AI를 단순한 효율화 수단이 아니라 비즈니스 혁신의 동력으로 활용해야 한다는 요구입니다. PwC 조사에서 올해 CEO들이 꼽은 최대 관심사는 기술 변화 속도에 맞춰 조직이 충분히 빠르게 혁신하고 있는가였으며, 응답자의 42%가 이를 가장 큰 우려로 지목했습니다. KPMG가 2026년 5월 발표한 '적응력 펄스 조사(Adaptability Pulse Survey)'에서도 C레벨 임원 1,120여 명 중 68%가 혁신 가속에 대한 압박을 느낀다고 답했습니다.

이러한 압박은 AI 전략의 무게중심을 바꾸고 있습니다. 세계 최대 비영리 교육평가 기관 ETS의 CIO 겸 AI 총괄 스티브 산타나(Steve Santana)는 "AI를 활용한 전사 효율화에서 벗어나, 평가 서비스를 어떻게 새롭게 전달할 것인가로 초점을 옮기고 있다"라고 말합니다. 그동안 규모나 복잡성 때문에 시도하기 어려웠던 영역, 예컨대 대규모 환경에서의 상호작용형 시험과 평가 같은 과제에 도전하고 있다는 것입니다.

다만 산타나는 속도 경쟁에 대해서는 분명히 선을 긋습니다. "AI 경쟁의 승자가 반드시 가장 먼저 도착한 기업은 아닐 것"이라며, 성급한 움직임은 매우 위험한 행동을 유발할 수 있다고 경고합니다. 느리게 가자는 것이 아니라 조직에 맞는 속도로 추진하는 것이 중요하다는 의미입니다.

AI 비용을 모른다고 멈출 수는 없습니다

세 번째 이슈는 AI 비용의 불투명성입니다. 많은 IT 리더들이 유스케이스별 AI 운영 비용을 산정하는 데 어려움을 겪고 있으며, 추정치는 실제 청구서보다 한참 낮은 경우가 적지 않습니다. IDC는 글로벌 1,000대 기업이 2027년까지 AI 인프라 비용을 30% 과소평가할 것으로 전망했습니다. 비용을 모르면 어떤 유스케이스가 정량적 가치를 낼지 판단하기 어렵고, 결국 이기는 AI 전략을 세우는 일 자체가 어려워집니다.

그럼에도 IT 리더들은 기다림이 답이 아니라고 말합니다. 퍼스트 호라이즌 은행(First Horizon Bank)의 수석부사장 겸 CIO 모한 산카라라만(Mohan Sankararaman)은 "관망하며 지켜볼 수는 없다. 그렇게 하면 결국 진다는 것이 일반적인 결론"이라며, 비용 구조를 완전히 파악하지 못했더라도 뛰어들어야 한다고 강조합니다. 그는 클라우드 비용을 최적화했던 경험을 AI에도 적용하고 있습니다. 또한 특정 업체의 청구서에 발목 잡히지 않도록 벤더 종속(Vendor Lock-in)을 유발하는 인프라 선택을 피하고, 과잉 설계를 줄여 적정 수준으로 시스템을 설계하는 것을 핵심 원칙으로 삼고 있습니다.

연구기관의 처방도 같은 방향을 가리킵니다. IDC의 인프라 및 운영 부문 리서치 부사장 제빈 젠슨(Jevin Jensen)은 이 과제를 성공적으로 풀어낸 조직의 공통점으로, 핀옵스(FinOps)를 사후 정산 조직이 아닌 전략 조직으로 재정립하고 AI 경제성을 측정하고 가시화하며 지속적으로 운영·개선하는 지속적으로 운영·개선하는 체계를 구축했다는 점을 꼽았습니다.

"AI를 도입하라"는 지시가 전략을 망칩니다

네 번째 이슈는 비즈니스 전략에 맞는 유스케이스를 선정하는 것입니다. AI로 할 수 있는 일은 넘쳐나지만, 예산과 실행 역량은 유한합니다. 엔터프라이즈 스트래티지 그룹(Enterprise Strategy Group)이 9개국 비즈니스·IT 리더 1,900명을 조사한 '2025 생성형 AI ROI 보고서'에 따르면 응답자의 71%는 추진하고 싶은 유스케이스가 감당 가능한 예산을 초과한다고 답했고, 54%는 비용·비즈니스 영향·실행 역량 같은 객관적 기준으로 올바른 유스케이스를 고르는 일이 어렵다고 응답했습니다. 선택의 무게도 가볍지 않습니다. 71%는 잘못된 유스케이스 선택이 회사의 시장 지위를 해칠 것이라고 인정했고, 59%는 잘못된 유스케이스를 옹호하면 자신의 자리가 위태로워질 수 있다고 답했습니다.

오랫동안 IT 리더들의 자문을 맡아온 래리 울프(Larry Wolff) 프리퍼드 트래블 그룹(Preferred Travel Group) CIO는 이 어려움의 뿌리를 이사회와 CEO의 " AI를 일단 도입하라 (Do AI)"는 지시에서 찾습니다. 이런 지시는 기술을 앞세우고 비즈니스 목표를 뒤로 미루는 접근으로, IT 리더들이 수년간 피하려 애써온 방식이라는 것입니다. 울프는 " 기술 전략은 비즈니스 전략과 분리되어서는 안 된다. 기술 요소를 포함한 비즈니스 전략이 있어야 하며, AI도 마찬가지"라며 "비즈니스 과제와 기회를 먼저 논의한 뒤, AI가 이를 어떻게 풀 수 있는지 이야기해야 한다"라고 말합니다.

기술보다 먼저 준비해야 할 것은 사람과 데이터

다섯 번째와 여섯 번째 이슈는 조직 내부의 준비 수준, 곧 사람과 데이터입니다. 산카라라만은 경영진과 AI 전략을 수립하는 지금도 조직의 AI 이해도(AI Fluency)가 기대에 미치지 못한다고 진단합니다. 기술이 무엇을 할 수 있는지 모른 채 로드맵을 그리면 전략 자체가 제한될 수밖에 없기에, 그는 임원과 직속 리더를 대상으로 한 AI 부트캠프 운영을 검토하고 있습니다. 모두가 전문가가 될 필요는 없지만, 대규모 언어 모델(LLM)이 무엇이고 어떻게 활용하는지 정도의 공통 이해는 갖춰야 전략 논의가 가능하다는 것입니다.

EY 피플 컨설팅 부문 프린시펄 자말 저스티스(Jamaal Justice)는 이 문제를 '인적 준비도(Human Readiness)'로 개념화합니다. EY 조사에 따르면 직원의 88%가 업무에 AI를 사용하지만, AI로 혁신적인 비즈니스 성과를 내도록 직원을 준비시킨 조직은 28%에 불과합니다. 문제는 접근성이 아니라 도입과 준비라는 뜻입니다. 그는 사고방식, 역량, 업무 도구를 정렬하고 인간 중심·가치 중심으로 업무를 근본적으로 재설계하는 조직만이 대규모로 가치를 실현할 수 있으며, 그렇지 못한 조직은 파편적 도입과 제한된 수익에 그칠 위험이 있다고 경고합니다. 실제로 EY 조사에서는 학습·문화·보상 등 인재 기반이 취약한 상태로 AI를 배치하면 생산성 향상 효과가 40% 이상 감소할 수 있는 것으로 나타났습니다.

데이터의 사정도 다르지 않습니다. 클라우데라(Cloudera)와 하버드 비즈니스 리뷰 애널리틱 서비스가 2026년 발표한 'AI 데이터 준비의 복잡성 극복(Taming the Complexity of AI Data Readiness)' 보고서에 따르면 비즈니스 리더의 73%가 AI 활용에 필요한 데이터 준비에 어려움을 겪고 있습니다. 데이터 사일로와 소스 통합의 어려움(56%), 명확한 데이터 전략의 부재(44%), 데이터 품질과 편향 문제(41%), 데이터 활용 규제(34%)가 주요 장애물로 꼽혔습니다. 젠팩트(Genpact)의 최고 데이터·AI 책임자 스티브 프루잇(Steve Prewitt)은 AI 성공을 위해 " 데이터 환경을 근본부터 다시 설계해야 한다"고 말합니다. 특히 에이전틱 AI(Agentic AI)가 확산되면서 이 과제는 더욱 절실해졌습니다. AI 에이전트가 실시간으로 자율적인 의사결정을 내리게 하려면 고품질의 잘 관리된 데이터가 전제되어야 하며, 그렇지 않으면 에이전트 도입 자체가 막히거나 연쇄적인 장애(Cascading Failure)를 촉발할 위험이 있기 때문입니다.

결국 AI 전략의 종착점은 신뢰입니다

결국 일곱 가지 이슈는 하나의 질문으로 수렴합니다. 사람들이 AI의 결과를 믿게 만들 수 있는가. ETS의 산타나와 동료들은 문제 있는 데이터, 모델 드리프트(Drift) 등 다양한 요인으로 AI가 잘못된 결과를 낼 수 있음을 잘 알고 있으며, 일반 사용자들 역시 그 가능성을 인식하고 있습니다. 교육 평가처럼 개인의 미래가 걸린 고위험(High-stakes) 서비스를 제공하는 조직이라면, 일관되게 정확한 결과를 입증하는 방식으로 신뢰를 얻어야 합니다.

ETS의 전략은 AI가 어떤 의사결정에 활용되는지 투명하게 공개하고, 정확하고 신뢰할 수 있는 결과를 지속적으로 제공하기 위해 어떤 절차를 거치는지, 확립된 기준과 요구사항을 어떻게 충족하는지를 구체적으로 밝히는 것입니다. 산타나는 "AI로 사람을 평가하고 그 결과에 개인의 미래가 달려 있다면, 누구도 결과가 틀렸을지 모른다고 느끼게 해서는 안 된다"라며 "그런 유스케이스에서는 사용자가 결과를 의심하지 않도록 해야 하고, 신뢰 확보에 필요한 모든 활동이 전략에 포함되어야 한다"라고 강조합니다.

도입부의 역설로 돌아가 보겠습니다. AI 도입의 주도권이 커질수록 IT 리더들의 고민이 깊어지는 이유는, AI 전략이 더 이상 기술 선택의 문제가 아니기 때문입니다. ROI의 규율, 혁신의 방향, 비용의 통제, 유스케이스의 정렬, 사람과 데이터의 준비, 그리고 신뢰의 설계까지. 2026년의 AI 전략은 기술 전략이 아니라 경영 전략 그 자체이며, 결국 AI 경쟁력은 가장 빨리 도입한 기업이 아니라, 이 일곱 가지 질문에 가장 명확한 답을 준비한 기업에서 결정될 것입니다.

FAQ

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.