Samsung SDS

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

에이전틱 AI가 업무를 대신하기 시작했습니다. 이메일을 보내고, 구매와 예약을 처리하며, 여러 시스템에서 필요한 정보를 모아 다음 행동까지 제안하는 수준입니다. 이제 AI는 질문에 답하는 도구에서 업무 흐름에 들어가 결과를 만들어내는 실행 시스템으로 이동하고 있습니다.

딜로이트의 2026년 기업 AI 보고서에서 3,200명 이상의 경영진 가운데 75%는 이미 일정 수준의 에이전틱 AI를 사용하고 있다고 답했습니다. 향후 2년 안에 AI 에이전트를 사용할 것으로 예상한 비율은 95%였습니다.

이 숫자만 보면 기업의 선택지는 단순해 보입니다. 빠르게 에이전트를 도입하면 됩니다. 그러나 에이전트 사용이 보편화될수록 같은 기능을 배포하는 것만으로는 경쟁 우위를 만들기 어렵습니다. 차이는 기업 고유의 데이터와 지식, 업무 방식, 그리고 에이전트를 운영하는 구조에서 발생합니다.

AT&T와 New York Life 사례는 이 변화를 잘 보여줍니다. 두 기업은 특정 모델 하나를 선택하는 데 그치지 않고, 데이터와 애플리케이션을 연결하고, 모델을 바꿔 끼우며, 업무 흐름과 비용을 함께 관리하는 기반을 만들고 있습니다. 에이전틱 AI 전환은 새로운 도구를 추가하는 프로젝트가 아니라, 기업이 일을 설계하고 운영하는 방식을 다시 정하는 일에 가깝습니다.

AI는 이제 답하지 않고 다음 일을 시작한다

생성형 AI가 처음 확산될 때 기업의 관심은 모델이 얼마나 자연스럽게 답하는지에 집중됐습니다. 하지만 에이전틱 AI는 답변을 만드는 데서 멈추지 않고, 외부 데이터와 도구를 조회하고 다음 행동을 실행합니다. 이메일을 보내거나, 문서와 업무 시스템을 확인하거나, 여러 단계를 거쳐 하나의 업무를 완료하는 방식입니다.

이 전환을 가능하게 한 계기 중 하나가 연결 표준입니다. 앤트로픽은 2024년 11월 Model Context Protocol을 공개하며 AI 어시스턴트와 데이터 저장소·업무 도구·개발 환경을 연결하는 개방형 표준을 제시했습니다. MCP는 AI를 고립된 대화창에서 꺼내 실제 업무 환경과 연결하는 공통 인터페이스의 역할을 합니다.

기업 입장에서는 이메일 시스템과 문서 저장소에 접근 권한을 부여하거나, 세일즈포스 같은 업무 플랫폼의 에이전틱 기능을 활성화하는 것만으로도 도입을 시작할 수 있습니다. 그러나 연결이 곧 성과를 의미하지는 않습니다. 에이전트가 어떤 업무의 어느 단계를 맡고, 어떤 데이터를 근거로 판단하며, 어떤 행동까지 허용되는지 정의하지 않으면 자동화는 업무를 빠르게 만드는 대신 오류를 빠르게 확산시킬 수 있습니다.

따라서 에이전틱 AI의 첫 번째 질문은 ‘어떤 모델을 쓸 것인가’가 아니라 ‘어떤 업무 결과를 어떤 방식으로 만들어낼 것인가’여야 합니다.

성과는 비즈니스의 재설계에서 갈린다

딜로이트 조사에서 AI를 사용하는 기업과 AI를 중심으로 비즈니스를 다시 설계하는 기업은 같은 집단이 아니었습니다. 조사 대상 기업의 37%는 기존 프로세스에 AI를 덧붙이는 수준에 머물렀고, 30%는 핵심 프로세스를 AI 중심으로 재설계하고 있었습니다. 34%는 새로운 제품과 서비스, 핵심 프로세스 또는 비즈니스 모델을 깊이 바꾸기 시작했다고 답했습니다.

현재 에이전틱 AI를 중간 수준으로 활용한다는 응답은 20%, 광범위하게 활용한다는 응답은 2%, 운영의 핵심 요소로 완전히 통합했다는 응답은 1%였습니다. 하지만 2년 뒤에는 각각 46%, 23%, 5%까지 늘어날 것으로 예상됐습니다. 에이전트를 쓰는 기업이 늘어나는 속도에 비해, 운영의 중심에 에이전트를 배치하는 기업은 아직 소수라는 뜻입니다.

경쟁력은 이 간극에서 갈립니다. 누구나 사용할 수 있는 범용 에이전트를 도입하는 것과, 기업의 데이터·지식·전문성을 반영해 핵심 업무 흐름 자체를 바꾸는 것은 다른 과제입니다. 전자는 기능 도입에 가깝지만, 후자는 업무 운영 모델의 변화입니다.

New York Life Group Benefit Solutions가 구상하는 ‘커맨드 센터’형 업무 환경은 그 차이를 잘 보여줍니다. 직원이 여러 시스템을 오가며 할 일 목록을 확인하는 대신, 역할과 목표를 이해한 AI가 우선순위를 제시하고 업무를 준비하며 진행 상황을 보여주는 환경입니다. 이를 구현하려면 단순히 챗봇을 추가하는 것이 아니라, 역할별 업무와 여러 시스템의 프로세스 흐름을 다시 정의해야 합니다.

자체 AI만이 답은 아니다

AT&T는 자체 AI 플랫폼을 구축하고, 플랫폼이 사용하는 지식을 직접 통제하며 정확도와 거버넌스를 함께 모니터링하고 있습니다. 또한 특정 모델에 종속되지 않고 필요에 따라 모델과 프레임워크를 교체할 수 있는 모델 애그노스틱(model-agnostic) 구조를 택했습니다. AI를 유용하게 만드는 것은 모델 자체보다 기업의 데이터·지식·전문성이라는 판단입니다.

또한 AT&T는 구축 중이거나 운영 중인 에이전틱 워크플로우가 1,000개를 넘는다고 소개했습니다. 다만 에이전트 수를 무작정 늘리기보다 여러 업무에 활용할 수 있는 다목적 에이전트를 만들고, 적절한 정보와 행동 방향을 제공하는 방식으로 운영 복잡도를 관리하고 있습니다.

New York Life Group Benefit Solutions도 클라우드 도입과 전략적 데이터 관리, 업무 애플리케이션 통합을 추진한 뒤 풀스택 AI 역량을 제공하는 AI 운영 플랫폼을 구축하고 있습니다. 컴플라이언스 감사 증거를 수집하고 정리하는 업무부터 실제 환경에 에이전틱 AI를 배포했으며, 프라이빗 클라우드에 모델을 배치하고 보안과 거버넌스를 함께 적용했습니다.

두 사례가 공통으로 보여주는 것은 ‘자체 모델을 보유해야 한다’는 결론이 아닙니다. 핵심은 모델이 바뀌거나 새로운 도구가 추가되어도 기업의 데이터와 업무 기준을 유지하고, 필요한 경우 구성 요소를 교체할 수 있는 운영 구조입니다. 모델을 고르는 선택권과 데이터를 통제하는 권한, 업무에 연결하는 플랫폼이 함께 있어야 에이전트가 기업의 역량으로 축적됩니다.

이 관점에서 AI 풀스택은 인프라·클라우드·데이터·모델·플랫폼·에이전트·운영을 하나의 제품으로 고정한다는 뜻이 아닙니다. 업무에 맞게 구성 요소를 조합하고 교체하면서도 데이터·권한·품질·비용을 일관되게 관리할 수 있는 기업의 실행 기반을 뜻합니다.

토큰 가격은 내려가는데 AI 비용은 왜 커질까?

에이전틱 AI가 본격적으로 업무에 들어오면 비용 구조도 달라집니다. 단일 질문에 한 번 응답하는 챗봇과 달리, 에이전트는 계획을 세우고 여러 번 추론하며 도구를 호출하고 결과를 다시 확인합니다. 개별 토큰 가격이 내려가도 업무 하나를 완료하는 데 사용하는 토큰과 호출 횟수가 늘어나면 전체 비용은 커질 수 있습니다.

가트너는 에이전틱 워크플로우의 AI 추론 비용이 2028년까지 5배 이상 증가할 수 있다고 전망했습니다. AT&T는 하루 450억 개의 토큰을 사용하고 있으며, 모든 요청을 가장 비싼 최신 모델로 처리하지 않기 위해 AI 게이트웨이에서 업무에 맞는 엔드포인트로 요청을 라우팅한다고 설명했습니다. 일부 서브에이전트에는 소형언어모델을 사용해 비용을 90% 절감하고 있다고도 밝혔습니다.

이 방식은 모델을 싸게 쓰자는 단순한 비용 절감책이 아닙니다. 업무별로 필요한 정확도·지연시간·위험 수준을 정하고, 그 기준을 만족하는 가장 적절한 모델과 도구를 선택하는 운영 방식입니다. 고난도 판단에는 고성능 모델을 쓰되, 분류·요약·반복 작업에는 소형 모델이나 규칙 기반 자동화를 조합하는 식입니다.

맥킨지는 2026년 AI 지출 분석에서 AI 비용의 20~30%가 여러 클라우드·모델 업체·도구·사업부에 분산돼 추적되지 않는 경우가 있다고 지적했습니다. 또한 성숙한 AI FinOps 역량을 갖춘 기업은 20~25%에 그친다고 분석했습니다. 비용을 통제하려면 토큰 사용량만 보는 것이 아니라 사용자·애플리케이션·워크플로우·모델·프롬프트·API 호출·성과를 하나의 관리 화면에서 연결해야 합니다.

결국 에이전틱 AI의 단위 경제성은 토큰당 가격보다 업무 하나를 완료하는 비용과 그 결과로 만들어낸 가치로 측정해야 합니다.

모든 업무에 에이전트를 붙이지 않는 것도 전략이다

에이전틱 AI는 예외가 많고 여러 시스템의 정보를 조합해야 하는 업무에서 강점을 가집니다. 반면 항공권 발권이나 은행의 핵심 거래처럼 예측 가능성과 결정성이 우선인 업무는 에이전트의 자율성을 크게 높이는 것이 오히려 위험할 수 있습니다. CIO 인터뷰에서 ACM의 니콜라스 마테이는 미션 크리티컬 업무가 언제나 에이전틱 워크플로우에 적합한 것은 아니라고 지적했습니다.

따라서 업무 선정 단계에서 다음 네 가지를 확인할 필요가 있습니다.

• 업무 결과를 측정할 수 있는가
• 예외 상황과 사람의 판단 지점을 정의할 수 있는가
• 잘못된 실행을 취소하거나 되돌릴 수 있는가
• 에이전트의 자율성이 비용과 위험을 감수할 만큼 가치를 만드는가

이 질문은 AI를 도입하지 말자는 뜻이 아닙니다. 에이전트가 잘하는 업무와 기존 시스템·규칙·RPA가 더 적합한 업무를 구분해 전체 운영 구조를 설계하자는 의미입니다. 가장 앞선 기업은 모든 프로세스를 에이전트화하지 않고, 사업 성과를 만드는 업무에 자율성을 집중합니다.

에이전트를 붙이기 전에 먼저 정해야 할 다섯 가지

1. 업무 결과부터 정한다

에이전트를 먼저 만들고 사용처를 찾기보다 고객 응답 시간, 감사 준비 시간, 매출 전환, 오류 감소처럼 개선하려는 결과를 정합니다. 에이전트의 성공 기준과 사람에게 넘길 조건도 이 단계에서 정해야 합니다.

2. 기업 데이터를 업무 맥락으로 연결한다

공용 지식이나 모델 성능만으로는 기업의 차이를 만들기 어렵습니다. 데이터의 출처와 품질, 접근 권한, 최신성을 관리하고 역할별로 필요한 지식과 업무 시스템을 연결해야 합니다.

3. 모델과 도구를 바꿀 수 있게 설계한다

모델·프레임워크·클라우드·도구 중 하나가 바뀌어도 업무가 중단되지 않도록 연결 계층과 표준 인터페이스를 둡니다. 모델 선택권은 기술 유행에 대응하는 장치이자 비용과 성능을 조정하는 기반입니다.

4. 운영 통제를 아키텍처에 넣는다

AI 게이트웨이와 정책 엔진으로 승인된 모델·도구·데이터만 사용하게 하고, 호출 기록과 비용, 품질, 권한을 추적합니다. 사람이 개입해야 하는 조건과 실행을 멈추거나 되돌리는 절차도 문서가 아니라 시스템에 반영해야 합니다.

5. 배포 후 성과를 계속 재평가한다

모델과 데이터, 프롬프트, 연결 도구가 바뀌면 같은 에이전트도 다른 결과를 낼 수 있습니다. 운영 중에는 품질·비용·사용량·업무 성과를 함께 확인하고, 기준을 충족하지 못하면 모델을 낮추거나 바꾸고, 권한을 줄이거나, 사람의 검토로 전환해야 합니다.

에이전틱 AI, 어디까지 맡길 것인가

2년 안에 AI 에이전트를 사용하는 기업이 95%에 이를 수 있다는 전망은 에이전틱 AI가 곧 기본 기능이 된다는 의미입니다. 그때 기업 간 차이는 에이전트를 도입했는지 여부가 아니라, 에이전트를 얼마나 기업의 업무와 데이터에 맞게 운영하는지에서 갈릴 것입니다.

AI가 업무를 대신할수록 기업은 더 많은 것을 설명할 수 있어야 합니다. 어떤 데이터와 권한을 사용했는지, 어떤 모델과 도구를 거쳤는지, 어떤 비용으로 어떤 결과를 만들었는지, 문제가 생기면 누가 개입해 멈추는지를 확인할 수 있어야 합니다.

에이전틱 AI 도입을 앞두고 먼저 따져봐야 할 것은 어떤 모델이 가장 뛰어난가가 아닙니다. 우리 업무에서 AI가 맡아도 되는 일과 사람이 판단해야 하는 일을 어디에서 나눌지, 어떤 데이터와 권한을 부여할지, 오류가 발생했을 때 언제 멈추고 어떻게 되돌릴지, 성과와 비용을 어떤 기준으로 평가할지를 정해야 합니다. AI가 무엇을 할 수 있는지보다 우리 조직이 무엇을 맡길 수 있는지를 구체적으로 정하는 일, 그 기준을 세우는 것이 에이전틱 AI 전환의 다음 과제입니다.

FAQ

▶   본 콘텐츠는 CIO의 원문과 공개 자료를 바탕으로 재구성한 콘텐츠이며, 원문 및 인용 자료의 저작권은 각 권리자에게 있습니다.
▶   원문과 인용 자료의 2차 가공 및 영리적 이용은 각 권리자의 이용 조건을 따라야 합니다.