Samsung SDS

Executive Summary

• AI의 성과는 모델보다 업무 연결 방식에 달려 있습니다. 팔로알토네트웍스의 82% 자동화 사례는 AI 에이전트를 반복 업무와 연결하고, 데이터·시스템·사람의 검토 지점을 함께 설계했을 때 성과가 커질 수 있음을 보여줍니다.
• AI 자동화는 사람의 업무를 없애기보다 더 높은 난도의 업무로 이동시킵니다. CCS 사례처럼 단순 문의가 자동 처리되면 사람에게는 예외 상황과 복합적인 판단이 과제로 남습니다.
• AI 에이전트의 정확도는 데이터의 양보다 지식과 맥락의 구조화 수준에 좌우됩니다. 최신 데이터, 업무 용어, 시스템 간 관계, 조직의 암묵지가 연결되어야 AI 에이전트가 실제 업무에서 일관된 판단을 내릴 수 있습니다.
• 에이전틱 AI 시대의 거버넌스는 권한을 제한하는 규정이 아니라 실행을 관리하는 운영 체계입니다. 에이전트의 신원·권한·도구·행동·사람의 개입 지점을 설계하고, 실행 결과를 지속적으로 평가할 수 있어야 합니다.

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

의료 기업 CCS의 CTO 리처드 매키(Richard Mackey)는 최근 CEO를 포함한 경영진 앞에서 발표 자료를 선보였습니다. 평소라면 4시간이 걸렸을 자료였지만, AI 에이전트가 기본 초안을 만드는 데 걸린 시간은 15분이었습니다. 그는 AI가 만들었다는 워터마크를 붙이고 결과물의 약 20%만 직접 수정했습니다. 오랜 경력의 IT 리더조차 "오랫동안 잊고 지낸 친구를 다시 만난 것 같다"고 말할 만큼, 에이전트는 이미 일하는 방식을 바꾸고 있습니다.

하지만 이런 성과가 AI 에이전트를 도입한다고 곧바로 나타나는 것은 아닙니다. 포레스터(Forrester)의 '2026 에이전틱 AI 현황(State of Agentic AI 2026)' 보고서에 따르면 기업의 약 75%가 에이전틱 AI를 도입하고 있지만, 운영 환경에서 의미 있는 애플리케이션을 구현한 기업은 극소수에 불과하다고 분석했습니다. 기술 도입과 비즈니스 성과 사이에는 업무 설계, 데이터 품질, 권한 관리, 평가 체계라는 간극이 존재합니다.

개인의 성과는 즉시 개선되는데 조직의 성과는 왜 더딜까요? 이것이 오늘날 IT 리더들이 마주한 질문입니다. 챗봇과 코파일럿을 넘어 스스로 판단하고 워크플로우를 실행하며 여러 기업 시스템을 넘나드는 자율형 시스템이 들어오면, 바뀌어야 하는 것은 도구가 아니라 IT 운영의 설계 전체입니다. 조직을 어떻게 꾸리고, 데이터를 어떻게 다루고, 기술 스택을 어떻게 짜고, 비즈니스와 어떻게 협업할 것인가. 캐피털원, 팔로알토네트웍스, 구스토, CCS의 IT 리더들이 직접 밝힌 재설계의 방법을 따라가 봅니다.

에이전틱 AI는 IT 운영의 범위를 바꿉니다.

에이전틱 AI는 목표를 달성하기 위해 상황을 해석하고, 필요한 정보와 도구를 선택하며, 여러 단계의 업무를 수행하는 인공지능입니다. 생성형 AI가 결과물을 만들어내는 데 집중한다면, AI 에이전트는 그 결과를 바탕으로 후속 작업까지 연결합니다.

예를 들어 고객 문의를 처리할 때 AI 에이전트는 문의 내용을 분류하고, 고객 정보와 계약 내용을 확인한 뒤, 적절한 답변을 작성하고 관련 시스템에 처리 결과를 남길 수 있습니다. 정해진 규칙에 따라 한 가지 작업을 반복하는 자동화와 달리, 업무의 맥락과 상태를 고려해 다음 행동을 선택한다는 점이 다릅니다.

에이전트형 워크플로우는 여러 AI 에이전트가 역할을 나누어 하나의 비즈니스 결과를 만드는 구조입니다. 한 에이전트가 문의를 분석하고, 다른 에이전트가 데이터를 조회하며, 또 다른 에이전트가 승인이나 후속 안내를 담당하는 방식입니다.

따라서 모든 업무에 에이전틱 AI를 적용할 필요는 없습니다. 입력과 출력이 명확하고 정밀한 결과가 필요한 업무라면 기존 자동화가 더 적합할 수 있습니다. 반면 여러 단계의 판단과 조정이 필요하고, 예외 상황을 처리해야 하며, 업무 목표가 분명한 영역에서는 AI 에이전트가 더 큰 가치를 만들 가능성이 있습니다.

82% 자동화, 핵심은 모델이 아니었습니다.

팔로알토네트웍스의 사내 AI 에이전트 ‘판다 AI’는 전체 요청의 82%를 자동 처리하고 IT 운영 비용을 약 70% 줄였습니다. IT 지원에만 머물지 않고 출장, 경비 처리, 인사 업무까지 활용 범위를 넓힌 결과입니다.

이 성과는 전적으로 AI 에이전트의 모델 성능 덕분은 아닙니다. 자동화율을 높인 핵심은 에이전트를 직원들이 실제로 반복해서 찾는 업무 흐름에 연결하고, 업무를 실제로 완료할 수 있도록 역할과 범위를 설계한 데 있습니다.

또 하나의 조건은 업무를 기존 방식 그대로 옮기지 않았다는 점입니다. 팔로알토네트웍스의 IT 리더 미라 라자벨은 AI 에이전트를 만들기 전에 현재 어떤 데이터를 보유하고 있고 어떤 정보가 부족한지부터 파악해야 한다고 강조했습니다. 기존 업무 방식을 그대로 자동화하는 대신, 에이전트 중심의 환경에서 업무를 어떻게 다시 설계할지 먼저 검토해야 한다는 의미입니다.

팔로알토네트웍스는 매년 900건이 넘는 제안요청서에도 대응합니다. 이를 위해 복잡한 RFP의 초안을 작성하는 AI 에이전트를 구축했고, 이후 컨설턴트가 내용을 검토하고 보완하는 방식으로 운영하고 있습니다. 과거 6~8주가 걸리던 작업이 몇 시간 안에 초안 단계까지 진행될 수 있게 됐습니다.

AI가 최종 판단까지 대신하는 구조는 아닙니다. 에이전트는 반복적이고 시간이 많이 걸리는 초안 작업을 맡고, 사람은 내용의 적절성과 사업적 판단을 확인합니다. AI가 처리 속도를 높이는 동안 사람은 품질과 책임을 관리합니다.

판다 AI는 자동화율을 12%에서 16%로 높이는 데 약 1년이 걸렸고, 이후 운영 과정에서 업무 데이터를 축적하고 예외 상황을 보완하면서 80% 이상의 수준에 도달했습니다. 82% 자동화를 가능하게 한 것은 AI 에이전트 하나가 아니었습니다. 반복 업무를 선별하고, 필요한 데이터와 업무 흐름을 연결하며, 사람의 검토 지점을 남겨두고, 운영 과정에서 계속 보완한 체계가 함께 작동한 결과입니다.

에이전트가 잘할수록 사람의 업무는 더 어려워집니다

AI 에이전트가 반복 업무를 처리하면 사람의 업무가 단순히 줄어드는 것은 아닙니다. 사람이 맡게 되는 업무의 성격이 달라질 수 있습니다.

직원 1,000여 명이 수십만 명의 고객을 지원하는 CCS는 기업 운영·영업·마케팅·고객센터 등 여러 적용 분야 중 고객센터를 첫 적용 영역으로 택했습니다. 시간이 지날수록 상담 해결률을 높일 여지가 크다고 판단했기 때문입니다. 2026년 초 도입된 에이전트 씨씨(CeeCee)는 현재 전체 상담의 30% 이상을 자율적으로 처리하고 있습니다.

예상하지 못한 변화는 그다음에 찾아왔습니다. 에이전트가 처리하는 상담이 늘어날수록 사람에게 도달하는 상담은 더 복잡해졌습니다. 에이전트가 실패한 것이 아니라, 사람이 맡는 대화일수록 더 많은 판단과 문제 해결을 요구했기 때문입니다. 직원들은 이제 예외를 다루는 사람이 되었고, 예외 업무는 해결하는 데 더 오랜 시간이 걸립니다. CCS는 이를 두고 "우리는 기계로 사람을 대체하는 사업이 아니라, 이런 도구로 사람의 역량을 증강(Augment)하는 사업을 한다"고 말합니다. 의료 기업 CCS는 임상적 판단이나 평가는 어떤 형태로도 기계에 맡기지 않되, 반복적이고 기계적인 업무는 자동화한다는 원칙을 분명히 세웠습니다.

씨씨를 처음 배포했을 때 IT 팀은 어떤 상황에서도 사람과 대화하기를 원하는 고객이 상당수 존재하며 앞으로도 그럴 것이라는 점을 충분히 예상하지 못했습니다. 그래서 다음 투자는 고객이 상담원을 요청할 때 에이전트가 먼저 자신이 도울 수 있는 일을 안내하고, 계속 진행할지를 묻되 원하면 언제든 사람 상담원에게 연결할 수 있도록 지원하는 기능에 집중됩니다. 자동화율을 억지로 끌어올리는 것이 아니라, 선택권을 남긴 채 신뢰를 쌓는 설계입니다.

데이터와 지식을 관리하는 방식이 중요합니다

온라인 급여 관리 기업 구스토는 에이전틱 AI를 확대하기 위해 자동화된 테스트 인프라를 구축하고 있습니다. AI 에이전트가 설계된 대로 동작하는지 평가하고, 오래된 데이터가 사용되고 있는지 확인하기 위해서입니다.

구스토는 데이터 위에 기업의 업무와 시스템 구조를 설명하는 지식 계층과 온톨로지 시스템도 중요하게 보고 있습니다. 지식 계층은 업무 지식과 데이터를 연결하는 구조이고, 온톨로지는 조직·업무·시스템·데이터 사이의 관계를 정의한 체계입니다.

AI 에이전트에게 많은 데이터를 제공하는 것만으로는 충분하지 않습니다. 어떤 데이터가 공식 정보인지, 어느 시스템의 정보가 최신인지, 특정 업무에서 용어가 어떤 의미로 사용되는지 이해할 수 있어야 합니다.

예를 들어 ‘고객’이라는 단어가 계약 고객을 의미하는지, 서비스 이용자를 의미하는지, 잠재 고객을 의미하는지 구분하지 못하면 데이터가 충분해도 잘못된 결과를 만들 수 있습니다. 기업의 암묵지와 업무 규칙이 문서화되어 있지 않다면 AI 에이전트가 활용할 수 있는 지식도 제한됩니다.

따라서 도입 전에는 다음 항목을 먼저 점검해야 합니다.

• 업무에 필요한 데이터가 어디에 있는가
• 데이터의 최신성과 정확성을 어떻게 확인할 수 있는가
• 문서화되지 않은 업무 지식은 무엇인가
• 여러 시스템의 정보가 어떤 기준으로 연결되는가
• AI의 판단 근거와 참조 정보가 기록되는가

모든 데이터를 한 번에 정비할 필요는 없습니다. 먼저 AI 에이전트가 수행할 핵심 업무를 정한 뒤, 해당 업무의 결과에 직접 영향을 미치는 데이터와 지식부터 관리하는 방식이 현실적입니다.

에이전트도 직원처럼 신뢰하되 검증해야 합니다

AI 에이전트는 정보를 생성하는 데서 멈추지 않습니다. 데이터에 접근하고, 도구를 호출하고, 다른 시스템에 명령을 전달하며, 실제 업무를 실행할 수 있습니다. 따라서 모델 성능만 관리하는 방식으로는 충분하지 않습니다.

캐피털원은 에이전트 간에 오가는 데이터와 업무 맥락, 에이전트의 신원과 권한, 접근 가능한 도구, 수행 가능한 행동, 사람의 개입이 필요한 지점을 함께 관리해야 한다고 설명합니다.

에이전트가 운영 환경에서 어떻게 행동하는지에 대해 IT가 책임을 질 수 있으려면 가드레일(Guardrails)이 필요합니다. 가드레일은 네 가지 영역에서 설계할 수 있습니다. 먼저 에이전트가 접근할 수 있는 데이터와 시스템을 제한해야 합니다. 조회·수정·승인·삭제처럼 행동별 권한도 구분해야 합니다. 금액·개인정보·의료·법률 판단처럼 위험도가 높은 업무에는 사람의 검토 절차를 둬야 합니다. 마지막으로 에이전트의 판단과 실행 과정을 기록하고 사후에 확인할 수 있어야 합니다.

팔로알토네트웍스는 보안과 개인정보 보호 외에도 비즈니스 경계를 정의해야 한다고 설명합니다. 무엇을 자동화할지, 어떤 행동을 허용하지 않을지는 기술이 아니라 업무 책임자와 현업 조직이 판단해야 하는 문제입니다.

SAS와 IDC의 2026년 조사에 따르면 응답자의 약 89%는 AI 에이전트가 이미 의사결정 과정에 참여하고 있다고 답했습니다. 그러나 에이전트형 AI에 대한 신뢰도는 생성형 AI보다 10포인트 낮았습니다. AI가 정보를 제공할 때와 실제 행동을 수행할 때 기업이 요구하는 검증 수준이 다르다는 의미입니다.

에이전트의 자율성이 커질수록 신뢰를 요구하는 조직의 기준도 높아집니다. 권한을 부여하는 것과 권한을 통제하는 것, 업무를 맡기는 것과 결과를 검증하는 것은 함께 설계되어야 합니다.

IT 조직은 에이전트 운영의 책임자가 되어야 합니다

에이전틱 AI는 개발자와 IT 조직의 역할도 바꿉니다. 개발자는 코드를 작성하는 데 그치지 않고, AI 에이전트가 이해해야 할 업무 맥락과 입력값, 출력값, 예외 조건을 설계해야 합니다.

제품 관리자는 요구사항을 문서로 정리하는 역할에서 벗어나 현업과 함께 업무 문제를 빠르게 프로토타입으로 구현해야 합니다. 업무 담당자는 AI 에이전트가 무엇을 할 수 있고, 어떤 상황에서 사람에게 판단을 넘겨야 하는지 결정해야 합니다.

구스토는 AI 에이전트의 성능과 로드맵, 운영 지표를 관리하는 ‘AI 에이전트 매니저’ 역할을 도입했습니다. 이 역할은 제품 관리와 엔지니어링의 성격을 함께 갖습니다. 현업 이해관계자와 운영 상태를 점검하고, 성능 지표를 확인하며, 개선 과제를 관리합니다.

이는 AI 에이전트를 배포한 뒤 방치하지 않기 위한 운영 체계입니다. 어떤 도구를 호출했는지, 실패가 어느 단계에서 발생했는지, 사용자가 결과를 얼마나 자주 수정했는지 지속적으로 확인해야 합니다.

도입 순서도 중요합니다. 먼저 업무 목표와 결과가 명확한 활용 사례를 선정하고, 데이터·시스템·권한·예외 흐름을 정리해야 합니다. 이후 사람의 검토가 필요한 구간과 AI가 자율적으로 수행할 범위를 구분하고, 제한된 환경에서 테스트와 평가를 진행해야 합니다.

에이전틱 AI의 투자 효과가 충분히 나타나기까지는 12~18개월이 걸릴 수 있습니다. 초기 자동화율보다 중요한 것은 운영 과정에서 오류를 확인하고, 데이터를 보완하며, 업무 흐름을 개선할 수 있는 체계를 갖추는 일입니다.

기업이 준비해야 할 것은 특정 AI 모델이나 단일 에이전트가 아닙니다. 업무를 AI가 이해할 수 있는 형태로 구조화하고, 필요한 데이터와 지식을 연결하며, 권한과 가드레일을 설정하고, 결과를 지속적으로 평가할 수 있는 운영 기반입니다. 더 빠르게 일한다는 것은 검증을 생략한다는 뜻이 아닙니다. AI가 더 많은 업무를 수행할수록 조직은 결과를 확인하고, 필요할 때 멈추게 하며, 다시 개선할 수 있어야 합니다.

이제, 도입부의 질문으로 돌아가 보겠습니다. 개인의 성과는 즉시 나타나는데 조직의 성과는 왜 더딜까요? 답은 속도를 내는 일과 엄격함을 지키는 일이 충돌한다는 오해에 있습니다. 전문가들은 더 빠르게 움직인다는 것이 엄격함을 버리는 것도, 덜 신뢰할 수 있거나 덜 안전해지는 것도 아니라고 말합니다. 에이전틱 AI 전환은 기술 도입 프로젝트가 아니라 IT 운영 모델의 재설계입니다. 에이전트가 만들어내는 속도를 감당할 수 있도록 데이터와 거버넌스, 조직과 역할을 먼저 다시 설계했는가를 검토해야 할 때입니다.

FAQ