Samsung SDS

Executive Summary

• 도입을 넘어 '운영'으로의 패러다임 전환: 기업용 생성형 AI의 성패는 단순한 모델 도입이 아니라, 데이터 접근 권한 관리, 업무 규칙의 일관된 적용, 실행 결과의 통제 등 정교한 'AI 운영 역량' 확보에 달려 있습니다.
• AI 에이전트 시대의 4대 핵심 운영 역량: 실질적인 업무 성과를 창출하기 위해서는 업무 맞춤형 모델/에이전트 구조 설계, 판단 기준 및 업무 규칙의 체계적 전달, 반복적인 평가와 개선, 실행 범위의 엄격한 통제라는 4가지 핵심 역량이 필수적입니다.
• 삼성SDS AI 풀스택을 통한 전사 확산: 기술 풀스택과 업종별 전문성, 컨설팅부터 운영까지 이어지는 E2E 실행력을 결합한 '다차원 AI 풀스택' 전략을 통해 개별 AI 활용을 전사적 업무 혁신과 실질적 비즈니스 가치로 연결합니다.

AI에 “지난달 영업 실적을 알려줘”라고 물으면, AI는 어디까지 답해야 할까요? 자기 부서의 실적만 볼 수 있는 직원에게 다른 부서의 실적까지 보여줘서는 안 되겠죠. 회사에서 AI 툴을 여러 개 쓴다면, 어느 툴에 질문하더라도 그 직원이 볼 수 있는 자료만 바탕으로 답하도록 설정해야 합니다. 툴마다 접근 권한을 따로 관리한다면, 툴이 늘어날수록 직원별로 어떤 자료를 볼 수 있는지 설정하고 확인해야 할 곳도 늘어납니다.

업무 특성에 따라 여러 AI 모델을 검증하고 활용하는 기업이 늘고 있습니다. a16z가 Global 2000대 기업 중 100개 기업을 대상으로 실시한 설문조사에 따르면, 81%의 기업이 테스트 또는 운영 환경에서 3개 이상의 AI 모델 제품군을 사용하고 있다고 응답했습니다.^[1]

기업은 늘어난 선택지 가운데 업무에 맞는 AI를 골라 쓸 수 있습니다. 업무마다 필요한 기능과 데이터, 요구하는 정확도가 다르므로 여러 AI 모델과 전문 에이전트를 쓰는 방법도 고려할 수 있습니다. 문서 검색, 데이터 분석, 고객 응대 등 각 업무에 맞는 AI를 배치하고, 필요하면 서로 연결해 일을 맡기는 것입니다.

여러 AI를 업무에 활용하려면 모델 선택과 더불어 기존 시스템 연계, 데이터와 접근 권한, 업무 처리 과정을 일관되게 관리하는 방법을 정해야 합니다. 공통 데이터나 직원의 권한이 바뀌었을 때 연결된 AI에 변경 사항이 빠짐없이 반영되는지도 확인해야 합니다. 여러 AI가 업무를 나누어 처리할 때는 앞 단계의 결과가 다음 단계의 작업으로 정확히 이어지는지 살펴야 합니다. 각 AI의 처리 기록이 흩어져 있으면 오류가 발생한 지점을 추적하기 어려우므로, 업무 전체의 흐름을 확인할 수 있어야 합니다.

기업의 AI 과제는 모델이나 툴을 도입한 뒤에도 이어집니다. 도입 단계에서는 개별 AI의 성능과 업무 적합성을 확인하지만, 운영 단계에서는 데이터와 권한, 업무 조건이 달라져도 기대한 결과가 나오는지 살펴야 합니다. 기존 시스템과 규제, 사용 규모가 다른 만큼 기업은 자사 업무에 맞는 운영 기준을 정하고, 실제 결과를 바탕으로 이를 보완해야 합니다.

이 글에서는 여러 AI 모델과 전문 에이전트를 기업 업무에 활용할 때 필요한 핵심 운영 역량을 살펴봅니다. 이어 OpenAI, Anthropic, Google의 전략적 접근을 통해 기업 AI의 성과 관리와 조직 운영, 전사 확산에서 나타나는 변화를 짚어봅니다. 마지막으로 삼성SDS의 다차원 AI 풀스택 전략을 통해 기술과 업종 전문성, 구축 이후의 운영을 어떻게 연결할 수 있는지 살펴봅니다.

AI가 일을 맡는 시대, 설계의 중심은 ‘업무 전체’로 이동한다

기업은 생성형 AI에 답변 작성뿐 아니라 실제 업무 처리까지 맡기고 있습니다. 정보 검색과 문서 작성에 주로 쓰던 AI를 사내 데이터와 업무 시스템에 연결해, 여러 단계의 일을 처리하는 에이전트로 활용하고 있습니다. 개인의 업무를 돕거나 특정 작업을 자동화하던 데서 더 나아가, 핵심 업무 절차와 회사 전체의 일하는 방식까지 바꾸려는 것입니다. AI에 더 많은 일을 맡길수록 도입 여부보다는 업무 방식과 결과가 실제로 어떻게 달라졌는지가 중요해집니다.

이때 업무별로 서로 다른 AI를 쓰는 것과 한 업무를 여러 에이전트가 나누어 처리하는 것은 구분할 필요가 있습니다. 예를 들어 고객 문의에 답할 때 한 에이전트가 사내 문서를 찾고 다른 에이전트가 그 내용을 바탕으로 답변 초안을 작성할 수 있습니다. 이 경우에는 각자 맡을 일과 동시에 검색 결과를 전달하는 방법, 자료를 찾지 못했을 때의 처리 절차까지 설계합니다.

그렇다고 모든 업무에 여러 AI 에이전트가 필요한 것은 아닙니다. 규칙과 처리 순서가 명확한 업무에는 기존 자동화 방식이나 한 에이전트가 더 적합할 수 있습니다. 여러 에이전트를 쓰면 전문 작업을 나누어 맡기거나 동시에 처리하고, 서로의 결과를 검토하거나 권한을 분리할 수 있습니다. 이런 이점이 추가 비용과 관리 부담보다 크다면 여러 에이전트가 협업하는 멀티에이전트 구조를 고려할 수 있습니다.

멀티에이전트가 적합한 업무일 경우에는 먼저 전체 업무를 단계별로 나누고 각 에이전트의 역할과 완료 기준, 결과를 전달하는 방식을 구체화합니다. 기업이 보유한 AI 모델과 API를 업무에 맞게 연결하고, 필요한 데이터와 작업을 적합한 에이전트에 배정하며, 각 단계의 지시와 결과가 다음 단계로 정확하게 이어지도록 구성하는 것입니다. 여러 에이전트를 연결하는 것 자체보다는, 업무 전체가 끊김 없이 정확하게 완료되도록 만드는 것이 중요합니다. 이를 위해 정확도와 처리시간, 비용을 고려해 에이전트의 역할 분담과 협업 구조를 설계해야 합니다.^[2]

이처럼 업무를 나누고 연결하는 구조를 정했다고 해서, 실제 운영에서도 업무가 정확하게 처리되는 것은 아닙니다. AI가 회사의 업무 규칙을 제대로 적용하는지, 모델을 바꾼 뒤에도 같은 일을 정확히 처리하는지, 잘못된 판단이 실제 업무 변경으로 이어지기 전에 막을 수 있는지 확인해야 합니다. 현업과 개발·운영 담당자는 이를 실제 업무에서 검증하고, 발견한 문제를 해결하면서 AI에 맡길 일과 사람이 검토할 범위를 구체화해야 합니다.

기업의 AI 운영을 뒷받침하는 네 가지 역량

기업용 AI의 성과는 어떤 모델을 도입했는지만으로 결정되지 않습니다. 같은 모델을 사용하더라도 업무를 나누는 방식, AI에 제공하는 정보와 업무 규칙, 결과를 검증하는 기준, 실제 작업을 실행하도록 허용하는 조건에 따라 정확도와 운영비용이 달라집니다. 이러한 차이를 관리하는 데 필요한 역량을 업무 구조 설계, 정보와 규칙의 전달, 반복 평가, 실행 통제의 네 가지로 나누어 살펴보겠습니다.

(1) 업무에 맞는 모델과 에이전트 구조를 설계하는 역량

AI를 사용할 때 가장 저렴한 모델이 가장 경제적인 AI 운영을 보장하지는 않습니다. 원하는 답을 얻으려고 여러 번 재시도하고, 잘못된 결과를 사람이 다시 고치고, 앞 단계의 오류 때문에 전체 작업을 처음부터 반복한다면, 낮은 호출 단가의 의미가 작아집니다. 반대로 성능이 뛰어난 모델을 모든 단계에 투입하는 것도 비용 대비 효과가 낮을 수 있습니다. 기업에서는 최고 성능의 모델 하나를 고르는 것보다, 업무의 정확도와 처리시간, 비용을 고려해 각 단계에 어떤 모델과 툴을 사용하고 어느 단계에서 사람의 판단이 필요한지 설계하는 역량이 중요합니다.

예를 들어 영업 보고서 작성 업무를 자료 조회·계산, 결과 해석·작성, 검토·승인 단계로 나누면, 어떤 작업에 AI를 활용하고 어디에 기존 프로그램이나 사람의 판단을 적용할지 구체적으로 정할 수 있습니다. 자료 조회와 정해진 수치 계산은 기존 업무 시스템과 검증된 프로그램에 맡기고, AI는 결과를 해석하고 보고서 초안을 작성하며, 담당자는 내용의 적절성을 검토하고 최종 승인하도록 구성하는 것입니다. 여러 에이전트가 협업하는 구조도 처음부터 복잡하게 구성하기보다, 필요한 역할부터 연결하고 추가적인 효과가 확인될 때 단계적으로 확장하는 것이 바람직합니다.^[3] 역할을 세분화하면 전문성을 높일 수 있지만, 에이전트 간 정보가 일치하지 않거나 결과 검증이 누락되면 오히려 전체 업무의 정확도가 떨어질 수 있습니다.^[4] 따라서 역할을 나눌 때는 각 단계가 어떤 정보를 받고 무엇을 검증한 뒤 다음 단계에 결과를 전달할지까지 정해야 합니다.

이렇게 구성한 영업 보고서 작성 업무에서 재무팀이 요청한 ‘지난달 매출 보고서’에 수주액이 포함됐다면, 어느 단계에서 오류가 발생했는지 확인해야 합니다. 모델 변경이 필요한지 판단하기 전에, ERP에서 조회한 지표와 집계 기준일, 조회에 사용한 계정의 권한부터 점검합니다. 조회한 데이터가 요청한 지표와 기간, 대상 범위에 맞고 수치도 정확하다면, 집계 프로그램의 계산식과 금액 단위, 에이전트 간 전달된 지표명과 출처, 보고서 작성 단계에서 AI가 수치를 해석한 방식을 차례로 살펴봅니다. 조회 조건의 오류는 업무 시스템 담당자가, 계산 오류는 도구 개발자가, 매출과 수주의 의미가 뒤섞인 문제는 현업 데이터 정의 담당자와 에이전트 설계자가 우선 확인하고 수정해야 합니다. 데이터 조회·계산·전달 과정과 업무 기준의 전달·적용 방식을 점검하고 필요한 수정을 마친 뒤에도 AI가 같은 자료를 반복해서 잘못 해석한다면, 모델 변경을 검토할 수 있습니다. 이처럼 원인에 맞춰 조치해야 불필요한 모델 교체나 전체 업무의 재설계를 줄이고, 문제가 확인된 부분을 중심으로 개선해 같은 오류의 재발 가능성을 낮출 수 있습니다.

경제성 역시 API 호출 단가가 아닌, ‘정확하게 완료한 업무 1건당 총비용’을 기준으로 판단해야 합니다. 동일한 업무 집합을 처리하는 데 든 전체 비용에 모델/검색/툴 이용료와 실행 인프라 비용, 사람의 검토/수정 비용, 실패 업무의 재시도/재처리 비용까지 모두 반영합니다. 여기에 전체 요청 중 정확하게 완료한 업무의 비율인 업무 성공률과, 요청을 받은 시점부터 결과 검증을 거쳐 완료할 때까지 걸린 시간을 확인합니다. 그래야 호출 단가는 낮지만 재작업이 많은 구성과, 호출 단가가 다소 높더라도 업무를 안정적으로 완료하는 구성의 경제성을 같은 기준에서 비교할 수 있습니다.

(2) AI가 판단에 필요한 정보와 업무 규칙을 활용하도록 설계하는 역량

사내 데이터를 많이 연결하는 것과 AI가 그 데이터를 ‘우리 회사의 기준대로’ 이해하는 것은 다른 문제입니다. 기업의 업무에는 문서에 적힌 정보뿐 아니라 어떤 수치를 공식으로 볼지, 어느 기간을 기준으로 집계할지, 예외가 생기면 누구의 판단을 우선할지와 같은 암묵적인 규칙이 있습니다. 사람은 업무 경험을 바탕으로 이 차이를 메우지만, AI는 제공받지 않은 기준을 스스로 일관되게 적용하기 어렵습니다. 따라서 데이터를 연결하는 것뿐 아니라, 해당 자료의 의미와 활용 기준을 AI에 정확히 전달하는 설계가 필요합니다.

“지난달 영업 실적”이라는 요청만 봐도 영업 조직은 수주액을, 재무 조직은 매출액을 떠올릴 수 있습니다. 따라서 수치를 조회하기에 앞서 ‘어떤 지표를, 누구의 관점에서, 어느 기간과 시점을 기준으로’ 답해야 하는지 정하는 일이 중요합니다. AI가 이러한 기준에 따라 업무를 수행하려면 각 단계에 필요한 정보를 선별하고, 판단에 사용한 기준이 다음 작업에도 유지되도록 해야 합니다.^[5] 이를 영업 보고서 업무에 적용하면 지표 정의, 집계 기간, 원천 시스템, 조회 시각을 결과와 함께 전달해서 다음 에이전트도 같은 기준으로 정보를 활용하도록 구성할 수 있습니다. 다만 모든 규정과 자료를 한 번에 제공하면 필요한 정보가 긴 입력 속에 묻혀 AI가 이를 제대로 활용하지 못할 수도 있습니다.^[6]

예를 들어 ERP 조회 결과에 ‘지표: 매출액 / 집계 기준: 회계월 / 대상 기간: 2026년 10월 / 출처: ERP / 조회 시각: …’과 같은 정보를 포함할 수 있습니다. 이후 보고서를 작성하는 단계에서 지표명이나 집계 기간 등 필수 정보가 빠져 있다면 먼저 확인하도록 설계하는 것입니다. 이렇게 하면 잘못된 기준의 수치가 보고서에 사용되는 일을 줄이고, 담당자도 결과의 근거를 확인할 수 있습니다. 다만 업무 기준을 전달하는 것과 데이터 접근 권한을 부여하는 것은 별개입니다. 검색된 문서의 내용을 임의의 실행 지시로 받아들이지 않도록 하고, 사용자의 조회 권한은 실제 업무 시스템이나 별도의 권한 관리 체계에서 확인해야 합니다.

이 역량이 축적되면 기업은 사람의 경험과 조직의 관행에 의존하던 ‘업무의 해석 기준’을 여러 모델과 에이전트가 재사용할 수 있는 자산으로 전환할 수 있습니다. 새로운 모델을 도입할 때도 기존에 정리한 지표 정의와 업무 규칙을 재사용할 수 있어, 기준을 다시 정리하거나 동일한 지표에 대한 부서 간 해석 차이를 조정하는 부담을 줄일 수 있습니다. 검토자 또한 AI가 어떤 자료와 기준을 근거로 결과를 도출했는지 확인할 수 있습니다. 결국 경쟁력은 AI에 문서를 얼마나 많이 읽혔는지가 아니라, 기업이 일을 판단하는 기준을 얼마나 일관되게 전달하고 유지할 수 있는지에 달려 있습니다.

(3) AI의 답변과 작업 결과를 반복 평가하고 개선하는 역량

AI PoC가 성공했다고 실제 운영까지 검증된 것은 아닙니다. 공개 벤치마크에서 높은 성능을 보인 모델도 기업마다 다른 업무 규칙과 예외 상황을 정확히 처리하지 못할 수 있습니다. 따라서 기업은 AI가 실제 업무에서 요구하는 정확성과 처리 기준을 일관되게 충족하는지 검증해야 합니다. 이를 위해 정상적인 요청부터 예외 상황, 권한이 없는 요청, 허용 금액의 상한과 같은 경계 조건까지 평가 사례에 포함하고, 모델이나 툴이 변경될 때마다 동일한 기준으로 다시 검증해야 합니다.^[7]

AI의 업무 수행 능력은 요청받은 일을 정해진 기준에 따라 실제로 완료했는지를 중심으로 평가해야 합니다. 영업 보고서라면 보고서에 포함된 수치가 원천 데이터와 일치하는지, 집계 기준이 업무 규칙에 맞는지, 출처가 정확히 표시됐는지 검증해야 합니다. 주문 변경 AI라면 “변경했습니다”라는 응답만으로 성공을 판단할 수 없습니다. 요청한 주문번호와 변경 항목이 정확한지, 실제 주문 시스템에 해당 변경이 반영됐는지 확인해야 합니다. 나아가 동일한 검증 조건에서 작업을 반복했을 때도 일관되게 성공하는지 평가해야 합니다.^[8] 이러한 반복 평가를 통해 한 번의 성공이 실제 운영에서도 재현될 수 있는지 확인할 수 있습니다.

이러한 평가를 실제 도입이나 변경 여부를 판단하는 데 활용하려면, 반드시 충족해야 할 품질과 안전 기준을 먼저 정해야 합니다. 업무 결과의 정확성, 요청자의 권한 확인, 필요한 승인 절차의 준수 여부가 그 기준이 될 수 있습니다. 이 기준을 충족한 모델과 툴의 구성 방안들을 대상으로 업무 성공률과 처리시간, 비용을 비교해 적용 여부를 판단합니다. 다만 사전 검증을 통과한 뒤에도 실제 운영에서 이 기준이 지켜지는지 지속적으로 확인해야 합니다. 이를 위해 작업 내역을 기록하고 이상 징후를 점검하며, 시스템 데이터를 변경하는 업무에는 잘못된 변경을 되돌리거나 바로잡을 방안도 마련해야 합니다.

운영 중 발생한 오류를 기록하고 다음 검증에 반영하면, 같은 문제가 반복되는 것을 줄이고 개선 효과를 확인할 수 있습니다. 필요한 자료를 찾지 못했는지, 자료를 잘못 해석했는지, 연결된 툴에 잘못된 값을 전달했는지 원인을 구분하고, 같은 업무 사례로 수정 전후 결과를 비교하는 것입니다. 이렇게 축적한 검증 결과는 새로운 AI 모델의 도입 여부와 기존 시스템의 개선 방향, 다른 부서에도 적용할 수 있는 업무 범위를 판단하는 근거가 됩니다. 기업은 AI 공급사가 제공하는 일반적인 성능 지표에만 의존하지 않고, 실제 자사 업무에서 확인한 결과를 바탕으로 AI 투자와 운영 방향을 결정할 수 있습니다.

(4) AI가 선택한 행동을 검증하고 실행 범위를 통제하는 역량

AI가 업무를 판단하는 능력과 실제 업무 시스템에서 작업을 실행할 권한은 별개입니다. 에이전트는 잘못된 고객을 선택하거나 허용 범위를 넘는 값을 입력할 수 있고, 외부 문서의 악의적 지시를 실행 요청으로 오인할 수도 있습니다. 따라서 AI에 주의사항을 알려주는 것만으로는 충분하지 않습니다. AI가 잘못 판단하더라도 실제 업무 시스템에서 사용자의 권한과 변경 대상, 허용 범위를 확인하고 승인되지 않은 작업은 차단해야 합니다. 외부 자료에 포함된 내용을 실행 지시로 그대로 받아들이지 않도록 하고, 실제 작업의 실행 여부는 정해진 권한과 승인 기준에 따라 별도로 검증하도록 설계해야 합니다.^[9]

예를 들어 주문 변경 기능에 접근할 권한이 있다고 해서 모든 주문을 원하는 값으로 바꿀 수 있어서는 안 됩니다. 실제 변경을 실행하기 전에는 요청자가 해당 주문을 변경할 권한이 있는지, 변경 항목과 값이 허용 범위에 있는지, 별도의 승인이 필요한지 확인해야 합니다. 권한이 없는 요청은 차단하고, 추가 승인이 필요한 작업은 승인 담당자의 승인을 받은 뒤에만 실행해야 합니다. 이러한 조건은 AI에 지침으로 전달하는 데 그치지 않고, 실제 실행 과정에서 검증해야 합니다. AI가 호출하는 툴과 실제 주문 시스템에서도 요청자의 권한, 변경 대상 주문, 변경 항목과 값, 필요한 승인 여부를 확인해 허용되지 않은 작업이 실행되지 않도록 해야 합니다.^[10]

AI가 자동으로 처리할 작업과 사람의 승인이 필요한 작업은 영향도와 복구 가능성을 기준으로 구분할 수 있습니다. 사용자의 권한과 입력값이 검증된 작업 가운데, 영향이 제한적이고 오류가 발생해도 복구할 수 있으며 미리 정한 조건을 충족하는 반복 업무는 자동으로 처리하도록 합니다. 반면 영향이 크거나 되돌리기 어려운 변경은 담당자의 승인을 거치도록 합니다. 또한 동일한 작업의 반복 실행이나 재시도 횟수에 한도를 두고, 한도에 도달하면 실행을 중단하고 담당자가 원인을 확인하도록 합니다.

처리시간과 비용에 한도를 두고, 요청 내용과 실행 결과를 기록하면 문제가 발생했을 때 원인을 파악하기 쉽습니다. 운영 중 발견한 오류와 예외를 바탕으로 자동 처리 조건을 보완하고 다시 검증하면 AI에 맡길 수 있는 업무를 점차 늘릴 수 있습니다. AI에 무작정 많은 권한을 주려 하기보다, 기업이 정한 기준 안에서 안정적으로 처리할 수 있는 업무를 확대하는 것이 중요합니다.

글로벌 AI 기업의 전략에서 읽는 기업 AI 운영의 변화

AI를 업무에 안정적으로 적용하기 위한 운영 역량을 갖췄다면, 다음 과제는 이를 기업 전체의 성과로 연결하는 것입니다. 그러나 개별 업무에서 AI가 잘 작동하더라도 그 효과가 조직 전체로 저절로 확산하는 것은 아닙니다. 기업은 AI 활용이 업무 성과에 얼마나 기여하는지 측정하고, 사람과 에이전트의 역할을 새롭게 정하며, 효과가 확인된 활용 방식을 다른 부서로 확대할 수 있어야 합니다. 이 글에서는 OpenAI, Anthropic, Google의 발표 내용을 각각 성과 관리, 사람과 에이전트의 역할 변화, 전사 확산이라는 관점에서 살펴봅니다.

OpenAI | AI 활용을 실질적인 업무 성과로 연결하다

AI를 사용하는 직원이 늘고 이용량이 증가했다면 AI 도입에 성공했다고 볼 수 있을까요? 도입 성과는 사용량뿐 아니라 AI가 실제 업무 방식과 결과를 얼마나 개선했는지를 중심으로 판단해야 합니다. OpenAI는 이를 사용 확산(Adoption), 업무 방식 변화(Behavior), 업무 성과(Impact)로 구분해 살펴보는 접근을 제시합니다. 일정 기간 실제로 AI를 사용한 직원 수와 교육 참여율뿐 아니라, 직원들이 어떤 반복 업무에 AI를 얼마나 자주 사용하는지, 효과가 확인된 활용 방식이 다른 부서의 실제 업무에도 적용되는지 살펴보는 것입니다. 나아가 AI 도입 전후의 업무 처리시간과 결과물의 정확성/완성도를 비교해 성과를 확인합니다.^[11]

예를 들어 영업 보고서 작성에 AI를 활용한다면, 접속한 직원 수나 질문 횟수뿐 아니라, 보고서 작성 과정이 실제로 어떻게 달라졌는지 살펴봐야 합니다. 자료 취합과 초안 작성에 걸리는 시간, 수치를 다시 확인하고 오류를 수정하는 시간, 최종 검토와 승인에 걸리는 시간을 비교하는 것입니다. AI로 초안을 빠르게 작성하더라도 이후 수정과 검토에 더 많은 시간이 든다면 업무 전체의 효율은 기대만큼 높아지지 않을 수 있습니다.

AI 활용을 실질적인 성과로 만들려면 조직 차원의 지원이 필요합니다. 우선 개선 효과가 클 것으로 예상되는 업무를 선정하고, 직원이 AI를 실제 업무에 활용할 수 있도록 교육과 현장 지원을 제공해야 합니다. 동시에 안전한 사용 환경을 마련하고, 업무별 활용 결과를 측정해 효과가 확인된 방법을 다른 조직으로 확산할 수 있어야 합니다.

이때 현업과 IT·보안, AI 도입 담당자는 사용 현황과 업무 성과를 함께 검토할 필요가 있습니다. 현업이 정한 목표와 실제 결과를 비교하고, 보안이나 시스템 연계 문제로 활용이 막힌 부분은 관련 담당자가 개선해야 합니다. 이를 바탕으로 효과가 확인된 업무에 투자와 지원을 집중할 수 있습니다.

Anthropic | 사람과 에이전트의 역할을 재설계하다

AI 에이전트가 코드 작성과 테스트, 반복 작업을 수행한다면 사람과 개발 조직의 역할은 어떻게 달라질까요? Anthropic은 소프트웨어 개발에 필요한 시간과 비용이 줄어들수록 업무 목표를 정하고 결과의 적절성을 판단하는 사람의 역할이 더욱 중요해진다는 점에 주목합니다.^[12] 이에 사람에게는 무엇을 만들지, 어떤 기준을 충족해야 하는지 정하고 AI가 수행한 결과를 검토하는 역할이 중요합니다. 기업은 이러한 역할 분담에 맞춰 에이전트에 맡길 작업과 사람이 검토하고 승인할 지점을 개발 과정에 명확히 정해야 합니다.

이러한 역할 분담을 뒷받침하는 실행 체계가 하네스(Harness)입니다. 하네스는 에이전트가 업무를 수행하는 데 필요한 툴과 실행 환경, 작업 결과를 확인하는 테스트와 평가 체계, 오류나 잘못된 실행을 막는 안전장치 등을 구성하는 것입니다. 기업은 여러 에이전트에 공통으로 필요한 기능과 검증 기준을 마련하고, 이를 전담 하네스 팀이 관리하도록 할 수 있습니다. 전담 팀은 공통 실행 환경의 안정성과 보안, 처리시간과 비용을 점검하며, 개별 개발팀이 공통 툴과 평가 환경을 재사용할 수 있도록 지원합니다.

예를 들어 개발팀마다 AI가 작성한 코드를 검증하기 위해 비슷한 도구와 테스트 환경을 따로 구축한다면, 구축에 드는 시간과 비용이 중복으로 발생합니다. 공통 검증 환경과 평가 기준을 마련하면 한 개발팀에서 발견한 오류 유형을 다른 팀의 에이전트를 검증할 때도 활용할 수 있습니다. 이를 통해 개별 업무에서 얻은 경험을 여러 개발팀이 활용하고, 유사한 오류가 반복되는 것을 줄일 수 있습니다. 현업과 개발자는 업무별 요구사항과 예외 조건을 정의하고, 전담 하네스 팀은 이를 검증할 수 있는 공통 도구와 평가 환경을 제공하는 역할을 맡습니다.

에이전트가 수행하는 업무가 늘어날수록 관리 책임과 실행 권한도 명확히 해야 합니다. Anthropic은 에이전트별로 계정과 접근 권한을 관리하고 담당자를 지정하며, 활동 내역을 기록하고 업무에 필요한 최소한의 권한만 부여하는 방식을 권장합니다. 이를 통해 문제가 발생했을 때 담당자가 어떤 권한으로 어떤 작업이 수행됐는지 확인하고 필요한 조치를 취할 수 있습니다.

Google | 개별 업무의 성공을 전사 혁신으로 확장하다

한 부서에서 잘 작동한 AI가 왜 회사 전체로는 쉽게 확산하지 못할까요? 한 부서의 업무에 맞춰 AI를 구현하고 성과를 내는 것과, 서로 다른 업무 시스템과 조직 환경에서 AI를 안정적으로 운영하는 것은 다른 과제이기 때문입니다. Google은 기업이 AI 에이전트를 성공적으로 운영하기 위해 업무에 필요한 결과를 정확히 내는지, 기존 데이터와 시스템에 연결할 수 있는지, 에이전트의 작업을 안전하게 관리할 수 있는지, 새로운 기술과 업무 변화에 대응할 수 있는지를 함께 고려해야 한다고 설명합니다.^[13]

이러한 요구를 뒷받침하는 Gemini Enterprise Agent Platform은 AI 모델과 개발 도구뿐 아니라 에이전트와 연결 툴의 등록/관리, 툴 호출을 관리하는 게이트웨이, 신원과 접근 권한 관리, 실행 내역 확인과 성능 평가 기능을 제공합니다. 이를 통해 에이전트의 개발부터 배포, 운영, 보안 관리와 성능 개선까지 지원합니다. 기업은 에이전트가 늘어날 때마다 연결 방식과 관리 절차를 새로 마련하는 부담을 줄이고, 여러 부서와 업무에 공통된 보안/관리 기준을 적용할 수 있습니다.

AI 플랫폼을 실제 업무에 적용하려면 고객의 기존 시스템과 데이터를 연결하고, 업무 환경에 맞게 AI 서비스를 개발/검증하는 과정이 필요합니다. Google의 현장 투입 엔지니어인 FDE(Forward Deployed Engineers)는 고객 환경에서 직접 코드를 개발하고 오류를 수정하며 배포를 지원합니다. 삼성SDS와 Google의 공동 실행 모델은 기술 검증부터 시스템 구축과 배포, 전사 확산과 운영 개선까지 지원하는 협력 방식입니다. 여기에 삼성SDS의 업종별 업무 이해와 운영 경험을 결합하고, 도입 이후에도 업무 성과와 클라우드 비용을 지속적으로 점검하며 개선 과제를 도출합니다.

한 부서에서 문서 검색에 활용하던 AI를 다른 부서로 확대하려면, 부서마다 접근할 수 있는 자료와 사용하는 업무 시스템이 어떻게 다른지 확인해야 합니다. AI가 정보 검색을 넘어 실제 업무까지 처리한다면 실행 권한과 승인 절차도 추가로 검증해야 합니다. 이를 위해 플랫폼 기술 담당자와 현업·업무 시스템 담당자가 함께 적용 범위와 운영 책임, 성과/비용 기준을 정해야 합니다. 이러한 검토 결과는 다른 부서로 확대할 때 필요한 연계 범위와 보안 검토 항목, 구축/운영 계획을 정하는 데 활용할 수 있습니다.

전사 확산의 핵심은 한 부서에서 성공한 AI를 다른 부서에 그대로 적용하는 것이 아니라, 공통으로 활용할 수 있는 기술과 관리 기준을 마련하면서 각 부서의 업무 환경에 맞게 적용하는 데 있습니다. 이를 위해 AI 플랫폼과 보안/관리 기능은 공통으로 활용하되, 데이터 접근 권한과 업무 절차, 승인 조건은 부서별로 검증해야 합니다. 그래야 새로운 업무에 AI를 적용할 때 중복 구축을 줄이면서도 품질과 안전성을 유지할 수 있습니다.

기업 AI 운영 전략을 하나의 실행 체계로 연결하다

앞서 살펴본 성과 관리, 역할 재설계, 전사 확산은 운영 과정에서 함께 다뤄야 할 과제입니다. 기업은 업무 성과를 측정하면서 확인한 문제를 실행/검증 환경에 반영하고, 개선된 방식을 다른 부서의 업무에 맞게 적용한 뒤 다시 결과를 확인해야 합니다. 이 과정을 반복하면서 성과가 충분하지 않은 이유를 파악하고 다음에 개선할 대상을 구체화할 수 있습니다.

예를 들어 AI 사용량은 늘었지만 업무 처리시간이나 오류율이 개선되지 않았다면, AI 도입 전후의 업무 절차를 비교해 실제로 달라진 부분과 추가로 발생한 작업을 확인해야 합니다. 여러 에이전트에서 비슷한 오류가 반복된다면 개별 모델의 문제인지, 공통으로 사용하는 툴이나 검증 과정의 문제인지 살펴봐야 합니다. 한 부서에서 성과를 낸 AI가 다른 부서로 확산되지 못한다면 부서별 업무 시스템과 데이터 접근 권한, 승인 절차가 어떻게 다른지 확인하고 운영 비용과 관리 책임도 점검해야 합니다.

문제에 따라 개선의 우선순위가 달라집니다. 성과가 불분명한 업무는 성공 기준과 측정 지표를 먼저 정하고, 품질이 불안정한 업무는 오류 사례를 축적해 원인을 수정하고 반복 검증해야 합니다. AI가 실제 주문이나 고객 정보를 변경하는 업무에는 사용자 권한 확인과 승인 절차를 갖춰야 합니다. 개선한 뒤에는 해당 문제와 관련된 평가 사례로 효과를 확인하고, 그 결과를 바탕으로 적용 범위를 넓혀야 합니다.

이러한 개선을 지속하려면 업무별 성과 기준을 공통 기술 환경에 반영하고, 이를 각 부서의 시스템과 보안 조건에 맞게 적용해야 합니다. 또한 업종별 업무 규칙을 설계에 반영하고, 구축 과정에서 정한 기준을 운영 단계에서도 지속적으로 점검하고 보완해야 합니다. 이를 위해 기업에는 AI 기술과 업종별 업무 이해, 구축 이후의 운영을 연결하는 실행 체계가 필요합니다.

기술·업종·실행을 연결하는 다차원 AI 풀스택

이 실행 체계를 갖추려면 먼저 기존 업무 환경에서 활용할 수 있는 기술을 확인하고, 보완이 필요한 기능과 구축·운영 지원 범위를 정해야 합니다. 데이터와 시스템은 어떤 방식으로 연결할지, 업종별 업무 규칙은 AI의 업무 처리 과정에 어떻게 반영할지, 구축 이후의 점검과 개선은 누가 담당할지를 정하는 것입니다.

삼성SDS의 다차원(Multi-Dimensional) AI 풀스택은 기술 풀스택, 업종 전문성, 엔드투엔드 실행 역량을 결합해 이러한 과제를 지원하는 전략입니다. AI 솔루션·플랫폼·인프라를 연결하는 기술 기반에 산업별 업무 이해를 더하고, 컨설팅부터 개발·구축·운영까지 이어지는 과정에서 고객의 업무 환경에 맞는 AI를 구현합니다.^[14]

기술 풀스택: 업무 시스템부터 실행 인프라까지

삼성SDS의 기술 풀스택은 AI 솔루션·플랫폼·인프라를 연결해 기업의 실제 업무에 AI를 적용할 수 있도록 지원합니다. 솔루션 영역에서는 Brity Works로 메일, 회의, 문서 작성 등 협업 업무를 지원하고, Brity Automation으로 업무 프로세스를 자동화하며, ERP, CRM 등 기업 애플리케이션의 구축과 연계를 지원합니다.^[14] 플랫폼 영역에서는 AI Agent 플랫폼인 FabriX로 기업 데이터와 업무 시스템을 AI 모델/에이전트와 연결하고, 에이전트의 개발과 활용, 관리를 지원합니다.^[15] 인프라 영역에서는 삼성 클라우드 플랫폼(SCP)과 GPUaaS로 AI 실행에 필요한 클라우드와 연산 자원을 제공하며, 클라우드 매니지드 서비스(MSP)를 통해 클라우드 구축부터 운영과 비용 관리까지 지원합니다.

기술 풀스택을 활용한다고 해서 솔루션·플랫폼·인프라를 모두 새로 도입할 필요는 없습니다. 기업은 기존 ERP나 클라우드 등 활용 가능한 자산을 확인하고, 필요한 AI 기능과 운영 환경을 추가하거나 연계할 수 있습니다. 영업 보고서 작성 업무라면 기존 ERP의 조회 기능과 권한 체계를 활용하면서, AI가 자료를 해석하고 초안을 작성하는 기능을 추가하는 방식입니다. 기업은 이러한 구성이 기존 시스템의 접근 권한과 처리 성능에 미치는 영향을 확인하고, 필요한 연계 개발과 운영 비용을 검토할 수 있습니다.

업종 전문성: 같은 AI에도 다른 업무 기준을 적용

같은 AI 기술이라도 업종에 따라 적용해야 할 업무 기준이 다릅니다. 금융에서는 고객/거래 정보의 내부통제와 처리 이력이 중요하고, 공공에서는 법령과 행정 절차, 개인정보 보호를 고려해야 합니다. 제조에서는 설비와 생산관리시스템(MES)의 연계뿐 아니라 AI의 판단이 생산 현장에 미치는 영향까지 살펴봐야 합니다. 이처럼 업종별 특성을 반영해 AI가 어떤 정보를 조회하고, 무엇을 기준으로 결과를 판단하며, 어떤 조건에서 실제 작업을 실행할 수 있는지 정해야 합니다.

예를 들어 제조 현장에서 직원이 설비 이상을 이유로 작업지시 중지를 요청했다고 가정해 보겠습니다. AI가 설비번호와 작업지시번호, 이상 발생시각을 확인해 중지 요청을 정리할 수 있습니다. 그러나 실제 작업지시 상태를 변경하려면 MES에서 요청자의 권한과 변경 대상을 확인하고, 생산/품질/안전 기준에 따라 필요한 승인 절차를 거쳐야 합니다. 변경 후에는 요청한 작업지시가 정확히 처리됐는지도 확인해야 합니다. 다만 이러한 업무상 작업지시 변경은 위험 상황에서 설비를 즉시 멈추기 위한 비상정지와 구분해야 합니다. 비상정지는 별도의 안전 기능과 현장 안전 절차에 따라 수행해야 합니다. 이처럼 업종 전문성은 산업에 대한 이해를 넘어, 어떤 업무를 AI가 수행하고 어떤 변경을 차단하거나 사람의 승인에 맡길지 구체적인 운영 기준으로 반영될 때 의미가 있습니다.

E2E 실행력: 시범 적용 이후의 운영까지

구축된 AI를 현업이 지속적으로 사용하려면 개발·구축 단계에서 정한 기준을 바탕으로 운영 결과를 점검하고, 발견한 문제를 개선해야 합니다. 삼성SDS의 엔드투엔드(End-to-End) 실행 전략은 컨설팅 단계에서 개선할 업무와 성과 목표를 정하고, 개발·구축 과정에서 데이터와 업무 시스템을 연결하며, 운영 단계에서 품질, 보안, 비용, 업무 성과를 지속적으로 점검하고 개선하는 전 과정을 지원합니다.^[14]

예를 들어 영업 보고서 AI를 구축할 때 정리한 지표 정의와 검증 사례, 데이터 연계 정보는 운영 담당자도 활용할 수 있어야 합니다. 모델이나 ERP가 변경되면 이 자료를 바탕으로 영향을 받는 업무와 점검할 항목을 확인하고, 문제가 생겼을 때는 해당 단계의 담당자가 조치한 뒤 결과를 다시 검증합니다. 이러한 점검을 지속하려면 구축 단계의 업무 기준과 검증 자료를 운영 담당자에게 인계하고, 운영 중 점검과 오류 조치를 맡을 담당자를 명확히 정해야 합니다.

이를 위해 현업은 업무 기준과 성과 목표를 정하고, IT·보안 담당자는 시스템 접근 권한과 보안 정책을 관리하며, 개발·운영 담당자는 AI와 업무 시스템의 연결, 결과 검증, 장애 대응을 맡아야 합니다. 담당자별 책임은 기업의 기존 시스템과 조직 구조에 맞게 구체화해야 합니다. 삼성SDS는 컨설팅부터 구축·운영까지 이러한 과정을 연계해 부서 간 협의와 업무 조율의 부담을 줄이고, 문제 발생 시 대응할 담당자와 처리 절차를 명확히 하는 통합 지원 전략을 제시합니다.

따라서 기업은 AI 도입 파트너를 검토할 때 해당 파트너가 제공하는 기술의 범위뿐 아니라, 구축 이후의 관리 방식도 확인할 필요가 있습니다. 모델이나 업무 시스템이 변경되면 누가 품질을 다시 검증하고, 권한 관리와 장애 대응은 누가 담당하며, 운영 비용은 어떤 기준으로 관리하는지 확인해야 합니다. 이러한 역할과 절차가 구축 이후에도 유지되어야 AI를 안정적으로 운영하고 업무 성과를 지속적으로 개선할 수 있습니다.

결론

직원이 “지난달 영업 실적을 알려줘”라고 요청했을 때, AI는 업무 규칙에 따라 요청의 의미를 해석하고 조회할 지표와 집계 기간을 정해야 합니다. 요청자의 조회 권한은 권한 관리 체계와 실제 업무 시스템에서 확인하고, 허용된 범위의 자료만 AI에 제공해야 합니다. AI가 제시한 수치도 원천 데이터와 집계 기준에 맞는지 검증해야 합니다. 기업 AI가 정확하게 작동하려면 모델의 답변 능력뿐 아니라 업무 규칙의 명확한 정의, AI와 기존 시스템의 연계, 실행과 검증을 위한 운영 체계가 갖춰져야 합니다.

기업 AI의 성과는 모델의 성능이나 사용량만으로 판단하기 어렵습니다. AI가 회사의 업무 기준과 허용된 권한 범위 안에서 요청받은 일을 정확하게 완료했는지, 업무 처리시간과 비용이 도입 전과 비교해 어떻게 달라졌는지 확인해야 합니다. 도입 이후에는 모델이나 업무 시스템이 바뀌어도 이러한 성과를 유지해야 합니다. 이를 위해 운영 중 발생한 오류를 분석하고 개선하며, 검증된 업무 처리 방식을 다른 부서의 환경에 맞게 적용할 수 있어야 합니다.

삼성SDS의 다차원 AI 풀스택은 기술 기반과 업종별 업무 전문성, 컨설팅부터 구축·운영까지의 실행 역량을 결합해 기업의 AI 도입을 지속적인 업무 성과로 연결하는 전략입니다. 결국 기업 AI의 경쟁력은 어떤 모델을 도입했느냐를 넘어, AI가 참여하는 업무 전체의 품질과 성과를 얼마나 일관되게 관리하고 개선할 수 있느냐에 달려 있습니다.

References

• Wang, S., Kahl, J., & Xu, S. (2026.1.30.). Leaders, gainers and unexpected winners in the Enterprise AI arms race. Andreessen Horowitz. https://a16z.com/leaders-gainers-and-unexpected-winners-in-the-enterprise-ai-arms-race/
• Kandogan, E., Bhutani, N., Zhang, D., Chen, R. L., Gurajada, S., & Hruschka, E. (2025). Orchestrating agents and data for enterprise: A blueprint architecture for compound AI [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2504.08148
• Anthropic. (2024.12.19.). Building effective agents. Anthropic Engineering. https://www.anthropic.com/engineering/building-effective-agents
• Cemri, M., et al. (2025). Why Do Multi-Agent LLM Systems Fail? NeurIPS 2025, Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2025/hash/b1041e52d3be19f0a9bc491657488e4a-Abstract-Datasets_and_Benchmarks_Track.html
• Anthropic. (2025.9.29.). Effective context engineering for AI agents. Anthropic Engineering. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
• Liu, N. F., et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics. https://doi.org/10.1162/tacl_a_00638
• OpenAI. Evaluation best practices. https://developers.openai.com/api/docs/guides/evaluation-best-practices
• Yao, S., Shinn, N., Razavi, P., & Narasimhan, K. (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. https://arxiv.org/abs/2406.12045
• Beurer-Kellner, L., et al. (2025). Design Patterns for Securing LLM Agents against Prompt Injections. https://arxiv.org/abs/2506.08837
• Google. Safety and Security for AI Agents. Agent Development Kit. https://adk.dev/safety/
• OpenAI. (2026.9.9.). 삼성SDS × OpenAI, 함께 만든 AI 도입 성공 방정식. 삼성SDS REAL Summit 2026.
• Anthropic. (2026.9.9.). Building the AI-Native Enterprise: From Frontier AI to Scale. 삼성SDS REAL Summit 2026.
• Google. (2026.9.9.). Beyond Adoption to Action: 구글 클라우드와 삼성SDS가 실현하는 Agentic Enterprise. 삼성SDS REAL Summit 2026.
• 삼성SDS. AI 풀스택 서비스. https://www.samsungsds.com/kr/ai-full-stack/ai-full-stack.html
• 삼성SDS. FabriX: 기업을 위한 AI Agent 플랫폼. https://www.samsungsds.com/kr/ai-fabrix/fabrix.html

FAQ