챗봇에서 에이전트로, 생성형 AI가 재정의하는 고객 서비스의 미래

세미나 다시 보기

유통/서비스 기업의 고객서비스를 혁신하는 생성형 AI 기반의 삼성SDS 가상상담 서비스

☞ 문관휘 삼성SDS 디지털CRM팀 상무 (gh.moon@samsung.com)

생성형 AI 기술은 기업 서비스 중 어떤 업무에 가장 적합할까요? 흥미롭게도 ChatGPT, Gemini, Claude와 같은 주요 생성형 AI는 모두 공통적으로 '고객 서비스(Customer Service)' 분야를 꼽았습니다.

기업 내에는 수많은 업무 영역이 존재하는데, 고객 서비스가 생성형 AI의 최적 활용 분야로 꼽히는 데는 두 가지 핵심적인 이유가 있습니다. 첫째는 생성형 AI가 고객의 다양한 질문을 정확하게 이해할 수 있는 능력을 갖추고 있다는 것입니다. 같은 문제에 대해 고객마다 사용하는 단어와 표현 방식이 다르지만, 생성형 AI는 이러한 다양성 속에서도 고객의 진정한 의도를 파악해낼 수 있습니다. 둘째는 고객의 질의에 대해 사람이 응답하는 것처럼 자연스러운 자연어로 답변할 수 있다는 점입니다. 이러한 소통 능력은 고객에게 기계적이지 않은, 인간적인 서비스 경험을 제공합니다.

이런 강점들을 바탕으로, 생성형 AI는 고객 서비스 분야에 혁신적인 변화를 불러오고 있습니다. 전통적인 콜센터 운영 방식에서 벗어나 더욱 효율적이고 지능적인 고객 응대를 가능하게 하며, 기업과 고객 모두에게 새로운 가능성을 보여줍니다.

챗봇 가상 상담의 한계, AI 에이전트의 등장

오늘날 기업들은 고객 서비스와 관련하여 다양한 어려움에 직면해 있습니다. 콜센터 상담사들은 매일 감정 노동과 스트레스 상황에 놓여 있습니다. 자신의 잘못이 아님에도 고객에게 사과해야 하는 경우가 많아 정신적 부담이 큽니다. 이러한 환경은 상담사들의 자존감 하락, 심리적 소진(번아웃)으로 이어지고, 결과적으로 업무 만족도가 낮아져 연평균 이직률이 60%에 달하고 있습니다. 기업 입장에서도 신입 상담사 교육에 많은 비용과 시간이 필요하나, 상담사의 평균 근속 기간은 14개월에 불과합니다. 즉, 제품이나 서비스에 대한 세부 내용, 정책, 규정 등을 교육하는 데 상당히 투자하고 있지만, 교육 효과가 지속되지 못하는 실정입니다. 동시에 고객의 기대치는 점점 높아지고 있습니다. 새벽 배송과 같은 서비스가 일반화되면서 24시간 응대를 원하는 고객의 비중이 50%를 넘어섰고, 고객들은 언제 어디서나 즉각적인 대응을 기대합니다.

이러한 문제를 해결하기 위해, 많은 기업들은 이미 '가상 상담'의 도입을 검토했거나, '룰 기반 가상 상담 시스템'을 구축했습니다. 가상 상담 시스템을 도입하는 과정에서 '어디에 어떻게 도입할지(Use Case)', '긴 구축 시간과 큰 비용 부담', '투자 대비 효과(ROI)에 대한 검증의 어려움' 등은 기업이 가장 고민하는 포인트입니다. 이로 인해, 기존의 '룰 기반 챗봇 가상 상담 시스템'은 주로 자금 여력이 있는 대기업이나 금융사의 콜센터를 중심으로 도입되었습니다. 그러나, 룰 기반 챗봇의 가장 큰 한계는 미리 입력된 시나리오에만 대응할 수 있다는 점입니다. 고객이 A라고 질문하면 B라고 대답하도록 모든 질문과 답변을 사전에 매칭해야 하고, 이러한 방식은 고객이 사용할 수 있는 모든 단어와 질문을 예측해야 하므로 개발 과정이 매우 복잡하고 많은 시간이 소요됩니다. 또한, 예상치 못한 질문에는 "질문을 이해할 수 없습니다"라는 응답을 반복하게 됩니다. 이러한 부정적 경험은 고객이 인간 상담사를 찾게 만들고, 이후에도 계속해서 인간 상담사와의 연결을 요구하게 됩니다.

그러나, 생성형 AI의 등장으로 '룰 기반 챗봇'의 한계를 넘어, '에이전트' 시대로 진화하고 있습니다. 생성형 AI 에이전트는 고객의 의도를 정확히 파악하고 사람처럼 응대할 수 있어, 인간 상담사를 대신해 고객 응대 업무를 처음부터 끝까지 수행할 수 있습니다. 이는 단순히 상담사를 보조하는 코파일럿(Copilot) 단계를 넘어, 고객 응대 업무 전체를 자율적으로 수행하는 AI 시스템, 즉, 에이전트(Agent)로 발전하고 있음을 의미합니다.

[그림 1] 가상 상담 시스템의 Agent로의 진화 (출처: 발표자 제작)

Chatbot

Rule-based 업무처리 한계

챗봇: 질문을 이해할 수 없습니다. 다시 설명해주십시오.

생성형 AI 기술 등장

Copilot

업무를 도와주는 AI Assistant

상담사: 방금 상담을 요약해줘. Copilot: 삼애순 고객님은 반품 및 재배송 문의를 주셨으며...

Agent

업무를 자율적으로 수행하는 디지털 노동력

고객: 배송이 늦네. 그냥 매장에서 픽업할까? Agent: 물론이죠. 고객님 집에서 가장 가까운 매장에 제품을 준비하겠습니다.

AI 에이전트의 작동원리

그렇다면, 이러한 가상 상담 에이전트는 어떻게 작동할까요?

먼저, 고객이 질의를 입력하면 '보안 필터'를 통과합니다. 이 단계에서는 욕설이나 날씨처럼 업무와 관련 없는 내용은 필터링하고, 신용카드 번호와 같은 민감한 정보는 마스킹합니다. 이렇게 정제된 질문은 '추론 엔진'으로 전달됩니다. 추론 엔진은 에이전트의 핵심이며, 마치 인간 상담사의 두뇌처럼 작동하면서 두 가지 중요한 작업을 수행합니다. 고객의 다양한 질문을 이해하여 정확한 의도를 파악하고, 고객의 질문에 대응하기 위한 적절한 액션을 계획합니다. 계획이 세워지면, 에이전트는 제품 정보, 주문 정보, 고객 정보 등의 '정형 데이터'와 약관, FAQ 등의 '비정형 데이터'를 활용하여 대형 언어 모델(LLM)을 통해 사람이 대화하는 것처럼 자연스러운 답변을 생성합니다. 이후, LLM을 통해 생성된 답변의 정확도를 검증하는 과정을 거칩니다. 정확도가 높으면 고객에게 답변을 전달하고, 충분치 않으면 추론 엔진으로 돌아가 ‘재분석’ 과정을 수행합니다. 만약, AI가 도저히 답변하기 어려운 질문이라면, 인간 상담사에게 연결합니다. 이러한 추론 엔진을 통해, 기존 룰 기반 챗봇 시스템보다 훨씬 더 자연스러운 상담이 가능해지고, 구축 비용과 시간을 획기적으로 줄일 수 있습니다.

[그림 2] 가상 상담 Agent의 작동 원리 (출처: 발표자 제작)

• 고객 → 질의 → 보안필터
• 보안필터 → 추론엔진
• 추론엔진 → 데이터베이스(AI 거버넌스 / 정형데이터, 비정형데이터, 업로드 → Chunking → 벡터화, RAG 실행)
• 데이터베이스 → LLM 활용 답변 생성 → 답변 품질 검증
• 1. 답변 품질 검증 → PASS → 검증된 답변으로 고객 대응 2. 답변 품질 검증 → FAIL → 재분석 → 추론엔진 단계부터 재시작 3. 답변 품질 검증 → Agent 대응 불가 시 연결 → 휴먼 상담사

가상 상담 에이전트 데모

삼성SDS는 지난 2년간 생성형 AI 기술을 회사의 핵심 전략으로 삼고 다양한 연구와 개념 검증(PoC)을 꾸준히 진행해왔습니다. 삼성전자를 비롯해 삼성화재, 삼성생명, 삼성증권 등 삼성 그룹사와 여러 기업에 생성형 AI 기술을 적용하고 있습니다. 이러한 경험과 노하우를 바탕으로 고객의 니즈에 맞춰 다양한 형태의 AI 가상 상담 서비스를 제공할 수 있는 역량을 갖추고 있으며, 클라우드 기반의 ‘글로벌 SaaS 서비스'나 기존 콜센터나 상담 애플리케이션과 결합한 ‘온프레미스 형태의 맞춤형 AI 가상 상담 오퍼링'을 제공하고 있습니다.

[그림 3] 삼성SDS의 AI 가상 상담 오퍼링 (출처: 발표자 제작)

Offerings, Service

삼성SDS AI 가상상담 오퍼링

• 인바운드봇
• 아웃바운드봇
• 챗봇
• 지식추천
• 지식검색
• 감성분석
• 상담분석
• 상담요약
• 리스크센싱
• FAQ자동생성
• 상담평가

Your Call Infra

Your Biz Application

글로벌 SaaS 기반 Gen. AI 오퍼링

AGENTFORCE CERTIFIED PARTNER, salesforce PARTNER SINCE 2020

• Agentforce
• Data Cloud
• Service Cloud
• Lightning Platform

Infra.

On-premise/Cloud (삼성SDS AI 가상상담 오퍼링)

Cloud (글로벌 SaaS 기반 Gen. AI 오퍼링)

1. 데모 개요

실제로 가상 상담 에이전트는 어떻게 구현할까요? 실제 시연 내용으로 자세히 살펴보겠습니다.

본 데모는 세일즈포스(Salesforce)의 글로벌 CRM 솔루션에 내장된 '에이전트포스(Agentforce)'의 '에이전트 빌더(Agent Builder)'를 활용해 직접 개발했습니다. 데모 시나리오는 '20대 여성인 삼애순 고객이 S사의 화장품 쇼핑몰에서 빨간색 제품을 주문했으나, 보라색 제품이 배송된 상황'이며, 이 과정에서 AI 상담 에이전트가 어떻게 전체 상담 과정을 처음부터 끝까지 원활하게 처리하는지 보여줍니다.

상담 과정의 흐름을 살펴보면, AI 상담사가 "무엇을 도와드릴까요?"라는 인사로 시작합니다. 고객이 주문 제품에 대해 문제가 있다고 하면, AI 상담사는 고객의 로그인 정보를 바탕으로 최근 주문 내역을 자동으로 확인합니다. 고객이 "빨간색을 주문했는데 보라색 제품이 배송되었다."라고 설명하면, AI 상담사는 즉시 불편에 대해 사과하고, 반품 절차 진행을 안내합니다. 반품 처리 전에 제품 개봉 여부를 확인하고, 개봉하지 않았다는 답변에 고객에게 최종 확인 후 반품 절차를 진행합니다. 이후, 고객에게 재배송 또는 환불 중 선택하도록 안내하며, 고객이 재배송을 요청하면 주문 제품의 색상을 빨간색으로 변경합니다. 추가적으로, 고객이 자택에서 회사로 배송지 변경을 요청하면, AI 상담사가 이를 이해하고 주소를 수정하여 재배송 주문을 완료합니다. 더 나아가, AI 상담사는 변경된 주소를 기본 배송지로 업데이트할지를 묻고, 고객의 동의를 받아 정보를 업데이트합니다. 고객이 배송 일정에 대해 문의하면, AI 상담사는 FAQ 정보를 참조하여 "재배송은 2-3 영업일 내에 도착할 예정입니다."라고 정확히 답변합니다.

기존의 '룰 기반 챗봇'은 각 상황에 맞게 모든 시나리오를 사람이 직접 작성하고 키워드나 문장을 사전에 정의해야 했습니다. 이 과정은 몇 주에서 몇 개월까지 소요되었으나, 상담 챗봇이 고객의 의도를 제대로 이해하지 못하는 경우가 많았습니다. 반면, 생성형 AI 기반 에이전트는 개발 시간과 비용을 크게 줄이고, 하나의 업무를 처음부터 끝까지 완결성 있게 처리할 수 있습니다. '반품 및 환불/재배송'의 특정 영역을 다룬 이번 가상 상담 데모는 세일즈포스사의 '에이전트 빌더'를 통해 약 10일 만에 구축을 완료했습니다.

[그림 4] 삼성SDS의 가상 상담 데모 구축 일정 (출처: 발표자 제작)

Agent의 시나리오 구성부터 개발, 적용까지 10일

• 1. 시나리오 설계 (1~2일차)
• 2. 환경 셋업 (2일차)
• 3. Database 및 RAG 구성 (3~5일차)
• 4. Agent 개발(4~9일차)
• 5. 채널연결 및 테스팅(9~10일차)

2. 데모 구축 단계

가상 상담 에이전트는 크게 5단계로 구축되었습니다.

① 시나리오 설계

상담 시나리오를 설계하는 단계로, 고객과 에이전트 간에 어떤 대화와 상호 작용이 일어날지를 하나하나 상세하게 정의합니다. 이는 인간 상담사에게 업무 지침을 주는 것과 유사합니다. 시나리오 설계는 삼성SDS의 전문 시나리오 설계 스페셜리스트가 디테일하게 내용을 작성합니다.

[그림 5] 가상 상담 데모 - 시나리오 설계 (출처: 발표자 제작)

고객의 오배송 문의부터 기본 배송지 변경까지 처리하는 시나리오를 설계합니다.

고객 → 상담 접속 → 고객정보 확인(Agent) → 오배송 문의(고객) → 주문/배송정보 확인(Agent) → 조치방법 확인(Agent) → 재배송 요청(고객) → 재배송 처리(Agent) → 추가문의 확인(Agent) → 기본 배송지 변경 요청(고객) → 변경처리 및 상담 종료(Agent)

② 환경 셋업

세일즈포스의 에이전트포스를 활용하여 2~3시간 만에 에이전트 개발 환경과 데이터 클라우드 환경 셋업이 가능합니다. 그러나, 고객의 시스템 환경에 따라 시간이 더 소요될 수 있습니다.

[그림 6] 가상 상담 데모 - 환경 셋업 (출처: 발표자 제작)

단 2~3시간 만에 Agent 개발을 위한 환경 셋업을 완료합니다.

개발 환경, Data Cloud 환경 설정 화면 예시

주요 작업

1. Agent 개발 환경 설정

Agent 개발 인스턴스 생성

Agentforce, Einstein AI 기능 활성화

시나리오 기반 S-Shop 웹사이트 퍼블리싱

2. DataCloud 환경 설정

Data Cloud 인스턴스 생성

필요 데이터 속성 정의 및 구성

사용 중인 Salesforce 시스템 연동

③-1 데이터베이스 구성 (정형 데이터)

고객 정보, 제품 정보, 주문 정보, 반송 정보 등의 데이터베이스를 구성합니다. 본 데모에서는 4개의 주요 데이터베이스를 구성하고, 더미 데이터를 생성하여 반영했습니다.

③-2 RAG 구성 (비정형 데이터)

본 데모에서는 오배송이었기 때문에 반송비가 없었지만 고객의 단순 변심이라면 재배송비가 추가될 수 있습니다. 이러한 기준이나 고객의 추가 질문에 대응하기 위해서는 제품 설명서, FAQ, 약관 같은 문서 형태의 비정형 데이터를 벡터화하여 RAG로 구성하고, 에이전트가 필요할 때 참조할 수 있도록 준비합니다. SaaS 솔루션을 사용할 경우, PDF나 워드 파일을 업로드하는 것만으로도 간단히 완료할 수 있습니다.

④ 에이전트 개발

실제로 에이전트가 어떻게 작동할지 지정해 주는 단계로, 에이전트포스에서는 3단계로 설정합니다. 에이전트포스와 같은 SaaS 솔루션을 활용하면 코딩 없이도, 자연어 기반의 로코드/노코드 방식으로 AI 상담 에이전트를 쉽게 개발할 수 있으며, 지속적인 업그레이드를 제공하기 때문에 최신 AI 기술을 활용할 수 있습니다.

[그림 7] 가상 상담 데모 - Agent 개발의 3단계 (출처: 발표자 제작)

Agent 개발은 Topic, Instruction, Actrion 의 설정만으로 가능합니다.

01. Topic(수행 업무/역할 정의)

주문 관리

반품 프로세스

FAQ 대응

02. Instruction (업무 상세 가이드 수립)

DO's

DON'Ts

03. Actioon (상황별 업무 대응 정리)

주문상태 조회

반품 오더 생성

FAQ 기반 응답

No/Low Code 방식으로 초보자도 쉽게 Agent 를 만들 수 있습니다.

토픽(Topic) 설정: 시나리오 구현에 필요한 토픽을 설정하는 단계로, 에이전트가 '수행할 업무와 역할'을 자연어로 정의합니다. 예를 들어 '주문 관리' 토픽에는 '주문 정보 문의, 상품 정보 문의, 반품 처리, 배송지 변경 등 고객이 구매한 주문 및 상품과 관련된 문의를 처리합니다.'라고 디스크립션을 정의하고, 업무 범위(scope)를 자연어로 구체적으로 작성합니다. 에이전트에는 '주문 관리', 'FAQ 대응' 등 다양한 토픽을 정의할 수 있으며, 에이전트가 고객의 질문에 대응하기 위한 적합한 토픽 선정 시 참조하기 때문에 명확하고 구체적으로 정의하는 것이 매우 중요합니다.

[그림 8] 가상 상담 데모 - Agent 개발 1단계: 토픽 설정 (출처: 발표자 제작)

Agent 가 수행할 업무와 역할을 자연어로 정의합니다.

Topic 개발 화면 예시

주요 작업

1. 시나리오 구현에 필요 Topic 설정

오배송 처리를 위한 '주문관리 Topic'

자주 묻는 고객 질의 답변을 위한 'FAQ Topic'

2. 자연어로 각 Topic 정의 구체화

(주문관리 Topic 예시) 고객이 구매한 주문 및 제품과 관련된 고객의 문의를 처리합니다. 또한, 주문정보 문의, 상품 정보 문의, 반품 처리, 배송지 변경 등 주문 및 상품과 관련된 문의를 처리합니다.

인스트럭션(Instruction) 설정: 에이전트가 고객 질문에 어떻게 대응할지에 대한 정확한 가이드를 자연어로 작성합니다. 또한, 해야 할 것과 하지 말아야 할 것을 지정합니다. 예를 들어 "친절한 말투 사용", "불분명한 정보 재확인", "고객이 알아보기 힘든 raw 데이터는 보여주지 않기" 등의 지침을 제공합니다.

액션(Action) 설정: 에이전트가 실제 어떤 순서로 작업을 수행해야 할지 플로우를 정의합니다. 본 데모에서는 '주문정보 조회', '반품', 재주문', '배송지 변경 처리'의 4가지 액션을 정의했습니다. 이 과정은 자연어와 드래그 앤 드롭 방식으로 쉽게 설정할 수 있습니다.

⑤ 채널 연결 및 테스팅

마지막으로, 개발된 에이전트를 카카오, 라인, 애플 아이메시지, 페이스북 메신저 등 주요 메신저 플랫폼과 손쉽게 연결합니다. 에이전트 빌더에는 ‘백엔드’와 ‘프론트엔드’로 구성된 테스팅 환경이 있습니다. 프론트엔드에서 질문을 입력하면, 백엔드에서 답변이 생성되는 모든 과정의 로직이 표시됩니다. 만약, 정확하지 않은 답변이 나오면, 토픽, 인스트럭션, 액션 중 어떤 부분에 문제가 있는지 파악하고 수정하여 정확도를 높일 수 있습니다.

삼성SDS의 AI 가상 상담 서비스

삼성SDS는 세일즈포스의 공식 파트너이자 에이전트포스 인증 파트너로서, SaaS 기반의 AI 가상상담 서비스 도입을 지원하고 있습니다. 또한, 기업이 보유한 콜 인프라나 상담 애플리케이션, 다양한 레거시 시스템과 원활하게 연동할 수 있는 '가상 상담 에셋'을 통해 온프레미스 환경에서도 맞춤형 생성형 AI 기반 가상 상담 서비스를 구축할 수 있는 다양한 옵션을 제공합니다.

이러한 AI 가상 상담 서비스는 단일 영역에만 국한되지 않고 다양한 채널과 기능을 포괄적으로 지원합니다. 고객 문의에 응답하는 상담 봇만 아니라, 텔레마케팅이나 해피콜 등을 수행하는 봇, 챗봇, 이메일 봇, 게시판 봇 등의 다양한 채널을 지원하고, 상담 실행을 위한 '고객 상담 유형 자동 분류', '실시간 답변 추천'과 '상담 내용 자동 요약'이나 '상담사의 상담 내용 평가' 등의 다양한 기능에 대한 기업 특화된 컨설팅 및 오퍼링을 제공합니다.

[그림 9] 삼성SDS의 AI 가상 상담 오퍼링 (출처: 발표자 제작)

고객서비스 Journey 기반의 Full Offering 을 제공합니다.

상담 연결

• AI-IVR
• 챗봇
• 인바운드봇
• 이메일봇
• 아웃바운드봇
• 게시봇

상담 시작 → 고객 정보 확인 → 상담/제품 유형 확인 → (의도분석 → 해결책 확인 → 해결책 제시 → 재문의 → 의도분석) - 가로 부분은 루프

상담 실행

• 상담유형 자동분류
• 실시간 답변추천
• 조치내용 자동분류
• 고객 감성분석
• 실시간 지식검색
• 대응가이드

해결책 제시 → 해결 → 상담완료 / 해결책 제시 → 미해결 → 전문 상담사 연결(필수 인력) → 상담 완료

상담 후처리 및 평가

• 상담내용 요약
• 상담품질 평가
• FAQ 자동생성
• 상담사 평가
• 리스크 센싱
• 상담데이터 분석

상담 내역 등록 → 고객 만족도 조사 → 상담 내용 분석 → 상담 품질 관리

물류 기업을 위한 AI 가상 상담 케이스도 주목할 만합니다. 물류 산업에서는 파트너, 고객, 내부 직원들이 위험물 선정 기준이나 법령, 규정 관련 질문을 많이 합니다. 기존에는 한 명의 업무 담당자에게 모든 질문과 업무가 집중되어, 즉각적이고 정확한 처리가 어려웠습니다. 또한, 법령이 지속적으로 변경되어 최신 정보를 놓치는 경우도 발생했으며, 기존 챗봇은 유지 보수와 개선이 어려웠습니다. 그러나, 생성형 AI 기반의 가상 상담 시스템을 통해 인간과 같은 똑똑한 상담 시스템을 빠르게 구축할 수 있습니다.

삼성SDS는 생성형 AI 기술에 대한 투자와 준비를 바탕으로, 국내에서 가장 많은 상담사를 보유한 삼성전자를 비롯해 다양한 금융사의 AI 가상 상담 프로젝트를 성공적으로 수행해 왔습니다. 그 결과, 구축 기간을 12개월에서 4개월로 66% 단축하고, 80% 수준의 가상 상담 대체를 통해 운영 비용을 절감하며, 상담 후 처리 시간을 130초에서 15초로 대폭 단축하는 등 다양한 경험을 보유하고 있습니다.

생성형 AI가 이끄는 고객 서비스 혁신

생성형 AI 기술은 고객 서비스 분야에서 혁신적인 변화를 일으키고 있습니다. 이를 통해, 기업은 고객 만족도를 높이면서 동시에 운영 효율성도 크게 향상할 수 있게 되었습니다. 특히, 기존 룰 기반 챗봇의 한계를 넘어 고객의 다양한 질문을 이해하고 자연스럽게 응대할 수 있는 생성형 AI 에이전트는 고객 서비스의 새로운 패러다임을 제시하고 있습니다.

삼성SDS는 이미 클라우드 기반의 SaaS 서비스부터 온프레미스 환경까지 생성형 AI 기술을 활용한 가상 상담 에이전트 서비스를 제공하고 있으며, 앞으로 더 많은 기업들이 이러한 기술을 도입할 것입니다. 가상 상담 에이전트는 단순한 기술 혁신을 넘어, 기업의 고객 서비스 전략과 운영 방식, 나아가 고객과의 관계를 형성하는 방식까지 근본적으로 바꾸고 있습니다. 미래의 고객 서비스는 인간의 공감 능력과 AI의 효율성이 조화를 이루는 방향으로 발전해 나갈 것이며, 이러한 변화에 선제적으로 대응하는 기업들이 더 큰 경쟁력을 확보하게 될 것입니다.