Samsung SDS

Executive Summary

• 말해봐요, 왜 그랬는지: 추천이든 거절이든, 이유를 보여주지 못하는 서비스는 편리할 수는 있어도 믿음을 얻기는 어려워요.
• 오답 뒤의 첫마디: AI는 어디서든 틀릴 수 있어요. 신뢰를 가르는 건 틀린 다음이에요. 회사가 발을 빼느냐, ‘우리 말’로 책임지느냐.
• 거기 누구 없나요?: 사람에게 닿는 길이 항상 열려 있다는 사실만으로 불안이 줄어요. 실제로 그 문을 열지 않더라도요.
• 숨기지 않을 의무: AI임을 밝히는 일이 매너에서 의무로 바뀌어요. 한국에서 이미, 유럽에서도 올해 8월부터요.

Intro.

챗봇의 약속은 누구의 약속인가요

매장 직원이 잘못 안내해도, 손님은 그 매장이 그렇게 말했다고 기억해요.

전화 상담원이 잘못된 할인 조건을 알려줬을 때, 손님이 따지는 대상은 상담원 개인이 아니라 회사예요. 상담원 뒤에는 언제나 회사의 이름이 있으니까요. 그런데 요즘은 그 자리에 사람 대신 챗봇이 서 있는 경우가 늘었어요. 챗봇이 잘못 안내해도 같은 원칙이 적용될까요?

얼마 전까지는 이 질문이 회색지대로 남아 있었어요. ‘챗봇이 뭐라고 하든 회사의 진짜 입장은 아니다’라는 인식이었죠. 하지만 AI가 고객 응대의 전면에 서면서, 법정과 시장과 규제가 각자의 방식으로 선을 긋기 시작했어요. 챗봇의 말은 회사의 말이고, 회사는 그 말에 책임을 진다는 선이에요.

화면이 살아 움직이고(4호), 에이전트가 대신 행동하고(5호), 공간이 먼저 반응하고(6호), AI가 몸을 얻어 현실에서 움직일수록(7호), 고객의 마음에는 하나의 질문이 자라요. "이걸 정말 믿어도 될까?" 고객의 기준 2부작의 첫 번째인 이번 호는 그 마음에 닻을 내리는 신뢰 설계를 다뤄요.

Signals of Change.

매너에서 의무로, AI 응대의 기준이 바뀐다

얼마 전까지 "챗봇이 뭐라고 하든 그건 회사의 진짜 입장은 아니다"라는 인식이 회색지대로 남아 있었어요. 하지만 AI가 고객 응대의 전면에 서면서, 그 회색지대가 좁아지고 있어요. 비슷한 시기에 법정과 시장과 규제가 각자의 방식으로 선을 긋기 시작했거든요. 챗봇의 말은 회사의 말이고, 회사는 그 말에 책임을 진다는 선. 그리고 AI와 대화하고 있다는 사실은 숨기지 않아야 한다는 선이에요.

법정과 시장이 그은 선

한쪽에선 법정이 움직였어요. 한 건의 챗봇 오안내가 소액심판으로 이어졌고, 법정은 챗봇을 포함해 회사가 제공한 정보에 회사가 책임을 진다는 선을 남겼어요. 서비스에서 자동 응대의 비중이 늘어도, 요금 분쟁이나 안전 이슈처럼 책임이 따르는 민원에는 사람의 판단과 분명한 이의 제기 경로가 필요해요. 게다가 망가진 봇은 곧바로 대가를 치러요. 어떤 배송업체 챗봇은 욕설과 회사를 비난하는 시를 쓰도록 유도당했어요(2024년 1월 보도). 화면 속 실수는 대개 당사자만 보지만, 이런 장면은 캡처되어 널리 퍼질 수 있어요.

AI 고지 의무, 법이 되다

법정의 판단이 기존 법리를 챗봇이라는 새 영역에 적용한 것이라면, 규제는 아예 새로운 의무를 조문으로 만들었어요. 그중 가장 또렷한 건 고지 의무예요. 한국의 AI 기본법(제31조)은 2026년 1월 22일부터 시행 중이에요. 고영향 AI나 생성형 AI를 이용한 제품·서비스를 제공할 때, 이용자에게 AI에 기반해 운용된다는 사실을 사전에 고지해야 하는 의무를 두고 있어요. 표시 대상과 방식은 서비스 유형에 따라 달라질 수 있으므로 실제 적용 전에는 최신 법령과 하위 규정을 확인해야 해요.

같은 해 8월 2일부터는 EU AI Act 제50조의 투명성 의무가 적용돼요. 사람과 직접 상호작용하도록 설계된 AI 시스템은, 상황상 명백한 경우가 아니라면 늦어도 첫 상호작용 시점에 상대가 AI와 대화하고 있다는 사실을 명확하고 구별되는 방식으로 알려야 해요.

같은 선, 세 갈래의 압력

법정은 책임의 소재로 선을 그었고, 규제는 고지 의무로 선을 그었어요. 시장의 방식은 더 단순해요. 신뢰를 잃은 챗봇은 고객도 함께 잃는다는 거예요. 세 압력이 가리키는 결론은 하나예요. 이제는 지키지 않으면 비용을 치르는 문제라는 것. 그렇다면 회사는 이 선 앞에서 어떻게 서야 할까요? 출구를 복원한 회사와 책임을 미룬 회사, 두 회사의 답이 이어집니다.

CX Case

출구를 복원한 회사, 책임을 미룬 회사

[글로벌 · 핀테크] Klarna: 언제든 사람과 연결된다는 약속

전면 자동화 이후 품질 하락을 인정하고 AI와 사람의 하이브리드로 재설계했어요. 2025년 3분기 기준 AI 에이전트가 853명분의 업무를 처리하고 있어요.

무엇을 바꿨나

클라르나의 3년은 신뢰 설계의 교과서나 다름없어요. 전면 자동화(2023~2024), 품질 하락의 인정(2025년 상반기), AI와 사람의 하이브리드 재설계(2025년 하반기~)까지요. 2024년 초 AI 어시스턴트가 출시 한 달 만에 상담의 3분의 2를 처리하며 상담사 700명분의 일을 한다고 자체 발표했고, AI 전면 전환의 대표 사례가 됐죠. 화려한 출발이었어요. 그리고 2025년 상반기, 클라르나는 그 자동화가 응대 품질을 떨어뜨렸다고 공개적으로 인정하고 사람 상담을 다시 늘리겠다고 밝혔어요.

어떻게 작동하나

하이브리드 재설계의 골격은 간단해요. 반복적이고 절차가 명확한 문의는 AI가 처리 속도 82% 개선이라는 강점을 그대로 발휘하고, 공감과 재량이 필요한 사안은 사람이 맡아요. 다만 AI를 통한 효율화는 유지하면서, 고객이 원할 때 사람과 연결될 수 있는 선택권과 상담 품질을 다시 강조한 점이 달라졌어요.

무슨 결과가 있었나

2025년 3분기 기준 클라르나의 AI 에이전트는 853명분의 업무를 처리하며 6천만 달러를 절감하고 있어요. 눈여겨볼 대목이 하나 더 있어요. 품질 문제를 공개적으로 인정한 시점은 뉴욕 증시 상장을 약 4개월 앞둔 때였어요. 상장 후 첫 실적 콜에서 853명분의 업무 처리 성과를 공개한 것은 그 뒤의 일이고요.

왜 중요한가

클라르나는 AI를 통한 효율화를 유지하면서, 고객이 사람을 원할 때 연결될 수 있는 선택권을 다시 강화했어요. 단순 문의는 AI가 끝까지 처리하되, 고객이 사람을 원하는 순간의 선택권은 보장했죠. 사람 상담을 단순한 비용 항목으로만 보지 않고, 고객이 AI 응대에서 벗어날 수 있도록 보장해야 할 서비스 요건으로 다룬 거예요. 실수를 다루는 방식 자체가 신뢰를 회복하는 과정이 된 거죠.

도입 시 고민 지점

사람 연결 보장은 단기 지표로는 인건비로 잡혀요. 하이브리드 구조의 비용을 어떻게 정당화할지가 숙제로 남죠. 그래서 인건비뿐 아니라 고객 이탈, 브랜드 훼손과 복구에 드는 시간도 함께 봐야 해요. 신뢰 설계의 비용을 미루면 더 큰 복구 비용으로 돌아올 수 있기 때문이에요.

[글로벌 · 항공] Air Canada: 책임 구조가 없으면 신뢰 설계도 없다

챗봇의 오안내를 두고 법정이 "웹사이트 정보는 모두 회사 책임"이라 판결했어요. 약 650캐나다달러 배상 명령과 함께 챗봇 발언의 책임 기준을 남겼어요.

무슨 일이 있었나

챗봇의 오안내로 시작된 한 건의 소액심판이, AI 고객 응대의 책임 구조에 분명한 선을 그었어요. 회사가 의도한 변화가 아니라, 판결이 강제한 기준이에요.

무엇이 문제였나

에어캐나다는 법정에서 "챗봇은 자기 행동에 스스로 책임지는 별개의 법적 주체"라고 항변했어요. 심판부는 이를 "놀라운 주장"이라 부르며, 정적 페이지에서 나왔든 챗봇에서 나왔든 웹사이트의 모든 정보는 회사 책임이라고 정리했죠. 정확한 정책이 다른 페이지에 있었다는 항변은, 고객더러 회사의 말을 그대로 믿지 말고 교차 검증하라는 요구나 다를 바 없었어요.

무슨 결과가 있었나

심판부는 고객의 손을 들어주며 차액 약 650캐나다달러 배상을 명령했어요. 액수는 작지만 챗봇의 말은 곧 회사의 말이고, 고객이 그 안내를 의심해야 할 이유는 없다는 커다란 기준을 남겼어요.

왜 중요한가

잘못된 안내 자체는 어느 시스템에서나 일어날 수 있어요. 문제는 그다음이었어요. 고객에게 "챗봇 말은 믿지 말았어야 했다"고 답한 순간, 회사는 자기 인터페이스의 신뢰도를 스스로 부정했어요.

도입 시 고민 지점

AI 응대를 도입할 때, 고객이 오답을 받으면 누가 어떻게 책임질지까지 함께 설계해야 해요. 정정·보상 절차가 미리 문서로 존재하지 않으면, 에어캐나다처럼 법정이 대신 그 선을 그어줘요. 그러면 회사는 정정과 보상의 기준을 스스로 정할 기회를 잃어요.

[글로벌 · 금융] Bank of America Erica: 화려함 대신 신뢰를 택한 설계

2018년 출시된 뱅크오브아메리카의 AI 어시스턴트 Erica는 2026년 3월 기준 누적 32억 건이 넘는 상호작용을 처리했어요. 성공의 비결은 정확한 업무 분배에 있어요. 잔액 조회, 거래 검색처럼 빈도 높고 명확한 작업에 집중하게 만들고, 복잡한 사안은 사람 상담사에게 넘겨요. 은행은 AI 원칙을 "사람의 감독, 투명성, 모든 결과에 대한 책임"으로 명시해요. Erica는 생성형 AI 대신 자연어 처리와 머신러닝으로 질문 의도를 파악해 미리 정의된 답변을 제공하고, 답하기 어려운 질문은 상담사에게 연결해요. 신뢰는 매번 정확히 작동하는 경험에서 쌓인다는 걸 보여주는 사례예요.

[글로벌 · 개발자 도구] Cursor: 잘못을 인정하고 라벨을 붙인 회사

2025년 4월, AI 코딩 도구 Cursor의 지원 봇 'Sam'이 존재하지도 않는 '1구독 1기기' 정책을 지어내 답했어요. 세션 버그로 기기를 옮길 때마다 로그아웃되던 사용자들이 그 답을 사실로 믿었고, 일부는 구독을 해지했죠. 에어캐나다와는 대응 방식이 달랐어요. Cursor는 책임을 떠넘기는 대신 곧바로 오류를 인정하고 환불했고, AI가 답한 메시지에는 'AI 응답'이라는 표시를 붙이기 시작했어요. 챗봇은 어디서든 틀릴 수 있지만, 틀린 뒤 '봇이 한 말'이라며 발을 빼느냐 '우리 말'로 책임지느냐가 신뢰를 좌우한다는 걸 보여주는 사례예요.

QUESTION TO ASK

우리 회사에 대입하면

Q1. 우리 서비스에서 고객이 사람과 연결되기까지 몇 번의 시도가 필요한가?

클라르나가 보장한 건 "원하면 언제나 사람에게 닿을 수 있다"는 약속이었어요. 상담사를 몇 명 두느냐와는 다른 문제죠. 우리 고객센터에서 직접 한번 시도해 보셨나요? 그 횟수가 곧 고객이 체감하는 신뢰의 거리예요.

Q2. AI가 잘못 안내했을 때의 정정·보상 절차는 문서로 존재하는가?

지난 5호에서 에이전트가 실수했을 때 고객이 제자리로 돌아오는 데 걸리는 시간을 물었다면, 이번 질문은 그 전 단계예요.» 에어캐나다처럼 법정에서 답을 정하게 되기 전에, 우리 스스로 책임의 위치를 정해뒀나요?

Q3. EU AI Act 기준으로, 우리의 AI 고지 문구와 위치를 점검했는가?

"AI 응대 중"이라는 문구를 어디에, 어떤 크기로, 언제 보여줄 것인가의 문제예요. EU 고객이 한 명이라도 있다면 남의 일이 아니고, 한국에서는 이미 시행 중이며, EU 바깥에서도 곧 기본 기대치가 될 기준이에요.

CX INSIGHT

고객이 보장받아야 할 네 가지

6호에서 데이터를 읽는 서비스의 동의를 이야기했다면, 8호의 보장 목록은 AI가 말하고 약속하는 서비스의 책임에 관한 거예요. 에어캐나다의 고객은 설명을, 클라르나의 고객은 출구를 원했어요. 사례들이 가리키는 목록은 네 가지로 정리할 수 있어요.

첫째, 알 권리예요

지금 대화하는 상대가 AI인지 사람인지, 고객은 알 수 있어야 해요. 한국은 서비스 이용 전 사전 고지를, EU는 AI와의 첫 상호작용 시점까지 고지를 의무화해요. 법 적용 대상이 아니더라도, 고객에게 AI임을 밝히는 기준으로 삼을 수 있어요.

둘째, 물을 권리예요

"왜 이 결과인가요?"에 서비스가 답할 수 있어야 해요. 다만 설명이 길다고 신뢰가 비례하지는 않아요. 알고리즘 투명성을 실험한 한 연구에서는 설명이 적당할 때 신뢰가 가장 높았고, 너무 적을 때만이 아니라 너무 많을 때도 신뢰가 떨어졌어요(Kizilcec, 「How Much Information? Effects of Transparency on Trust in an Algorithmic Interface」, CHI 2016). 결정에 영향을 준 한두 가지 근거를 고객의 언어로 보여주면 충분해요.

셋째, 떠날 권리예요

사람에게 닿는 출구가 항상 보여야 해요. 클라르나의 재설계가 보여주듯, 출구가 명확히 있어야 사용자들이 자동화를 받아들이기 쉬워요.

넷째, 따질 권리예요

AI가 틀렸을 때의 정정과 보상 절차가 미리 정해져 있어야 해요. 5호에서 에이전트의 신뢰는 실수했을 때의 대응에서 온다고 했죠. 8호에서 주어를 고객으로 바꾸면 이렇게 돼요. 고객의 신뢰는, 따질 곳이 분명할 때 유지돼요.

신뢰는 결국 화면 위의 구체적 선택으로 완성돼요. AI임을 어느 위치에서 어떤 문장으로 밝힐지, 사람과 연결되는 버튼을 몇 번째 화면에 둘지, 한계와 실수를 어떤 언어로 인정할지 고민이 필요해요. 모두 화면에 그려지는 디자인 결정이고, 8월 이후에는 컴플라이언스 결정이기도 해요.

현실의 벽: 신뢰 설계는 비용처럼 보인다

사람 연결 보장은 인건비 상승으로, AI 고지는 이탈 유발 요인으로 읽히기 쉬워요. 단기 지표로는 실제로 그렇게 나타날 수 있어요. 클라르나가 답한 방식은 숨은 비용까지 대차대조표에 올리는 것이었어요. 품질 하락이 만든 이탈, 브랜드 손상, 그리고 되돌리는 데 든 시간까지요. 신뢰 설계의 비용은 선불이고, 신뢰 부재의 비용은 후불에 이자가 붙어요.

고객의 마음에 자라던 질문, "이걸 믿어도 되나?"의 답을 8호는 네 가지 보장에서 찾았어요. 알리고, 설명하고, 출구를 열고, 책임지는 것. 고객은 AI가 얼마나 놀라운지보다, 잘못됐을 때 바로잡을 수 있는지를 보고 믿음을 결정해요. 이 네 가지 약속이 지켜질 때 신뢰가 쌓여요.

※ 본 리포트는 담당자가 작성한 초안을 바탕으로 생성형 AI를 활용하여 윤문, 팩트체크, 이미지 제작 등 후작업을 수행했습니다.