Samsung SDS

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]

빠르게 움직이는 기업이 이긴다는 공식은 AI 시대에도 유효할까요? 지금 많은 기업이 챗봇, 가상 비서(Virtual Assistant) 등 고객 서비스 접점에 AI를 서둘러 배치하고 있습니다. 경쟁사보다 한발 앞서야 한다는 압박, 그리고 AI가 약속하는 효율성에 대한 기대가 그 속도를 끌어올리고 있습니다.

그러나 CIO들이 마주한 현실은 조금 다릅니다. AI가 고객에게 잘못된 정보를 전달하거나, 편향된 추천을 내놓거나, 데이터를 부적절하게 다루는 순간 기업이 수년간 공들여 쌓은 신뢰는 한순간에 흔들립니다. 속도는 경쟁력이 될 수도 있지만, 신뢰를 잃는 속도 역시 그만큼 빨라질 수 있습니다. 속도는 양날의 검인 셈입니다.

그렇다면 기업은 어떻게 AI 도입의 속도를 유지하면서도 고객 신뢰를 지켜낼 수 있을까요? 글로벌 기술 리더들의 경험에서 그 해법을 찾아봅니다.

틀린 답이 옳게 들릴 때, 위험은 시작됩니다

기존 소프트웨어는 같은 입력에 같은 결과를 돌려줍니다. 하지만 생성형 AI는 같은 질문에도 매번 다른 답을 내놓을 수 있고, 그 답이 확신에 차 있고 설득력 있게 들린다고 해서 정확하다는 보장도 없습니다. 고객이 재무, 보험, 건강처럼 중대한 영역에서 AI에 의존할수록 하나의 오류가 미치는 영향은 훨씬 커집니다.

클라우드 소프트웨어 기업 블랙라인(BlackLine)의 수밋 조하르(Sumit Johar) CIO는 부정확한 AI 답변이 고객 경험을 해칠 뿐 아니라, 문제 수습에 비용과 자원을 소모하게 하고, 브랜드를 훼손하며, 규제 리스크까지 불러온다고 지적합니다. 그는 AI의 실패가 기업이 제공하는 핵심 솔루션 자체에 대한 신뢰 문제로 번진다고 강조합니다. 특히 금융 분야에서는 잘못된 AI 결과물이 재무상태표(Balance Sheet)의 정확성을 무너뜨리고 심각한 법적·개인적 책임으로 이어질 수 있습니다. AI가 기밀 정보를 노출할 가능성도 있는 만큼, 답변의 근거가 되는 데이터 출처를 파악하는 일은 선택이 아닌 필수입니다.

희귀질환 환자와 보호자를 주요 사용자로 둔 시티즌 헬스(Citizen Health)의 대니얼 왕(Daniel Wang) CTO에게 이 문제는 더욱 절실합니다. 그가 가장 경계하는 것은 AI가 실수할 수 있다는 사실 그 자체가 아닙니다. 바탕 정보가 틀렸음에도 따뜻하고 유익하며 권위 있게 들리는 답변을 AI가 만들어낼 수 있다는 점입니다. 이에 시티즌 헬스는 AI가 제공하는 핵심 정보를 환자 기록, 임상 정보, 의학 연구 등 원천 출처까지 추적할 수 있도록 설계했고, 의학적 결정 전에는 반드시 의료진과 상의하라고 안내합니다.

이러한 원칙은 제품 출시 방식까지 바꿔 놓았습니다. 시티즌 헬스는 AI가 어떤 과정으로 답을 도출하는지, 그 답이 정확한지 확인할 시간이 더 필요하면 출시를 미뤘습니다. 모든 사용자에게 한꺼번에 공개하기보다 소규모 환자 그룹에 먼저 적용하고, 그 피드백으로 개선한 뒤 범위를 넓히는 단계적 출시를 택한 것입니다. 출시 전에는 정답이 알려진 질문으로 AI를 검증하고, 자동화 테스트와 사람의 검토를 병행하며, 비정상적인 응답을 감시하고 AI가 답할 수 있는 범위를 제한합니다.

1년 늦은 출시가 더 빠른 길이 될 수도 있습니다

보험 기술 기업 하이말리(Hi Marley)의 조너선 터시먼(Jonathan Tushman) CTO 겸 CAIO는 더 과감한 선택을 했습니다. 출시 가능한 기술을 이미 수년 전부터 갖고 있었지만, 테스트와 관측 가능성 확보, 법률 검토, 교육에 시간을 더 투자하기로 한 것입니다. 그는 신뢰와 거버넌스라는 기준이 없었다면 1년 먼저 서비스를 시작해 도입 속도도 높였을 것이라고 인정합니다. 그럼에도 그렇게 하지 않기로 결정했습니다.

하이말리는 이를 '신뢰의 속도(Speed of Trust)'로 일하는 방식이라고 부릅니다. 터시먼 CTO에 따르면 고객 대상 AI를 출시하려면 운영 중인 시스템이 무엇을 하고 있는지 볼 수 있어야 합니다. 개별 대화를 모니터링하는 것은 물론, 수만 건의 상호작용 전반에 걸친 패턴까지 읽어내야 한다는 의미입니다. 여기에 더해 문제가 생겼을 때 시스템을 즉시 멈출 수 있는 킬 스위치와 변경 사항을 되돌릴 수 있는 롤백(Rollback) 역량도 갖춰야 합니다.

하지만 기술만으로는 충분하지 않습니다. 터시먼 CTO는 고객 서비스, IT, 데브옵스(DevOps), 클라우드옵스(CloudOps) 팀 모두가 AI 문제에 대응하는 절차를 갖추고 있어야 한다고 강조합니다. 장애 대응이 시스템의 문제가 아니라 조직의 역량이라는 뜻입니다.

반대로 실패하는 기업의 패턴도 분명합니다. 글로벌 농업 기업 코르테바 애그리사이언스(Corteva Agriscience)의 우다야 바스카르(Udaya Bhaskar) 선임 애플리케이션 보안 분석가는 인상적인 AI 시연(Demo)에 매료된 나머지, 실제 고객 환경에서의 성능을 충분히 검증하지 않고 서두르는 것을 대표적인 실수로 꼽습니다. 벤더의 주장을 지나치게 믿거나, 문제가 생겼을 때 고객이 사람과 쉽게 연결될 통로 없이 AI를 출시하는 것 역시 위험을 키우는 요인입니다. 화려한 데모가 증명하는 것은 가능성이지, 신뢰성이 아닙니다.

AI 비용 절감의 함정, 보이지 않는 '환각세'

AI 도입을 서두르는 배경에는 대개 효율성에 대한 기대가 있습니다. 챗봇이 더 많은 고객 문의를 처리하면 직원의 업무 부담이 줄어드는 것은 분명합니다. 그러나 직원들이 AI의 결과물을 확인하고 바로잡는 데 시간을 써야 한다면 절감 효과는 빠르게 사라집니다. 이것이 바로 '환각세(Hallucination Tax)'입니다. 많은 기업이 기술 개발 예산은 편성하면서도, 이를 운영하고 모니터링하는 데 지속적으로 드는 비용은 충분히 반영하지 않습니다.

론치 컨설팅(Launch Consulting)의 제스 램프(Jess Lampe) 글로벌 수석 기술자는 숨은 비용의 목록을 구체적으로 제시합니다. 직원이 AI 답변을 검증하는 시간, AI의 오류 때문에 작업을 다시 하는 시간, 그리고 규제·법적 리스크입니다. 그리고 그 너머에는 측정하기조차 어려운 비용이 있습니다. 바로 고객 신뢰의 상실입니다.

기업용 AI 구축·운영 플랫폼 언프레임(Unframe)의 크리스 슬로바크(Chris Slovak) 글로벌 필드 CTO는 평판 훼손을 가장 큰 숨은 비용으로 꼽습니다. 그는 고객과 맞닿는 모든 것이 곧 브랜드를 대표한다고 말합니다. 부실한 구현은 토큰 비용 측면에서도 손실이지만, 브랜드에 미치는 타격은 그보다 훨씬 크다는 것입니다. 특히 기업들이 고객 지원 문의를 줄이려는 목적으로 AI를 도입하는 경우가 많은데, 이미 불만을 품은 고객이 AI를 만나 상황이 더 나빠진다면 신뢰의 손실은 걷잡을 수 없어집니다.

다른 시각도 있습니다. 액센츄어(Accenture)의 케번 얄로위츠(Kevan Yalowitz) 글로벌 소프트웨어·플랫폼 부문 총괄은 사람이 하든 기술이 하든 실수는 일어나기 마련이라고 봅니다. 그가 말하는 진짜 숨은 비용은 실수 그 자체가 아니라, 실수가 발생했을 때 사용자 신뢰가 무너지는 것입니다. 가장 성공적인 조직은 실수를 신속하게 인정하고, 투명하게 설명하며, 이를 학습의 기회로 삼아 재발을 막겠다는 계획을 밝힙니다. 실수를 피할 수 없다면, 실수에 대응하는 방식이 곧 신뢰의 크기를 결정합니다.

AI는 의사결정자가 아니라 도구입니다

문제를 예방하려면 AI가 고객에게 닿기 전에 통제 장치를 갖춰야 합니다. 블랙라인의 조하르 CIO는 중요한 의사결정일수록 사람의 감독(Human Oversight)이 필수적이라고 강조합니다. 금융처럼 규제가 엄격한 산업에서는 정확성이 생명인 결정을 AI가 독자적으로 처리해서는 안 됩니다. AI에 신뢰할 수 있는 데이터를 공급하고, 문제가 생겼을 때 무슨 일이 있었는지 감사(Audit)할 수 있는 역량도 함께 갖춰야 합니다.

론치 컨설팅의 램프는 감독의 수준을 AI에 허용된 권한에 비례해 설계해야 한다고 조언합니다. 정보를 요약하는 AI와 고객의 자금이나 계좌에 직접 영향을 주는 행동을 실행하는 AI는 위험의 무게가 다릅니다. 출시 이후에도 테스트는 멈춰서는 안 됩니다. AI의 동작은 시간이 지나며 달라질 수 있기 때문에, 출시 시점의 성능이 앞으로도 유지되리라는 보장은 없습니다.

데이터 원칙도 엄격해야 합니다. 업무 관리·협업 플랫폼 스마트시트(Smartsheet)의 토얀 에스퓨트(Toyan Espeut) 최고고객책임자(CCO)는 고객 데이터가 테넌트(Tenant) 간에 섞이거나 제3자 모델 학습에 쓰여서는 안 되며, AI가 고객의 기존 권한 체계를 벗어나서도 안 된다고 말합니다. 그의 원칙은 간명합니다. 사람이 접근할 수 없는 정보라면 그 사람을 대신하는 AI도 접근할 수 없어야 합니다. 또한 모든 AI 행동은 완전히 감사 가능해야 하고, 고객은 AI가 언제 개입하는지 투명하게 알고 그 결과물을 검토·검증할 수 있어야 합니다.

그럼에도 실수는 일어납니다. 중요한 것은 그때 책임이 어디에 있느냐입니다. 시티즌 헬스는 고객 신뢰와 관련된 문제를 곧바로 전사적 사안으로 다룹니다. 지원 및 당직 대응 절차가 있지만 심각한 사안은 경영진에게 보고되며, 사용자가 문제를 직접 신고할 수 있는 창구도 운영합니다. 하이말리의 터시먼 CTO는 문제를 처음 접수하는 사람과 최종 책임자를 구분합니다. 첫 불만은 고객 성공팀이나 헬프데스크가 받을 수 있지만, 고객 대상 AI의 최종 책임은 CTO인 자신에게 있다는 것입니다. 그는 이 책임이 시스템이나 벤더에게 떠넘길 수 있는 일이 아니라고 단언합니다. 코르테바의 바스카르 역시 AI는 의사결정자가 아닌 도구이기에 책임은 도입한 기업에 있다고 강조합니다. 램프는 여기서 한 걸음 더 나아가, 모든 고객 대상 AI 시스템에 동작과 성능을 책임지는 담당자를 명시하고, 명확한 에스컬레이션(Escalation) 절차를 갖추며, 고객이 잘못된 결과에 이의를 제기하고 사람과 연결될 수 있어야 한다고 말합니다.

빠른 출시보다 고객의 신뢰가 중요합니다

AI 도입의 흐름은 앞으로도 쉽게 느려지지 않을 것입니다. 그렇다면 질문은 '얼마나 빨리 도입하는가'에서 '무엇으로 성공을 판단하는가'로 옮겨가야 합니다. AI 도구를 사용하는 고객 수를 세는 것만으로는 고객 경험이 실제로 나아졌는지 알 수 없습니다. 사용량은 관심을 보여줄 뿐, 신뢰를 증명하지는 않습니다.

스마트시트의 에스퓨트 CCO는 고객이 문제를 더 빨리 해결하는지, 더 나은 결정을 내리는지, 더 좋은 비즈니스 성과를 얻고 있는지를 봐야 한다고 말합니다. 고객 지원 요청이 줄어드는 것도 중요한 신호입니다. 고객이 도구를 단순히 쓰는 데 그치지 않고 실제로 성공하고 있다는 뜻이기 때문입니다. 활용이 하나의 구매 부서에 머물지 않고 조직 전반으로 확산되는지, 고객 피드백과 기능 요청의 질이 높아지는지도 살펴봐야 합니다. 고객이 제품의 방향을 함께 만들기 시작했다면, 그것이야말로 기술을 신뢰하고 장기적 가치를 인정한다는 가장 강력한 증거입니다.

처음의 질문으로 돌아가 보겠습니다. 빠르게 움직이는 기업이 이길까요? 고객 대상 AI의 세계에서 진짜 속도는 출시일이 아니라 신뢰가 쌓이는 속도로 측정됩니다. 하이말리가 1년을 늦춰 얻은 것은 지연이 아니라 고객이 안심하고 쓸 수 있는 AI였습니다. AI 경쟁의 승자는 가장 먼저 출시한 기업이 아니라, 가장 오래 신뢰받는 기업이 될 것입니다.

FAQ

▶   본 콘텐츠는 CIO의 원문과 공개 자료를 바탕으로 재구성한 콘텐츠이며, 원문 및 인용 자료의 저작권은 각 권리자에게 있습니다.
▶   원문과 인용 자료의 2차 가공 및 영리적 이용은 각 권리자의 이용 조건을 따라야 합니다.