Samsung SDS

Executive Summary

• AI 서비스의 평가 대상은 모델에서 서비스 전체로 확장되었습니다. AI가 문서 검색, 업무 시스템 호출, 다단계 실행까지 수행하면서 도입 전 품질 평가가 중요한 통제 장치가 되었습니다.
• 모델 성능 점수만으로는 실제 서비스 품질을 판단할 수 없습니다. 문자 인식·임베딩·생성·추론 모델과 검색, 데이터, 권한, 업무 시스템이 결합되어 작동하기 때문입니다.
• AI 서비스 품질은 세 계층으로 나누어 평가해야 합니다. 가치·원칙, 서비스 품질, 기술 측정을 각각 확인하고, 개인정보 보호와 규정 준수처럼 보완할 수 없는 항목은 별도 통과 관문으로 관리해야 합니다.
• 신뢰할 수 있는 평가는 사전 진단과 반복 측정에서 시작됩니다. 실제 위험을 반영한 문항과 고정된 평가 기준을 마련하고, 다양한 평가 모델과 사람의 검토를 병행해 개선 여부를 확인해야 합니다.

1. 왜 지금 AI 서비스 품질 평가에 주목해야 하는가

AI가 하는 일이 바뀌었다

기업의 AI 활용은 데이터를 분석해 예측·분류하는 방식과 정해진 시나리오에 따라 응답하는 챗봇 중심으로 발전해 왔습니다. 챗봇은 미리 정의된 질문과 답변 안에서 작동했기 때문에, 시나리오대로 동작하는지 확인하면 품질을 관리할 수 있었습니다. 생성형 AI는 답변을 미리 정하지 않고 매번 새로 만들며, 사내 규정·계약서·매뉴얼 등을 검색해 답변의 근거로 활용합니다. 최근에는 여기에 업무 시스템 호출과 다단계 실행까지 더해지면서, AI가 단순히 답하는 도구에서 업무 흐름에 참여하는 서비스로 바뀌고 있습니다.

이제 오류는 한 번의 잘못된 답변으로 끝나지 않습니다. AI가 잘못 찾은 규정을 검토 의견으로 만들고, 그 의견이 보고서나 의사결정의 근거가 될 수 있습니다. 금융에서 잘못된 상품·심사 안내를 하거나 제조 현장에서 부정확한 작업 지시를 내리면, 답변 오류를 넘어 소비자 보호·안전·내부통제 문제로 이어집니다.

이처럼 서비스의 쓰임과 AI에 부여된 권한이 달라지면 필요한 평가 기준과 책임 범위도 달라집니다. 정해진 답이 나오는 챗봇은 시나리오 테스트로 충분했지만, 매번 다른 답을 만들고 다음 업무를 실행하는 서비스는 무엇을 어떤 수준까지 확인해야 하는지부터 정해야 합니다. 결국 평가 대상은 모델이 아니라 실제 업무에 투입되는 서비스이며, 오류가 발생했을 때 책임지는 주체도 AI가 아니라 서비스를 운영한 조직입니다.

사고는 늘어나는데, 규칙은 하나로 끝나지 않는다

AI 서비스의 위험은 막연한 우려에 그치지 않습니다. 스탠퍼드 HAI의 「2026 AI 지수 보고서」에 따르면 문서로 확인된 AI 관련 사고는 2024년 233건에서 2025년 362건으로 늘었습니다. 반면 조직의 AI 사고 대응 역량을 ‘우수하다’라고 평가한 비율은 28%에서 18%로 낮아졌습니다^[1]. 사고는 증가하는데 이를 관리할 준비는 오히려 충분하지 않은 상황입니다.

국내에서도 AI 활용과 책임에 관한 법적 기반이 마련되고 있습니다. AI 기본법을 비롯해 공공·금융 등 업종별 규율은 투명성, 안전, 영향 평가, 기록과 책임을 요구하는 방향으로 구체화되고 있습니다^[2][3][12]. 국제 표준과 위험관리 프레임워크도 AI를 운영할 때 무엇을 관리해야 하는지 공통된 기준을 제시합니다^[4][5][6]. 특히 사업자와 기관이 스스로 AI 서비스의 위험과 준수 여부를 확인하고, 그 근거를 설명해야 하는 자기 확인 체계가 중요해지고 있습니다.

그러나 이 규칙들이 모든 AI 서비스에 동일하게 적용되는 구체적인 합격선을 제시하는 것은 아닙니다. 공공 행정 안내와 금융 심사, 제조 작업 지시는 업무의 위험과 책임 범위가 서로 다르기 때문입니다. 무엇을 평가할지, 어떤 지표를 사용할지, 어느 수준이면 도입할 수 있는지는 결국 서비스를 사용하는 조직이 업무의 목적과 위험에 맞춰 정해야 합니다.

결국 문제는 규칙이 없다는 데 있지 않습니다. 규칙을 지켰는지, 답변이 실제 업무에 충분한지, 그 결과를 믿을 만한 근거가 있는지를 일관된 기준으로 확인하고 설명할 방법이 부족하다는 데 있습니다. AI 서비스를 도입하려면 ‘평가했다’라는 말보다 무엇을 어떻게 평가했으며, 왜 그 결과를 도입 판단의 근거로 삼았는지를 제시할 수 있어야 합니다.

이 이야기는 왜 공공에서 시작되었는가

뒤에서 소개할 평가 체계는 공공 부문에서 출발했습니다. 우연이 아닙니다. 공공은 기관의 최종 권한과 책임, 영향 평가 등 규제와 책임에 관한 요구가 가장 먼저, 가장 구체적으로 제도화된 영역이었기 때문입니다. 행정 서비스의 오답은 한 사람의 불편으로 끝나지 않고 권익과 제도에 대한 신뢰로 번지며, 그 책임은 기관이 짊어집니다.

그러나 이런 조건이 공공만의 것은 아닙니다. 금융의 불완전판매, 의료의 임상 판단, 제조의 작업 지시, 국방의 정보 등급처럼 오답의 결과를 조직이 책임져야 하는 구조는 업종을 가리지 않고 존재합니다. 다만 그 요구가 어느 영역에서 더 먼저, 더 강하게 제기되었느냐의 차이가 있었을 뿐입니다.

2. 왜 기존 테스트만으로는 부족한가

AI 성능 점수는 이미 넘칠 만큼 공개되어 있습니다. 모델 개발사가 새 모델을 낼 때 함께 내놓는 기술 보고서와 시스템 카드, 여러 모델을 같은 시험으로 줄 세우는 공개 순위표, 그 결과를 인용하는 기술 언론과 공급사의 제안 자료가 그것입니다. 어느 모델이 어느 시험에서 몇 점을 받았는지는 검색 한 번이면 확인할 수 있습니다. 그러니 성능 좋은 모델을 고르고, 지금까지 소프트웨어를 검증해 온 방식으로 확인하면 되지 않느냐는 물음이 자연스럽게 나옵니다. 하지만 실제 서비스에 적용하면 이 가정은 그대로 들어맞지 않습니다.

모델 성능이 좋으면 서비스도 좋은 것 아닌가

실제 AI 서비스는 하나의 모델로 작동하지 않습니다. 문서·이미지에서 글자를 읽는 문자 인식 모델, 문서를 검색 가능한 데이터로 바꾸는 임베딩 모델, 검색한 근거로 답변을 만드는 생성 모델, 여러 단계를 계획하고 도구 호출 여부를 판단하는 추론 모델이 함께 연결됩니다. 여기에 검색 방식과 권한 체계, 업무 시스템 연계 구조까지 더해져 서비스마다 작동 방식이 달라집니다. 따라서 특정 모델의 벤치마크 점수만으로 서비스 전체의 품질을 판단하기는 어렵습니다.

서비스에서 발생하는 실패도 모델 성능표만으로는 잘 드러나지 않습니다. 질문과 관계없는 문서를 가져오거나, 최신 규정 대신 폐지된 규정을 근거로 제시하거나, 외부 시스템에 잘못된 값을 전달할 수 있습니다. 같은 모델을 사용하더라도 검색 기준과 업무 연결 방식을 어떻게 설계하느냐에 따라 결과는 달라집니다.

모델 성능은 부품의 시험성적서에 가깝습니다. 엔진이 아무리 좋아도 제동과 조향에 문제가 있으면 자동차를 도로에 내보낼 수 없듯이, 좋은 모델만으로 업무에 투입할 수 있는 AI 서비스가 완성되지는 않습니다. 평가해야 할 대상은 모델 하나가 아니라, 모델과 데이터·검색·시스템이 결합된 서비스 전체입니다.

순위표가 보여주지 않는 것

공개된 AI 평가 결과는 대부분 모델의 성능을 중심으로 구성되어 있습니다. 스탠퍼드 HAI의 「2026 AI 지수 보고서」도 주요 모델 개발사가 성능 벤치마크는 활발히 공개하는 반면, 안전성·공정성 등 책임성을 평가한 결과는 상대적, 제한적으로 공개한다고 지적합니다^[1]. 잘하는 정도는 비교할 수 있지만, 안전하게 사용할 수 있는지는 충분히 확인하기 어렵습니다.

모델 간 차이도 큽니다. 같은 보고서에서 최상위 모델 26종의 사실과 다른 내용을 생성하는 비율을 비교한 결과, 모델별 수치는 22%에서 94%까지 차이를 보였습니다^[1]. 모델을 선택하기 전에 직접 성능을 확인해야 하는 이유입니다.

다만 이 수치 역시 모델 수준의 평가입니다. 어떤 문서를 검색하는지, 최신 근거를 선택하는지, 답변이 근거에 충실한지, 외부 시스템에 정확한 값을 전달하는지까지 보여주지는 않습니다. 순위표는 좋은 모델을 찾는 출발점일 수 있지만, 업무에 투입할 AI 서비스를 결정하는 최종 근거가 될 수는 없습니다.

기존 소프트웨어 테스트로는 왜 안 되는가

기존 소프트웨어는 기대값과 실제 결과가 일치하는지 비교하면 품질을 확인할 수 있습니다. 그러나 생성형 AI는 같은 질문에도 답변이 달라질 수 있고, 표현은 달라도 의미가 맞을 수 있어 기존 테스트 방식을 그대로 적용하기 어렵습니다. 이유는 세 가지입니다.

• 정답이 하나가 아닙니다. 생성형 AI의 답변은 표현이 달라도 같은 의미를 전달할 수 있습니다. 반대로 문장이 자연스러워도 핵심 조건이나 예외를 빠뜨리면 잘못된 답이 될 수 있어, 문자열을 비교하는 방식만으로는 정확성을 판단하기 어렵습니다.
• 사람이 전부 검증하기 어렵습니다. 여러 서비스를 수백 개 문항으로 평가하면 확인해야 할 답변이 수천 건으로 늘어납니다. 사람의 수작업만으로는 시간과 비용에 한계가 있고, 평가자마다 같은 답변을 다르게 판단할 가능성도 있습니다.
• 합격 기준이 없습니다. 평가 점수를 산출하더라도 몇 점이면 서비스를 운영해도 되는지 정해져 있지 않으면 도입 판단으로 이어지기 어렵습니다. 생성형 AI 서비스에는 결함 건수와 심각도로 합격 여부를 판단하는 기존 소프트웨어식 기준을 그대로 적용하기도 어렵습니다.

따라서 생성형 AI 서비스를 평가하려면 답변의 특성을 반영한 지표와 일관된 평가 기준, 그리고 도입 여부를 판단할 수 있는 별도의 통과 기준이 필요합니다.

지금 쓸 수 있는 도구는 어디까지인가

AI 서비스를 평가하는 도구가 없는 것은 아닙니다. 검색 결과가 질문과 관련 있는지, 답변이 근거 문서에 충실한지, 응답 시간과 비용은 적정한지처럼 서비스의 개별 단계를 확인하는 지표와 도구는 이미 활용되고 있습니다.

하지만 개별 단계의 지표를 확인한다고 해서 서비스 전체의 도입 여부까지 판단할 수 있는 것은 아닙니다. 검색이 정확해도 개인정보가 노출될 수 있고, 답변이 근거에 충실해도 권한 없는 시스템 호출이 발생할 수 있습니다. 자체 점검표를 활용하는 방식 역시 평가자와 시점에 따라 결과가 달라질 수 있으며, 예·아니오 만으로는 서비스의 품질 수준이나 후보 간 차이를 충분히 보여주기 어렵습니다.

결국 현재의 도구는 서비스의 일부 기능과 운영 절차를 확인하는 데는 유용하지만, 서비스 전체가 업무와 규정의 요구를 충족하는지는 판단하지 못합니다. 필요한 것은 평가 도구 하나가 아니라, AI 서비스를 같은 기준으로 평가하고 도입 여부와 보완 과제까지 함께 제시하는 평가 체계입니다.

3. 무엇을 평가해야 하는가

“이 AI 서비스의 품질이 어느 정도입니까?” 회의 석상에서 가장 자주 나오는 질문입니다. 그런데 이 질문에 하나의 숫자로 답하려는 순간 평가의 핵심을 놓치게 됩니다. 품질이라는 한 단어 안에 성격이 전혀 다른 세 개의 질문이 섞여 있기 때문입니다.

• 이 답을 내보내도 되는가. 개인정보가 섞이지는 않았는지, 규정에 어긋나지 않는지, 근거를 밝혔는지. 반드시 지켜야 할 선에 관한 질문입니다.
• 사용자가 쓸 만한가. 정확한지, 빠뜨린 것은 없는지, 물어본 것에 답했는지, 앞뒤가 일관되는지. 사용자가 실제로 겪는 품질에 관한 질문입니다.
• 그 답의 근거가 튼튼한가. 관련 있는 문서를 제대로 찾아왔는지, 찾아온 문서에 충실하게 답했는지, 없는 내용을 지어내지는 않았는지. 답이 만들어진 과정에 관한 질문입니다.

이 셋은 서로를 대신하지 못합니다. 근거를 정확히 찾아왔다고 해서 개인정보 노출이 상쇄되지 않고, 문장이 매끄럽다고 해서 근거가 정확해지지도 않습니다. 그런데 하나의 평균에 섞으면 서로를 가립니다. 각 항목의 문제를 따로 확인해야 하는 이유가 여기에 있습니다.

세 계층 - 가치·원칙, 서비스 품질, 기술 측정

계층, 무엇을 보는가, 대표 항목을 보여주는 테이블

계층	무엇을 보는가	대표 항목
가치·원칙	반드시 지켜야 할 요건을 지켰는가	개인정보 보호, 규정 준수, 투명성, 설명 가능성
서비스 품질	사용자가 쓰기에 충분한가	정확도, 완전성, 사실성, 답변 관련성, 일관성
기술 측정	답이 만들어진 과정이 건강한가	검색 정밀도·재현율, 근거 충실성, 지어낸 내용 탐지, 무관 문서 강건성

[표 1] 세 계층이 각각 답하는 질문 (Claude 활용 제작)

가치·원칙 계층에서 무엇을 요건으로 볼지는 업종마다 달라집니다. 금융이라면 불완전판매 소지가 있는 답변, 공공이라면 잘못된 제도 안내와 공문서 형식, 의료라면 환자 정보와 임상 안전, 제조와 국방이라면 안전 규정과 정보 등급이 각각 여기에 해당합니다.

그런데 이 계층의 항목이 업종 규제에서만 나온 것은 아닙니다. 이 계층의 평가 항목은 업종별 규제뿐 아니라 AI 관련 국제표준과 위험관리 프레임워크가 제시하는 공통 기준에서도 도출됩니다^[4][5][6]. 이 기준들은 투명성, 안전성, 공정성, 보안성, 설명 가능성, 책임성처럼 AI 서비스 전반에 적용할 수 있는 기본 원칙을 제시합니다. 따라서 공통 기준을 기본으로 두고, 업종별 규제와 업무 특성에 따른 요건을 추가하는 방식으로 평가 체계를 구성할 수 있습니다^[7].

세 계층은 편의상 나눈 분류가 아닙니다. 가치·원칙, 서비스 품질, 기술 측정은 각각 지켜야 할 기준, 사용자가 체감하는 결과, 답변이 만들어지는 과정을 확인하는 서로 다른 평가 영역입니다. 어느 한 영역의 강점이 다른 영역의 결함을 보완할 수 없기 때문에, 하나의 종합 점수로 합치기보다 각 계층을 독립적으로 평가해야 합니다.

점수로 다룰 수 없는 항목이 있다

세 계층 가운데 가치·원칙 계층의 일부 항목은 점수가 아니라 통과 여부로 판단합니다. 이는 낯선 개념이 아닙니다. 금융에서 한도 위반이 실적으로 덮이지 않고, 제조에서 안전 규정 위반이 생산성으로 덮이지 않으며, 어떤 채용에서도 결격 사유는 뛰어난 경력으로 메워지지 않습니다. 넘지 말아야 할 선은 다른 장점으로 보완할 수 없습니다.

AI 서비스에서도 마찬가지입니다. 응답에 개인정보가 노출되었다면, 검색 정확도가 아무리 높고 문장이 아무리 매끄러워도 그 서비스는 통과시킬 수 없습니다. 그래서 이런 항목은 종합 점수에 합산하지 않고 별도의 통과 기준으로 먼저 확인합니다. 여기서 걸리면 나머지 점수는 보지 않습니다. 이때 “그 항목들은 누가 정했습니까”라는 질문을 생각해 보아야 합니다. 평가 항목의 출처와 선정 과정을 설명할 수 있어야 그 결과를 실제 판단의 근거로 활용할 수 있습니다.

4. 평가 결과를 어떻게 읽고 활용하는가

세 계층으로 나누는 것이 개념적으로 옳다는 말과, 실제로 나눠 보았을 때 다른 결과가 나타난다는 말은 다릅니다. 그래서 이 평가 체계를 여섯 개의 실제 서비스에 적용했습니다. 도입 검토 시 후보군에 오르는 세 갈래인 자체 구축형, 국내 상용 플랫폼, 해외 플랫폼을 모두 포함했으며, 결과는 익명 부호로만 표기합니다.

표를 읽는 방식부터 설명하겠습니다. 여섯 서비스를 비교하기 위해 세 계층을 두 묶음으로 정리했습니다. 가치·원칙 계층은 한쪽에, 서비스 품질 계층과 기술 측정 계층은 다른 한쪽에 묶었습니다. 규정과 안전을 지켰는지 확인하는 것과 답변이 실제로 쓸 만한지 확인하는 것은 평가 기준과 성격이 크게 다르기 때문입니다.

서비스(익명), 가치,원칙 계층, 서비스 품질+기술 측정 계층을 보여주는 테이블

서비스(익명)	가치·원칙 계층 (지켜야 할 선)	서비스 품질 + 기술 측정 계층 (답의 품질)
①	1위	1위	두 묶음 모두 상위
②	2위	6위	규정은 상위, 품질은 최하위
③	3위	2위
④	4위	3위
⑤	5위	4위
⑥	6위	5위

[표 2] 같은 서비스가 두 묶음에서 받은 순위 (Claude 활용 제작)

눈에 띄는 것은 ②번 서비스입니다. 지켜야 할 선을 보는 계층에서는 여섯 개 중 2위로 우수했지만, 답의 품질을 보는 계층에서는 꼴찌였습니다.

이 결과가 중요한 이유는 규정을 잘 갖추는 것과 실제로 믿을 만한 답을 만드는 것이 서로 다른 문제이기 때문입니다. 고지 문구와 정책 문서는 잘 정비되어 있지만 정작 답변의 근거가 부실한 서비스가 있을 수 있고, 그 반대의 경우도 가능합니다.

조직 입장에서 더 주의해야 할 대상은 ②번과 같은 서비스입니다. 규정 항목을 잘 갖춘 서비스는 검토 과정에서 신뢰를 얻기 쉽습니다. 그러나 그 신뢰가 답변의 정확성까지 보증하지는 않습니다. 세 계층을 하나의 종합 점수로 평균 내면 이 차이가 드러나지 않습니다. ②번은 종합 점수만 놓고 보면 중위권의 무난한 후보처럼 보일 수 있습니다.

가장 조심해야 할 유형

계층을 나누어 보면 또 하나의 위험한 유형이 드러납니다. 표현은 매끄럽지만, 근거가 부정확한 답변입니다. 서비스 품질 계층에서는 정확도와 사실성, 답변 관련성이 모두 기준을 넘지만, 기술 측정 계층에서 근거 충실성과 검색 정밀도가 기준에 미달하는 경우입니다.

금융이라면 잘못된 상품 설명이, 공공이라면 폐지된 제도의 안내가, 의료라면 개정 전 지침의 인용이 매끄러운 문장에 실려 나갑니다. 사용자가 오류를 알아차리기 어렵고, 그만큼 조직의 피해도 커질 수 있는 유형입니다. 이런 문제는 단일 점수로는 드러나기 어렵고, 세 계층을 나누어 살펴봐야 확인할 수 있습니다.

도입 여부는 네 가지로 판단한다

이 원칙을 실제 의사결정에 적용하면 판정은 네 가지로 나뉩니다. 먼저 통과 관문을 확인하고, 그다음 지표별 최소 기준을 살핀 뒤, 마지막으로 계층 사이에 큰 차이가 없는지 확인합니다.

판정, 어떤 경우인가, 어떻게 처리하는가의 정보를 보여주는 테이블

판정	어떤 경우인가	어떻게 처리하는가
적합	관문을 통과하고 모든 지표가 기준을 충족하며 계층 간 불균형도 없음	보완 없이 도입 가능
조건부	특정 항목이 기준에 미달 해당 항목	보완을 전제로 적합
검토 필요	점수는 나쁘지 않으나 계층 간 격차가 큼	추가 심층 검토
미통과	통과 관문을 넘지 못함	종합 점수와 무관하게 즉시 기각

[표 3] 도입 판정의 네 가지 결과 (Claude 활용 제작)

판정을 “된다”와 “안 된다”로만 나누지 않는 이유가 여기에 있습니다. 두 가지로만 구분하면 무엇을 보완해야 하는지, 어느 부분을 더 확인해야 하는지가 드러나지 않습니다. 네 가지로 나누면 부족한 부분과 다음 조치까지 함께 확인할 수 있습니다.

5. 어떻게 객관적으로 평가하는가

앞 장에서는 AI 서비스의 품질을 가치·원칙, 서비스 품질, 기술 측정의 세 계층으로 나누어 살펴보았습니다. 그러나 평가 항목을 정하는 것만으로는 충분하지 않습니다. 어떤 문항을 사용하고, 누가 어떤 기준으로 판단하는지에 따라 같은 서비스의 평가 결과가 달라질 수 있기 때문입니다.

앞 장에서 설명한 네 갈래 도입 판정은 이 평가 결과를 실제 의사결정으로 연결하는 역할을 합니다. 이번 장에서는 그 결과가 어떻게 만들어지는지 살펴봅니다.

평가 문항이 서비스의 차이를 드러내는가

상용 AI 서비스는 일반적인 질문에는 대부분 그럴듯하게 답합니다. 따라서 “문서를 요약해 주세요”와 같은 질문보다 서비스의 취약점과 품질 차이를 드러내는 위험 시나리오를 평가 문항으로 구성해야 합니다.

• 검색과 근거 충실성: 여러 문서의 내용을 함께 확인해야 답할 수 있는 질문을 사용합니다.
• 할루시네이션: 제공된 문서에 답이 없는 질문으로 근거 없이 내용을 만들어 내는지 확인합니다.
• 최신성: 개정 전후 규정이 함께 있는 질문으로 최신 문서를 선택하는지 확인합니다.
• 완전성: 답변에 반드시 포함해야 할 조건과 예외를 정해 누락 여부를 확인합니다.
• 다단계 업무 수행: 검색·판단·도구 호출·결과 정리가 이어지는 업무로 전체 수행 과정을 확인합니다.

각 문항이 무엇을 평가하는지와 적정 답변에 포함되어야 할 내용을 미리 정해 두어야 서비스별 결과를 같은 기준으로 비교할 수 있습니다.

주관적인 판단을 어떻게 줄일 것인가

생성형 AI의 품질은 답변과 근거를 함께 읽고 판단해야 하는 경우가 많아 사람의 평가가 필요합니다. 하지만 평가에 시간과 비용이 들고, 평가자마다 같은 답변을 다르게 판단할 수 있다는 한계가 있습니다.

이를 줄이려면 평가 문항, 기준 답안, 평가 기준과 평가 절차를 사전에 고정해야 합니다. 판단이 명확한 항목은 자동화하고, 해석이 필요하거나 평가자 간 의견이 엇갈리는 항목은 전문가가 재검토하는 방식으로 평가의 일관성을 높일 수 있습니다.

모델을 평가에 활용할 때 확인할 것

이 문제를 해결하기 위해 언어 모델을 평가자, 즉 모델 기반 평가자로 활용할 수 있습니다. 모델 기반 평가는 답변의 정확성이나 근거 충실성처럼 사람이 읽고 판단해야 하는 항목을 일정한 기준에 따라 반복 평가하는 데 유용합니다.

다만 모델이 평가한다고 해서 결과가 자동으로 객관적이 되는 것은 아닙니다. 평가 모델도 질문을 잘못 이해하거나, 그럴듯한 답변을 실제보다 높게 평가하거나, 특정 표현 방식에 편향될 수 있습니다. 평가자를 도입하는 것보다 중요한 것은 평가자가 어떤 기준과 자료를 바탕으로 판단하는지 통제하는 일입니다.

실제 연구에서도 모델 평가자의 판단이 사람의 선호와 80% 이상 일치하고, 사람 평가자 사이의 일치 수준과 비슷하게 나타난 사례가 보고되었습니다^[10]. 모델 기반 평가의 장점은 대규모 답변을 반복해서 같은 방식으로 검토할 수 있다는 데 있습니다. 특히 모델과 프롬프트를 동일하게 유지하면 평가 시점이 달라져도 결과를 비교하기 쉽습니다.

하지만 특정 모델이나 특정 공급사의 서비스에만 의존하면 편향이 생길 수 있습니다. 이번 실측에서도 평가 모델이 같은 회사의 서비스에 상대적으로 높은 점수를 준 사례가 나타났습니다. 따라서 평가 모델을 하나만 사용하기보다 서로 다른 회사의 모델을 함께 사용하고, 판단이 크게 엇갈리는 사례는 사람 전문가가 다시 확인하는 방식이 필요합니다. 여러 회사의 모델을 함께 사용한 평가단이 단일 모델보다 사람의 판단에 가까운 결과를 보였다는 연구도 있습니다^[11].

같은 조건에서 다시 확인할 수 있어야 한다

마지막으로 필요한 것은 재현성입니다. 사업자가 평가 결과에 이의를 제기하거나, 감사 과정에서 평가 경위를 확인하거나, 시간이 지난 뒤 개선 효과를 비교하려면 같은 조건에서 다시 평가할 수 있어야 합니다.

이를 위해서는 평가과정의 무작위성을 줄이고, 사용한 모델의 버전과 프롬프트, 검색 데이터, 평가 문항과 실행 조건을 기록해 두어야 합니다. 원본 답변과 평가결과뿐 아니라 각 점수가 어떤 근거로 산출되었는지도 함께 보관해야 합니다. 이 기록이 없으면 결과가 달라졌을 때 무엇이 원인인지 확인하기 어렵습니다. 모델이 바뀐 것인지, 데이터가 업데이트된 것인지, 평가 조건이 달라진 것인지, 서비스가 실제로 개선된 것인지 구분할 수 없기 때문입니다.

6. 우리 업종에는 어떻게 적용하는가

이 평가 체계는 특정 업종에만 적용되는 구조가 아닙니다. 기술 측정 계층은 업종과 관계없이 공통으로 적용하고, 가치·원칙과 서비스 품질 계층은 업무의 위험과 규제, 결과물의 형식에 맞춰 조정합니다.

교체 요소, 공통(전 업종), 공공, 국방, 금융, 제조, 의료 정보를 보여주는 테이블

교체 요소	공통(전 업종)	공공	국방	금융	제조	의료
통과 관문	개인정보 보호, AI 관련 기본 법제	공문서·행정 관련 법제	보안 등급·기밀 관리 규정	소비자 보호, 불완전판매 방지	안전·품질 관리 규정	환자 안전, 의료기기 관련 규제
가치 계층 항목	개인정보 보호, AI 윤리	공문서 형식, 투명성	정보 등급 준수, 이력 추적	소비자 보호, 공시	작업 안전, 규격 준수	임상 안전, 설명 의무
품질 계층 기준	서비스 품질 기본형	공문서 형식	보고 체계 형식	금융 보고서 형식	작업표준·지시서 형식	임상 기록 기준

[표 4] 업종별로 조정 요소 (예시) (Claude 활용 제작)

기술 측정은 업종과 관계없이 검색 정밀도·재현율, 근거 충실성, 할루시네이션, 도구 호출 정확성 등을 공통으로 확인합니다. 업종별로 달라지는 것은 무엇을 반드시 지켜야 하는지와 어떤 답변을 업무에 충분한 것으로 볼지입니다. 따라서 새로운 업종에 적용할 때 평가 체계를 처음부터 다시 만들기보다, 공통 기술 지표는 유지하고 통과 관문과 서비스 품질 기준을 조정하면 됩니다.

7. 왜 사전 진단부터 시작해야 하는가

AI 서비스의 품질은 대개 구축이 끝난 뒤에야 확인됩니다. 그러나 검수 단계에서 품질 기준을 충족하지 못한 사실이 드러나면 재개발로 비용과 일정이 늘어나거나, 문제를 안은 채 운영을 시작해야 합니다. 따라서 서비스를 선택하기 전에 업무에 필요한 품질 수준과 현재 환경에서의 구현 가능성을 먼저 확인해야 합니다.

좋은 AI를 고르기 전에 확인해야 할 것

도입 전에는 다음 세 가지를 먼저 확인해야 합니다.

• 문서와 데이터가 준비되어 있는가: AI가 참고할 문서의 최신성, 구조, 개정 이력과 접근 권한이 정리되어 있어야 합니다.
• 현재 시스템 환경에서 구현할 수 있는가: 보안 정책, 데이터 접근 권한, 응답 시간, 외부 시스템 연계 범위를 확인해야 합니다.
• 업무에서 반드시 지켜야 할 기준은 무엇인가: 규정 해석, 개인정보 보호, 안전, 문서 형식 등 업무의 위험에 따라 우선 평가할 항목을 정해야 합니다.

이 세 가지가 정리되어야 모델의 일반적인 성능이 아니라 우리 업무에 필요한 기준으로 AI 서비스를 비교할 수 있습니다.

측정에서 개선까지 이어지는 평가 절차

평가는 한 번의 점검으로 끝내기보다 사전 진단부터 재측정까지 이어지는 절차로 관리해야 합니다.

• 사전 진단 — 문서의 상태, 현재 환경에서 달성 가능한 수준, 업무상 우선적으로 확인해야 할 지표를 파악합니다.
• 기준 수립 — 어떤 지표를 평가할지, 지표별 비중은 어떻게 둘지, 통과 관문과 합격 기준은 무엇으로 할지를 정합니다.
• 평가 실행 — 서비스 간 차이가 드러나는 문항을 설계하고, 서로 다른 회사의 평가 모델을 활용해 계층별 점수와 도입 판정을 산출합니다.
• 개선과 재측정 — 기준에 미달한 지표의 원인을 확인하고 개선한 뒤, 같은 문항과 기준으로 다시 평가해 변화 여부를 확인합니다.

출발점은 조직의 상황에 따라 다를 수 있습니다. 아직 도입 전이라면 사전 진단부터 시작하고, 이미 운영 중이라면 현재 수준을 먼저 측정해야 합니다. 여러 후보를 비교하는 단계라면 동일한 조건에서 비교 평가를 진행할 수 있습니다. 어느 단계에서 시작하더라도 같은 기준과 척도를 유지해야 합니다. 단계마다 다른 기준을 적용하면 이전 평가와 이후 평가를 비교하기 어렵고, 개선 여부도 확인할 수 없습니다.

혼자 풀기 어려운 문제들

AI 서비스 평가에는 모든 조직에 그대로 적용할 수 있는 표준 해답이 없습니다. 같은 서비스라도 처리하는 문서와 업무의 위험, 필요한 답변 수준이 다르기 때문에 어떤 문항과 지표를 사용할지, 어느 수준을 합격선으로 삼을지는 조직이 직접 정해야 합니다. 결국 평가 체계를 갖추는 일은 도구를 선택하는 것보다 우리 업무에 맞는 기준을 세우는 일에 가깝습니다.

맺으며 - 측정할 수 있어야 맡길 수 있다

AI를 어디까지 맡길 수 있는지 판단하려면 지켜야 할 원칙, 사용자가 체감하는 서비스 품질, 답변이 만들어지는 기술적 과정을 나누어 확인해야 합니다. 이를 도입 전에 사전 진단하고, 업무에 맞는 평가 기준을 정한 뒤, 같은 조건에서 반복해 측정해야 개선 여부와 도입 가능성을 판단할 수 있습니다. 좋은 모델을 고르는 것만으로는 충분하지 않습니다. 무엇을 확인했는지 설명할 수 있을 때, 비로소 AI에게 일을 맡길 수 있습니다.

※ 해당 콘텐츠는 AI를 활용하여 제작되었습니다.
원고 작성 및 톤앤 매너 보정 : Claude

References

• Stanford Institute for Human-Centered Artificial Intelligence. (2026). The 2026 AI index report: Chapter 3. Responsible AI. Stanford University. https://hai.stanford.edu/ai-index/2026-ai-index-report/responsible-ai
• 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 법률 제21311호 (2026. 1. 20. 일부개정, 2026. 1. 22. 시행; 일부 조항 2026. 7. 21. 시행). https://www.law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EB%B0%9C%EC%A0%84%EA%B3%BC%EC%8B%A0%EB%A2%B0%EA%B8%B0%EB%B0%98%EC%A1%B0%EC%84%B1%EB%93%B1%EC%97%90%EA%B4%80%ED%95%9C%EA%B8%B0%EB%B3%B8%EB%B2%95
• 인공지능 및 데이터 기반 행정 활성화에 관한 법률, 법률 제21392호 (2026. 2. 27. 일부개정, 2026. 8. 28. 시행). https://www.law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EB%B0%8F%EB%8D%B0%EC%9D%B4%ED%84%B0%EA%B8%B0%EB%B0%98%ED%96%89%EC%A0%95%ED%99%9C%EC%84%B1%ED%99%94%EC%97%90%EA%B4%80%ED%95%9C%EB%B2%95%EB%A5%A0
• National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0) (NIST AI 100-1). U.S. Department of Commerce. https://doi.org/10.6028/NIST.AI.100-1
• International Organization for Standardization & International Electrotechnical Commission. (2023). Information technology - Artificial intelligence - Management system (ISO/IEC 42001:2023). https://www.iso.org/standard/81230.html
• International Organization for Standardization & International Electrotechnical Commission. (2020). Information technology - Artificial intelligence - Overview of trustworthiness in artificial intelligence (ISO/IEC TR 24028:2020). https://www.iso.org/standard/77608.html
• Moon, B.-S., & Leem, C.-S. (2026). An integrated evidence-based literature review for deriving quality evaluation metrics of public-sector retrieval-augmented generation services. Journal of Next-generation Convergence Technology Association, 10(6), 1567-1584.
• International Organization for Standardization & International Electrotechnical Commission. (2023). Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model (ISO/IEC 25010:2023). https://www.iso.org/standard/78176.html
• Karpinska, M., Akoury, N., & Iyyer, M. (2021). The perils of using Mechanical Turk to evaluate open-ended text generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (pp. 1265-1285). Association for Computational Linguistics. https://aclanthology.org/2021.emnlp-main.97/
• Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., & Stoica, I. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. In Advances in Neural Information Processing Systems 36: Datasets and Benchmarks Track. https://papers.nips.cc/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
• Verga, P., Hofstatter, S., Althammer, S., Su, Y., Piktus, A., Arkhangorodsky, A., Xu, M., White, N., & Lewis, P. (2024). Replacing judges with juries: Evaluating LLM generations with a panel of diverse models. arXiv. https://arxiv.org/abs/2404.18796
• 국회입법조사처. (2026). 인공지능 및 데이터 기반 행정 활성화에 관한 법률 시행, 실효성 확보를 위해 무엇이 더 필요한가? (이슈와 논점). 국회입법조사처. https://www.nars.go.kr/

※ 법령의 명칭·시행일·세부 요건은 확인 시점에 따라 달라질 수 있습니다.

FAQ