AI 서비스에 무슨 위험이 있는가?
『인공지능 발전과 신뢰 기반 조성 등에 관한 기본법』(AI 기본법)이 시행됨에 따라 AI 위험에 대한 관심이 높아지고 있습니다. AI 위험은 AI 기술을 활용하여 제품 또는 서비스를 구현하였을 때 발생할 수 있는 피해(harm)의 발생 가능성과 그 심각도의 함수로 정의할 수 있습니다[1]. 아래 [그림 1]은 공신력 있는 몇몇 정부 및 공공기관의 문헌을 참고해서 AI 시스템이 개인과 공동체를 대상으로 어떤 영역에 피해를 끼칠 수 있는지 재구성한 사례입니다. 필자의 컨설팅 경험을 예시로 들면 이러한 대표적인 피해의 발생 가능성과 위험 요인으로 금융사의 AI 서비스를 고위험, 중위험, 저위험의 3단계로 평가했을 경우 약 5% 정도의 AI 서비스는 위험의 수준이 상대적으로 높은 고위험 서비스에 해당할 수 있다고 판단하였습니다. 즉, AI 서비스가 개인의 기본권에 해를 끼치거나 법률 위반, 편파적 의사결정을 내릴 가능성과 실제로 발생하는 경우 피해의 수준이 높다는 의미입니다.
[그림 1] AI 침해로부터 보호 대상
| AI 위험 참고 | AI 침해로부터 보호해야 할 가치 | AI 침해 대상 | 개인/공동체 | 조직 |
| 해외 | DPC* AI Paper (OECD) *Digital Policy Committee | 사람의 건강 | ○ | |
| 핵심 사회 인프라 | ○ | |||
| 인권과 법률 | ○ | |||
| 재산권 | ○ | ○ | ||
| 공동체/환경 | ○ | |||
| AI RMF(NIST) | 시민의 자유와 권리 | ○ | ||
| 경제적 기회 | ○ | |||
| 보안 | ○ | |||
| 글로벌 금융 공급망 | ○ | ○ | ||
| 명성(reputation) | ○ | ○ | ||
| 신체적/심리적 안전 | ○ | |||
| 민주적 참여 | ○ | |||
| 자연 자원,환경 | ○ | |||
| Algorithmic Impact Assess. tool(Gov. of Canada) | 개인 또는 공동체 권리 | ○ | ||
| 평등과 존엄, 자율성 | ○ | |||
| 사생활 | ○ | |||
| 개인, 단체, 지역사회의 경제적 이익 | ○ | ○ | ||
| 생태계 지속가능성 | ○ | |||
| 국내 | 금융분야 AI 개발활용안내서 (금융위) | 자유,안전 | ○ | |
| 공정성 | ○ | |||
| 재산권(권익) | ○ | ○ | ||
| 법률 준수 | ○ | ○ | ||
| 사람의 통제 | ○ | ○ |
어느 조직이 주도할 것인가?
AI 서비스를 개발하거나 제공하는 사업자 일부는 AI 시스템의 위험이 실제 사고로 이어지는 것을 예방하기 위해 선제적인 안전조치를 마련해 왔습니다. 사업자가 마련하는 일련의 안전조치가 자율적인 원칙과 규정을 수립하고, AI 기술로 인한 위험을 인식하고 평가할 수 있는 구체적인 체계와, 담당 조직과 구성원의 역할을 정의하는 등 포괄적인 내부통제를 수립하는 경우 이것을 AI Governance(거버넌스)라고 합니다.
AI 거버넌스 담당 조직은 AI 거버넌스에 관한 의사결정기구와 운영조직을 의미합니다. 그런데, AI 거버넌스가 아직 수립되지 않은 사업자가 애초에 거버넌스 체계를 도입하려고 할 때에는 어느 조직이 담당할 것인가에 대해서도 논란이 있을 수 있습니다. 국내외 금융사 사례를 보면 [그림 2]와 같이 디지털 기획을 담당하는 조직이 AI 거버넌스 수립의 기획·운영을 주도하는 사례가 많았습니다. AI는 DX(Digital Transformation)의 핵심 도구로 부상하였습니다. 따라서 AI를 포함한 디지털 기술 활용에 전문성을 가지고 있는 조직이 거버넌스의 수립을 주도하는 것은 일리가 있어 보입니다. 다만 기획을 담당하는 부서가 추후에 AI 거버넌스 운영을 담당하거나, AI 시스템을 개발·운영하는 조직이 내부통제도 담당하는 것은 이해 상충의 문제가 있습니다. 따라서, AI 거버넌스 체계가 수립되고 난 이후에는 AI 시스템의 기획·개발·운영과 분리된 별도의 전담 조직을 설치하는 것이 바람직합니다.
이와 관련하여 최근 발표된 고영향 AI 사업자 책무 가이드라인(안)[2]이나 금융 분야 AI 가이드라인(안)은 AI 위험 관리 조직을 기술, 법률, 윤리 등 다양한 전문가로 구성하도록 노력하고 기획 개발 업무와 분리하여 독립성을 최대한 확보하도록 권고하고 있습니다[3].
[그림 2] AI 거버넌스 담당 조직
국내
삼성SDS가 컨설팅을 수행한 12개 기업 대상
디지털 기획/전략 부문 중심
- 디지털 기획 - 83%
- 정보보호 등 - 9%
- IT 기획 등 - 8%
해외
글로벌 100대 금융기관 중 AI 거버넌스 조직이 확인되는 22개사 조사(2024)
리스크 담당조직 참여 증가
- 실행 조직 - 45%
- 하이브리드 - 23%
- 리스크 조직 - 32%
AI 거버넌스 수립이 시급한 과제인가?
국내에서 금융사, 특히 은행은 AI 거버넌스 체계 수립을 가장 빠르게 추진했던 업종입니다. 감독기관이 관련 가이드라인을 공개하면서 자율규제를 수립할 것을 장려한 측면도 있지만, 국내 시중은행은 AI 은행원 도입 사례와 같이 AI 기술을 활발하게 사용하면서 내부 역량도 장시간 축적해 온 AI 활용의 선도 업종입니다. 따라서, AI 거버넌스 수립을 통해 AI에 특화된 사고로 인한 고객 피해를 예방하자는 경영진의 공감대도 빠르게 형성된 것으로 보입니다. 이제 다른 업종도 AI 거버넌스 수립을 적극 서둘러야 할 시점인데요, 무엇보다도 1) 규제 측면에서 AI 기본법이 2026년 1월부터 시행되고 2) 기술 측면에서 끊임없이 고도화된 모델과 응용 기술이 등장하면서 위험 통제를 위한 고려사항도 증가하고 있기 때문입니다. 더 복잡한 서비스와 기술이 적용된다면 향후에 소급하여 안전성을 확보하기는 더욱 어려워질 것입니다. [그림 3]은 최근 5년간 AI 활용에 대한 규제와 가이드라인이 공개된 추이와 생성형 AI 관련 새로운 기술이 등장했던 일부 일정을 비교해서 보여주고 있습니다.
[그림 3] 생성형 AI 기술의 발전과 AI 가이드라인
AI 기술의 변화
- '22.11 - OpenAI GPT-3.5
- '23.11 - 삼성 가우스
- '24.04 - 메타 라마4
- '24.11 - 엔트로픽 MCP
- '25.01 - 딥시크
- '25.03 - OpenAI GPT-4.5
- '25.08 - OpenAI GPT-5
AI 규제의 변화
- '21.07 - 금융분야 AI 가이드라인(금융위원회)
- '22.08 - 금융분야 AI 개발/활용 안내서(금융위원회)
- '23.04 - 금융분야 AI 보안 가이드라인(금융보안원)
- '23.09 - 개인정보 보호법 2차 개정(개인정보위)
- '23.12 - 생성형 AI 윤리 가이드북(한국지능정보 사회진흥원(NIA))
- '25.08 - 생성형 AI 개발/활용을 위한 개인정보 처리 안내서(개인정보위)
- '25.09 - 인공지능 기본법 시행령 공개(과기정통부)
- '26.01 - 인공지능 기본법 시행(과기정통부)
생성형 AI 시대로 진입하며 AI 리스크는 증가
생성형 AI 기술이 초래한 새로운 위험
생성형 AI로 인해 예측과 분류에 주로 활용해 오던 전통적인 ML 모델에서 볼 수 없었던 새로운 위험이 등장하고 있습니다. [그림 4]에서와 같이 사이버 보안의 취약점을 악용해서 금융 범죄나 시세 조작을 한다거나, 외부에서 도입한 모델을 활용하는 과정에 학습 데이터부터 내재한 문제가 개인에 대한 편견이나 불평등한 결과를 표출한다거나, Agentic AI의 활용으로 인해 AI 시스템의 자율성이 고도화되면서 연쇄적인 오작동과 통제 실패로 인해 시장에 혼란을 유발하는 등의 피해가 발생할 수 있습니다. 국내 규제만 고려해서 AI 시스템을 개발하는 경우 다른 국가의 AI 규제법이나 데이터 관련 규제법을 위반해서 제재를 받을 수도 있습니다. 현재 특정 모델이나 서비스와 관련된 소송도 잘 알려진 것만 해도 여러 건이기 때문에 AI 서비스가 시장에서 지속하기를 바란다면 고려할 사항이 한두 가지가 아닙니다.
[그림 4] 생성형 AI로 인한 위험
생성형 AI 기술 발전, 위험관리에 새로운 도전
사이버보안/악용 - 한국금융연구원('24.3)
- 금융범죄나 시세조작 등에 악용
- 생성형 AI의 학습 데이터에 악의적인 정보 주입으로 알고리즘 조작
오작동/도미노 - 자본시장연구원('24.6)
- 생성형 AI 알고리즘 오작동 발생 시 금융 시스템이 혼란에 빠질 리스크 증대
- 생성형 AI 트레이딩 알고리즘 공개 시 금융 쏠림이 나타날 개연성
규제 불확실성 - IOSCO('25.3)
- 많은 국가에서 "AI도 기존 금융 법규와 감독원칙하에 관리 가능하다"는 입장
- 그러나 많은 소송이 아직 진행 중
초거대 모델의 통제,불투명 - OECD('23.12)
- 편견,불공정 악화
- 데이터 관련 위험(데이터 품질, 개인정보 보호, 지재권 등)
AI 위험 관리를 위한 두 가지 접근 방법
AI 거버넌스는 이상에서 예시로 든 잠재적 위험을 예방하기 위해서 취하는 노력인데요, 효과적인 위험 통제를 위한 두 가지 접근 방법을 고려할 수 있습니다. 제도적·절차적 통제 방법이 있고, 기술과 도구를 활용하는 방법이 있습니다. 산업별로 정부의 담당 주무 부처가 규제나 가이드라인을 발표하는 경우에는 그에 준해서 사업자가 AI 윤리 기준과 위험 관리 규정을 수립하고, 세부적인 프로세스와 부서와 담당자의 역할과 책임을 정의하는 등의 자체적인 제도적·절차적 통제를 수립하는 것이 우선적 조치가 될 수 있었습니다. 앞에서 예를 들었던 것처럼 감독기관의 가이드라인 및 안내서가 배포된 이후로 금융사가 AI 거버넌스 체계를 수립했던 것은 이런 접근 방법을 취해 왔다고 간주할 수 있습니다. 그런데 절차적 통제만을 가지고는 관리에 누수가 발생하거나 과도한 통제로 인한 비용이 급격히 증가할 우려가 있습니다.
[그림 5] AI 거버넌스 수립 접근 방법
1. 제도적/절차적 통제
AI 윤리기준/AI위험관리 규정 - AI 윤리위원회 운영지침, AI 위험관리 정책
절차적 AI 거버넌스 - 부서R&R, 윤리교육, 산출물, 프로세스
2. 기술과 도구를 활용
따라서, 기술과 도구를 활용하는 접근 방법을 병행하여 효율적으로 위험을 경감시킬 필요가 있습니다. 위험을 경감시키는 방법 중에서 기본은 AI 시스템을 이관하기 전에 충분한 검증을 거치는 것입니다. 그런데 AI 모델 개발은 통상 수백 번, 수천 번 이상의 반복 수행을 통해서 가장 좋은 결과를 선택하므로 그때마다 안전성 점검을 수작업으로 할 수 없고, 근거 문서도 일일이 다 작성하기에는 많은 시간이 소요될 수 있으므로 도구를 활용하여 자동화할 수 있다면 그렇게 하는 것이 바람직하겠습니다. 다만, 도구를 활용하더라도 모든 유형의 AI 시스템을 다 자동화하거나 통제할 수 없는 것이 현실적인 한계라서 이 두 가지 접근 방법을 균형 있게 활용할 필요가 있습니다.
AI 위험 관리 방법의 한계
[그림 6]에서 보는 것처럼, 전통적 ML 모델을 신용평가나 챗봇 등의 서비스에 적용하는 경우 PSI, K-S 등 AI 서비스의 성능, 공정성, 설명가능성 등을 측정할 수 있는 다양한 지표들이 소개되어 실무에 활용해 왔습니다. 하지만 생성형 AI는 이러한 전통적인 측정 방법으로는 검증하는 데 한계가 있습니다. 왜냐하면, 전통적인 ML 모델처럼 결과물의 정확도가 정답, 오답 또는 확률값으로 산출되지 않고, 또 입력한 프롬프트가 같더라도 생성물이 일정하게 유지되지 않습니다. 인과관계도 블랙박스처럼 불투명해서 결과물이 산출된 근본적인 원인을 추적하기가 매우 어렵습니다.
[그림 6] 전통적 ML 모델과 생성형 AI의 신뢰성 검증
전통적 ML
AI 서비스 - 신용평가, 챗봇, OCR, 상품추천
PSI(신용등급 기준), AUROC, K-S, AR → 성능
PSI(차별금지요소 기준), 라벨링 편향성, Fairmess Tree → 공정성
원인정확도, 합리적 설명, 설명일관성 → 설명가능성
검증 가능한 기법과 Tool이 축적
생성형 AI
- 출력이 개방형(Open-ended). 비정형
- 정답이 일정하지 않아 품질 평가가 어렵고 주관이 개입
- 편향성, 위험한 답변 노출 등이 프롬프트의 맥락에 유동적
- 수십억 이상의 파라미터를 통한 확률적 언어 모델이라 인과관계 해석이 불투명
새로운 위험에 대한 대안은 부족
생성형 AI의 신뢰성 검증과 관련하여 Trustworthiness in LLM이라는 주목할 만한 연구 결과가 공개되었습니다[4]. [그림 7]에서와 같이 LLM 모델의 신뢰성 검증을 위해 6개 영역 16개 부문을 30개 이상의 데이터 세트로 검증할 수 있는 프레임워크를 수립하고 참고 데이터를 함께 공개하였습니다.
[그림 7] 생성형 AI 신뢰성 검증 관련 연구 사례
Trustworthiness in LLMs
Transparency
- Truthful-ness : Internal Knowledge / External Knowledge / Hallucination / Persona Sycophancy / Perference Sycophancy / Adversarial Factuality
- Safety : Jailbreak / Toxicity / Misuse / Exaggerated Safety
- faimess : Stereotype 1 / Stereotype 2 / Stereotype 3 / Disparagement(Sex) / Disparagement(Race) / Preference
Accountability
- Robust-ness : Natural Noise / OOD Detection / OCD Generalization
- Privacy : Privacy Awareness 1 / Privacy Awareness 2 / Privacy Awareness 3 / Privacy Leakage 1 / Privacy Leakage 2 / Privacy Leakage 3
- Machine Ethics : Explicit Ethics(Social Norm) / Explicit Ethics(Ethics) / Implicit Ethics(Low-Ambiguity) / Implicit Ethics(High-Ambiguity) / Emotional Awareness
45개의 연구 기관이 협업하여 8개의 신뢰성 평가 항목을 바탕으로 8개 중 6개의 평가 항목에 대한 벤치마크 제공 (Yue Huanget al. 2024)
국내에서는 생성형 AI 플랫폼을 개발하는 대표적인 사업자인 삼성SDS도 LLM 모델을 활용한 서비스가 유발할 수 있는 위험에 대해서 심각하게 인지하고 기술적인 연구와 예방조치를 취하고 있습니다. 삼성SDS는 AI 플랫폼 개발뿐 아니라 분석형 ML 모델 및 AI Agent 설계 컨설팅도 병행해 온 오랜 경험이 있기 때문에 생성형 AI 기술의 상용화 시점에 맞추어 신뢰성 가드레일을 개발하고 레드팀 운영 방안도 연구해 왔습니다. 생성형 AI 플랫폼인 FabriX[5]는 인풋 가드레일과 아웃풋 가드레일을 동시에 제공하는데 이 가드레일은 개인정보 보호부터 Jailbreak와 같은 악의적 프롬프팅과 유해 결과물을 탐지하게 됩니다.
[그림 8] 생성형 AI 플랫폼 FabriX 가드레일 예시
LLM Safety Guaradrail 필터링 기능
사용자 - 사용자 인증 - Prompt 질의 - Guardrail(Input Guard 필터링 - Prompt Guard 필터링 - Safe Request - Response Guard 필터링) - safe Response - 사용자 or 결과정장(질의결과, 차단사유)
입/출력 프롬프트의 내용을 분석하여 적대적 공겨의도 프롬프트 차단
AI 플랫폼과 AI 거버넌스 플랫폼
플랫폼은 여러 솔루션이나 서비스가 유기적으로 동작할 수 있도록 지원하는 기반 환경입니다. AI 플랫폼의 경우에는 API, 포탈, 스튜디오, 여러 개의 LLM을 동작할 수 있는 오케스트레이터가 있어서 AI 모델 개발과 관련한 다양한 이해관계자들이 협업하고 새로운 기술은 플랫폼에 수용하면서 활용할 수 있습니다.
필자는 AI 기술이 빠르게 발전하고 새로운 위험이 계속 등장하는 데 대응하여 AI 위험 관리도 기술과 도구를 활용하는 접근이 반드시 필요하므로 AI 거버넌스 플랫폼을 구축할 것을 제안합니다. 앞 단락에서 AI 리스크 통제를 위해서는 절차적 통제와 도구의 활용을 모두 활용하는 통합적 접근이 가능하다고 기술하였는데 이런 통합적 접근 방법을 가장 효율적으로 구현할 수 있는 방법이 AI 거버넌스 플랫폼입니다. AI 거버넌스 플랫폼은 제도적·절차적 통제를 포탈로 구현하고 사업자가 개발·운영하고 있는 모든 AI 시스템의 수명주기별 위험 상태를 한눈에 볼 수 있는 대시보드를 통해 통제 수준을 확인할 수 있습니다. 또한, 자동화된 레드팀을 장착하여 LLM 모델과 AI Agent에 잠재된 위험을 AI가 제작하거나, 최신의 오픈소스를 활용한 검증용(공격용) 프롬프트로 점검하거나, 할루시네이션의 자동 감지 및 교정 기능과 같은 기능을 탑재하여 기술과 도구를 활용한 통제라는 거버넌스 접근 방법을 균형 있게 적용할 수 있는 장점이 있습니다.
플랫폼 도입 시 고려사항
AI 거버넌스 플랫폼이 제공해야 할 기본요건을 정리해 보겠습니다. 먼저, AI 거버넌스 플랫폼은 현행 규제를 준수할 수 있는 기능을 확보할 필요가 있습니다. 법·규제를 준수하는 것이 내부통제의 기본이기 때문입니다. 특히 AI 서비스가 제공되는 현지 국가의 규제를 준수하며 내부통제 부서나 감독기관의 요청 시에 감사 자료를 제공할 수 있어야 합니다. 다음으로는 실무 활용 용이성입니다. AI 시스템의 안전성을 평가할 수 있는 주요 점검 항목은 배포 전에 확인해야 하는 데 사업자가 활용하는 유형의 모델을 검증하기 위한 기능은 최대한 확보하여 추가적인 투자를 최소화해야 합니다. 끝으로, 위험이 현실화할 수 있는 가능성을 빠르게 판단하여 조치를 내릴 수 있는 의사결정 지원 정보가 제공되어야 합니다. ([그림 9] 참고)
[그림 9] AI 거버넌스 플랫폼 도입 시 고려사항
| 고려사항 | 수행활동 | Point |
| 규제 준수 |
|
|
| 실무 운영지원 |
|
|
| 의사결정 지원 |
|
|
AI 거버넌스와 AI 거버넌스 플랫폼을 도입할 때 고려사항을 정리해 보겠습니다. 이미 자체적으로나 외부 전문가 컨설팅을 통해서 제도적·절차적 통제 방안을 수립한 사업자가 있을 것입니다. 그중에 일부는 생성형 AI 플랫폼 도입도 완료하였을 것입니다. 만약 AI 거버넌스를 수립하고 생성형 AI 플랫폼도 도입하였다면 생성형 AI에 대해서는 기술과 도구의 활용이라는 측면에서 거버넌스가 적용되었을 가능성이 있습니다. 최근에 출시되는 생성형 AI 플랫폼은 가드레일이나 설명 가능한 AI 기술(xAI)을 탑재하고 있기 때문입니다. 이 경우 추가 솔루션 도입을 통해 거버넌스 프로세스의 자동화 영역을 더 확대하는 방안을 선택할 수 있습니다.
다음으로 거버넌스 수립을 하지 않고 최신 AI 플랫폼을 도입한 경우라면 이와 같은 이유로 일부 거버넌스 기능을 구현했다고 할 수 있습니다. AI 거버넌스 수립만 완료한 경우라면 수립된 통제 체계가 효율적으로 운영될 수 있도록 AI 거버넌스 플랫폼 도입을 검토할 시점이라고 할 수 있겠습니다. 만약 AI 거버넌스 수립도 플랫폼 도입도 진행되지 않은 상태라면 경험 많은 전문가 및 플랫폼 사업자와 협력하여 업종과 비즈니스 특성에 부합하는 AI 거버넌스 체계를 구축하는 것을 제안하며 이 글을 마치겠습니다.
[그림 10] 생성형 AI 대책 우선순위
| 진행단계(AI거버넌스 수립 + AI(거버넌스) 플랫폼 도입) | 유형별 추진 방안 | Key Feature |
| 완료 + 일부 완료 *Gen. AI 플랫폼 도입 | Gen AI. 플랫폼 연계 및 솔루션 도입 |
|
| 미완료 + 일부 완료 *AI 플랫폼 도입 | 플랫폼 적용 요건 AI 거버넌스 체계 반영 |
|
| 완료 + 미완료 | AI 거버넌스 체계 시스템화 |
|
| 미완료 + 미완료 | 컨설팅과 플랫폼 구축을 병행 추진 |
|
References
- OECD. 2024. Defining AI incidents and related terms. Technical report, Organisation for Economic Co-operation and Development.
- 과학기술정보통신부. 『고영향 AI 사업자 책무 가이드라인(안)』. AI기본법 하위법령집. 2025. 9.
- 금융위원회. 『인공지능 대전환(AX), 금융이 선도하겠습니다』. 보도자료. 2025. 12.
- Huang, Y., Sun, L., Wang, H., Wu, S., Zhang, Q., Li, Y., ... & Zhao, Y.(2024). Trustllm: Trustworthiness in large language models.
※ 본 리포트는 2025년 9월 삼성SDS Real Summit 2025에서 발표한 내용을 재구성한 것입니다.
조남용 | 삼성SDS 금융컨설팅팀
기업 고객 대상으로 AX 전략 수립 및 실행, AI 거버넌스 컨설팅을 담당하고 있습니다. 국내 금융사 최초의 AI 거버넌스 체계 수립 컨설팅을 리딩하였으며, 이후 10개 이상의 기업을 대상으로 AI 윤리 기준 수립, 조직 구성, 프로세스 설계, 평가·검증 매뉴얼 제작을 지원해 왔습니다. AI 신뢰성 얼라이언스 멤버로서 인증 체계 개선과 확산을 위해서도 노력하고 있습니다.
정유진 | 삼성SDS 금융컨설팅팀
AX(AI Transformation) 및 AI 거버넌스 컨설팅을 담당하고 있습니다. 기업의 안전하고 유익한 AI 활용을 위해 AI 거버넌스 플랫폼과 안전한 AI Agent 설계에도 참여하고 있으며, 최근에는 AI 위험 수준 평가 프레임워크에 대한 글로벌 동향에 관심을 가지고 연구와 자유기고를 병행하고 있습니다.