LLM을 중심으로 AI 모델이 빠르게 발전하고 활용도가 높아지면서 AI안전(AI Safety)의 중요성이 점점 더 부각되고 있습니다. 삼성SDS 연구소는 그동안 안전하게 AI서비스를 사용할 수 있는 방법을 다각도로 연구해 왔고 그 결과물 중 하나로 LLM 안전 가드레일 솔루션, SGuard-v1이 탄생하였습니다. SGuard-v1는 LLM의 입력과 출력을 실시간으로 검사해 유해 콘텐츠를 차단하고 우회 공격을 방어하도록 하는 듀얼 필터 아키텍처가 적용되었고, 다양한 벤치마크에서 업계 최고 수준의 탐지 능력을 보여줍니다. 삼성SDS 연구소는 허깅페이스에 Apache-2.0 라이선스로 SGuard-v1 모델을 공개하여, 누구나 자유롭게 모델을 다운로드 받아서 사용할 수 있도록 하였습니다. 그러면, AI 모델의 안전한 사용을 위한 삼성SDS의 솔루션 SGuard-v1에 대해 지금부터 함께 살펴보겠습니다.
LLM 안전 가드레일은 왜 필요할까?
최근 OpenAI의 ChatGPT가 이용자의 자살 및 망상을 유발했다는 혐의로 미국에서 소송에 휘말렸습니다. AP통신 등의 보도에 따르면, 소셜 미디어 피해자 법률 센터 등이 성인 6명과 청소년 1명을 대리해 캘리포니아주 법원에 OpenAI를 상대로 소송을 제기한 것으로 알려졌습니다. 원고 측은 GPT-4o가 이용자를 심리적으로 조종할 수 있다는 내부 경고가 있었음에도 제품을 출시했다고 주장하며, 위법행위에 의한 사망 등 책임을 묻고 있습니다. 이 사건 이후 OpenAI는 미성년자 보호 기능을 도입했으며, 전문가들은 이번 소송이 AI 서비스의 윤리적 책임 범위를 판가름할 중요한 사건으로 보고 있습니다.
최근 2-3년 사이 대규모 언어 모델(LLM)은 챗봇, 번역, 콘텐츠 생성 등 다양한 분야에서 혁신을 주도하고 있습니다. 그러나 현재의 LLM은 대부분 트랜스포머(Transformer) 구조를 기반으로 대규모 말뭉치를 자기회귀적(Autoregressive) 사전학습을 통해 그럴듯한 답변을 출력하도록 모델링 하는 한계를 벗어나지 못하기 때문에 ChatGPT의 사례와 같이 LLM이 사용자 질의에 대해서 잘못된 정보를 제공하거나, 편향된 답변을 한다거나, 유해한 콘텐츠를 생성하는 등의 안전(Safety) 문제로 이어질 수 있습니다. 이러한 문제는 AI 기반 서비스에 LLM을 도입할 때 서비스에 대한 신뢰성과 사용자 경험을 훼손할 수 있기 때문에, 모델 최종 출력의 안전성을 보장하는 것은 성공적인 AI 서비스에 필수적입니다.
LLM의 안전 문제를 완화하기 위해 안전 정렬(Safety Alignment) 학습을 LLM에 추가로 적용하는 경우가 많지만 이것으로 완벽하게 해결되지는 않습니다. 게다가 근래에는 LLM의 내재적 안전 정렬을 우회해서 유해한 출력을 유도하려는 우회 공격(Jailbreak)과 같은 위협이 증가하고 있습니다. 이러한 위협을 효과적으로 차단하기 위해서 LLM 자체의 안전 장치를 강화하는 것 외에 입력 및 출력 단계에서 콘텐츠를 검사하는 외부 안전장치, 즉 가드레일(Guardrail)의 도입이 권장됩니다.
[그림1] LLM 안전 가드레일 (Safety Guardrail) SGuard-v1 개념도 (GPT-5로 생성한 이미지 포함)
삼성SDS의 안전 가드레일 솔루션, SGuard-v1란?
SGuard-v1은 이러한 맥락에서 자체 개발된 삼성SDS의 안전 가드레일 솔루션입니다. SGuard-v1은 LLM의 입출력 내용을 실시간으로 검사해 유해 콘텐츠를 차단하고, 우회 공격시도를 방어하는 듀얼 필터 방식을 채택하고 있습니다. SGuard-v1은 두 개의 특화된 모델로 구성됩니다.
먼저, 콘텐트 필터(Content Filter)는 사용자 입력과 모델 출력을 모두 검사하여 혐오 발언, 명예훼손, 불법 행위 안내와 같은 안전 위험 요소를 자동 식별합니다. 콘텐트 필터는 전세계 150개 이상의 기업과 단체가 활동하고 있는 MLCommons에서 제시한 12가지 위험 분류 체계(Hazard Taxonomy)를 기반으로 훈련되어, LLM에 입력되는 프롬프트와 LLM이 출력한 응답의 내용이 어떤 위험 카테고리에 속하는지를 다중 클래스 분류*(Multi-class Classification) 형태로 제공합니다. SGuard-v1에서는 카테고리 간의 모호성을 줄이고 학습 및 추론의 효율성을 높이기 위해서, MLCommons에서 제시한 위험 카테고리를 (1) 폭력·혐오, (2) 불법 행위, (3) 성적 콘텐츠, (4) 개인정보·민감정보 오용, (5) 조작·사회적 해악 등 5개로 재구성합니다. 콘텐트 필터는 이러한 유해 콘텐트에 대응할 수 있는 트리거(Trigger)를 제공하여 LLM 기반 서비스에서 각 상황에 맞는 세부적인 차단·완화 조치를 가능하게 합니다. 각 카테고리에 대한 세부 정의는 표 1에 정리되어 있습니다.
* 다중 클래스 분류 : 데이터를 세 개 이상 상호 배타적인 클래스 중 하나로 분류하는 머신러닝 기법입니다. 예를 들어, 강아지, 고양이, 소 사진을 각각의 클래스로 분류하는 것이 이에 해당합니다.
[표1] SGuard-v1에서 사용하는 5대 안전 위험 카테고리
| 유해성 분류 | 설명 |
| 폭력·혐오 | 다른 사람에게 신체적·정신적 피해를 주거나, 폭력을 선동하며, 혐오·차별·공격적 표현을 포함하는 콘텐츠 |
| 불법 행위 | 법적으로 금지된 행동을 권장하거나 조장하고, 불법 활동을 계획하거나 지지하는 콘텐츠 |
| 성적 콘텐츠 | 성적 행위에 대한 노골적인 표현을 포함하거나 미성년자 관련 부적절한 성적 내용을 담은 콘텐츠 |
| 개인정보·민감정보 오용 | 개인의 프라이버시 침해나 권한 없이 민감한 정보를 제공해 피해 가능성이 있는 콘텐츠 |
| 조작·사회적 해악 | 음모론 또는 허위 정보, 극단주의 선전, 정치적 조작, 선전 또는 대중 기만, 불신을 조장하는 콘텐츠 |
두 번째 구성 요소인 우회 공격 필터(Jailbreak Filter)는 LLM의 안전 정렬을 우회하려는 시도를 전문적으로 탐지합니다. 앞서 언급하였듯이 우회 공격은 사용자가 교묘하게 LLM을 속여서 안전 정책에 위배되는 출력을 하도록 유도하는 행위로, 다양한 변형이 가능하고 계속해서 새로운 시도가 등장하고 있습니다. SGuard-v1의 우회 공격 필터는 대분류상으로 60종 이상의 다양한 탈옥 시도 사례를 포함하여 구성한 커리큘럼 학습을 통해 훈련되었으며, 이 과정에서 잘못된 경고(False Unsafe)를 줄이도록 설계되었습니다. 콘텐트 필터와 우회 공격 필터를 결합함으로써 SGuard-v1은 LLM의 입력과 출력을 망라하는 다양한 위협에 대한 종합적인 방어 수단을 제공하고, LLM 서비스가 안전 정렬 상태를 더 강건하게 유지하도록 지원합니다.
SGuard-v1는 영어와 한국어를 포함한 12개 언어를 지원하는, 2B (2십억개 파라미터) 규모의 Granite-3.3-2B-Instruct 모델을 기반으로 추가 지도학습을 통해 만들어집니다. 삼성SDS 연구소에서는 추가 지도학습을 위해서 영어와 한국어로 구성된 약 140만 건의 예시 데이터를 수집하거나 합성하였고, 콘텐트 필터와 우회 공격 필터 각각의 역할에 맞게 데이터를 할당하여 학습을 진행하였습니다. 관련하여 데이터 증강 방법과 커리큘럼 학습 방법은 현재 특허 출원 중이기도 합니다.
작지만 강한 안전 가드레일, SGuard-v1
SGuard-v1의 첫번째 특징은 경량화 된 설계입니다. 현존하는 공개된 가드레일 모델들은 대부분 파라미터 수 7~12B 규모의 모델을 튜닝하여 만들어져 실제 서비스에서 실시간 필터링을 위해 적용할 때 많은 GPU 메모리를 점유하는 부담이 있습니다. 이에 반해 SGuard-v1은 파라미터 수 2B 규모의 모델로 서비스의 특성에 따라 한 가지 모델만 적용할 경우는 물론이고 콘텐트 필터와 우회 공격 필터를 모두 적용하더라도 총 4B 규모의 모델 추론만 수행하면 되므로, GPU 메모리 사용량과 응답 지연시간(Latency)을 기존 가드레일 모델 대비 약 50% 이상 절감할 수 있습니다.
또한 십여 종의 공개 안전 벤치마크와 삼성SDS 연구소에서 자체 준비한 전용 안전 벤치마크 테스트를 수행하였을 때, SGuard-v1은 F1 점수로 측정한 모델의 탐지 정확도에서, 또 AUPRC(Area Under the Precision-Recall Curve) 및 과탐율(False Positive Rate) 10% 이하 조건의 pAUROC(paritial Area Under the Receiver Operating Characteristic Curve)로 측정한 탐지 역량 등에서 가장 높은 성능을 달성하였습니다. 두 배 이상 큰 크기의 현존하는 가드레일 모델들 대비 콘텐트 안전 벤치마크에서는 평균 10% 이상(표2 참고), 우회 공격 탐지 벤치마크에서는 평균 20% 이상 우수한 성능을 보였으며, 그러면서도 GPU 메모리 사용량은 40% 이하를 기록하였습니다. 연구소 자체 레드티밍(Red-Teaming) 테스트에서도 Kakao의 Kanana-Safeguard-8B나 Alibaba의 Qwen3Guard-Gen-8B 대비 더 우수한 한국어와 영어 기반 유해 탐지 능력을 보였습니다. 여기에 더해, SGuard-v1은 입력이나 출력에 포함된 위험을 5개 카테고리로 분류하고 LLM 기반 서비스 운영 환경에서 필요에 따라 세부 위험 카테고리별 대응 강도를 섬세하게 조절할 수 있도록 지원합니다.
[표2] 콘텐츠 안전 벤치마크 성능(F1/AUPRC/pAUROC) 비교 결과(영어)
이처럼 SGuard-v1은 LLM을 활용한 실시간 애플리케이션에 적합한 경량 모델 크기로 만들어졌으면서도 최고 수준(State-of-the-art)의 유해성 탐지 정확도를 제공하는 두 마리 토끼를 다 잡은 솔루션입니다. 즉, 제품이나 서비스에 통합했을 때 입력과 출력의 유해 데이터 또는 공격 시도를 정확하게 탐지하면서도 낮은 메모리 사용량 및 지연시간으로 트랜잭션(Transaction) 처리량 향상과 비용 절감을 기대할 수 있습니다.
듀얼 필터 아키텍처: 콘텐트 필터(Content Filter)와 우회 공격 필터(Jailbreak Filter)
SGuard-v1의 두번째 특징은 듀얼 필터 아키텍처입니다. 콘텐트 필터와 우회 공격 필터 등 두 개의 필터로 구성되어 상보보완적으로 동작하도록 설계 되었습니다.
콘텐트 필터는 사용자 프롬프트와 LLM의 응답(Response)을 모두 검사하여 정책 위반 여부를 판단하는데, 이를 통해 LLM이 출력한 응답은 물론이고 입력되는 프롬프트의 내용이 안전 기준에 부합하는지 확인하여 위험을 가능한 한 조기에 차단할 수 있도록 합니다. 예를 들어 폭력적이거나 차별적인 발언, 불법 행위를 조장하는 지침 등이 입력 또는 출력 단계에 포함되어 있으면 이를 경고하거나 즉각 차단할 수 있도록 합니다. 콘텐트 필터는 앞서 설명한 위험 카테고리 기반의 다중 클래스 분류를 수행하므로, 단순히 ‘안전/유해’를 결정할 뿐 아니라 어떤 유형의 위험인지를 확도 점수(Confidence Score)와 함께 알려줍니다. 이를 바탕으로 시스템은 서비스의 특성을 고려하여 해당 콘텐츠를 즉시 차단하거나 안전한 방식으로 수정하여 사용자에게 제공할 수 있습니다.
반면 우회 공격 필터는 사용자 입력에서 유입될 수 있는, LLM의 안전 정렬을 우회하는 행위 탐지에 특화된 방어 모델입니다. 예를 들어 사용자가 의도적으로 모델을 속여 비윤리적이거나 불법적인 정보를 얻으려 할 때, 우회 공격 필터는 그러한 프롬프트를 탐지합니다. 이 모델은 약 백만 건의 우회 공격 시도 예시와 관련 논문 데이터를 활용한 1단계 학습 후, 특허 출원된 ‘우선순위 기반 학습’을 세밀한 큐레이션 과정을 거쳐 준비한 5천여 개의 데이터로 수행하는 2단계 커리큘럼을 통해 훈련되었습니다. 이를 통해, 반복되는 유형의 공격 패턴에 대한 과적합을 방지하도록 학습되어, 잘못된 차단(False Positive)을 줄이고 안전 우회 공격을 높은 정확도로 가려냅니다.
[그림2] 유해 콘텐츠를 포함한 우회 공격 예시
이와 같이 두 필터는 상호 보완적으로 동작하여 이중 안전망(Dual Guardrail)을 형성합니다. 콘텐트 필터는 보편적인 위험 콘텐츠에 대응하고, 우회 공격 필터는 정교한 악의적 공격을 방어함으로써, LLM 기반 서비스가 더욱 견고하게 안전 정렬을 유지할 수 있도록 지원하게 됩니다. 이를테면, 실시간 대화 중 사용자 프롬프트를 먼저 두 필터로 동시에 검사하고 문제가 있는 경우 미리 탐지하여 차단할 수 있도록 합니다. LLM이 생성한 응답도 콘텐트 필터로 다시 한 번 필터링하여 최종 출력이 안전한지 확인합니다.
SGuard-v1의 글로벌 정책 호환성과 다국어 지원 방향
SGuard-v1은 다국어 환경과 글로벌 안전 정책을 염두에 두고 개발되었습니다. 우선 학습 데이터와 평가 환경에서 영어와 한국어를 명시적으로 지원합니다. 영어 기반으로 수집된 유해 문장들을 한국어로 번역하는 과정에서는 LLM 번역기의 안전 정렬로 인한 오역을 피하기 위한 자체 알고리즘 CHT(Contextual Harm Translation)를 적용하고 상대적으로 비율이 적은 유해 질의를 증강하여 안전/유해 질의의 균형을 맞추기 위해 자체 고안한 알고리즘 BHCB(Benign-Harm Contextual Blending)를 적용했습니다. 이와 같이 확보한 학습 데이터 중에서 자동화된 정제 과정을 통해 약 20%를 걸러 내어 데이터의 품질을 관리합니다. 그 결과 SGuard-v1의 두 필터는 영어와 한국어에서 최고 수준의 성능을 보입니다. 한편, 베이스 모델이 지원하는 12개 언어 중 나머지 언어에서도 다소간 유의미한 결과를 나타내지만, 본격적인 다국어 지원은 차기 버전에서 제공할 예정입니다.
MLCommons, 유럽연합, 미국 NIST(국립표준연구소) 등 주요 기관들은 AI 안전을 위해 다양한 위험 카테고리를 제시하고 있는데, SGuard-v1은 안전 위험 분류 기준을 이러한 국제/산업 표준에 맞추어 학습 데이터를 준비 하였습니다. 앞서 다룬 것처럼 SGuard-v1은 전세계 많은 기관과 업체가 참여하는 MLCommons의 위험 분류체계를 기반으로 하여 훈련되었습니다. 따라서 SGuard-v1을 적용한 시스템은 각국의 안전 가이드라인이나 표준 정책과도 쉽게 연동할 수 있습니다.
오픈소스 라이선스로 공개되는 SGuard-v1
삼성SDS 연구소는 연구자와 개발자가 자유롭게 모델을 사용하며 개선하고, 실제 서비스에 적용할 수 있도록 하기 위해서 상업적 사용에 제약이 없는 Apache-2.0 라이선스로 SGuard-v1을 허깅페이스를 통해 공개하고 관련 기술 보고서를 아카이브에 올려 두었습니다. 모델 공개를 통해 SGuard-v1을 삼성SDS의 내부 AI 안전 강화에 활용하는 것에 그치지 않고, 학계의 AI 안전 연구를 촉진하고 산업계의 다양한 AI 기반 응용 서비스의 안전을 향상시키는데 기여하며 다양한 건설적인 피드백을 확보할 기회를 갖고자 합니다. 이를 통해 학계의 연구자들과 산업계의 실무자들을 참여시키는 AI 안전 기술 생태계를 활성화하고 국가 차원에서 혹은 AI 커뮤니티 차원에서 안전 가드레일 기술을 한 단계 더 발전시켜 나갈 수 있을 것으로 기대합니다.
안전하고 신뢰할 수 있는 AI 서비스를 향한 과제
SGuard-v1은 LLM의 안전 취약점을 보완하는 경량화된 실시간 필터링 솔루션으로 이를 누구나 쓸 수 있도록 공개함으로써, LLM 기반 서비스 제공자와 이용자가 직면할 수 있는 위험을 낮추는 데 기여할 것입니다. 향후 SGuard-v2에서는 더 많은 언어와 모달리티로 커버리지를 확장하고, 사용자 피드백을 실시간으로 반영할 수 있는 적응형 안전 가드레일 기술을 개발하고 적용할 예정입니다.
LLM 등 AI의 활용이 확대됨에 따라 AI 안전성을 확보하는 것은 점점 더 중요한 과제가 되어가고 있습니다. 특히 더 많은 자율성을 가지고 다른 서비스와 도구를 사용할 수 있는 에이전트의 도입이 빠르게 늘어나는 가운데, 앤트로픽(Anthropic)사와 요슈아 벤지오(Yoshua Bengio) 교수 등이 수행한 일부 연구에서는 에이전트가 이용자를 의도적으로 속이거나 실질적인 위해를 가하는 사례도 보고하고 있습니다. AI로 인한 가장 큰 위협은 인류의 멸종이라는 전망도 심심치 않게 등장합니다. 이에 따라 AI의 안전성에 대한 연구는 단순히 사용자 경험을 개선하느냐의 문제에서 그치지 않고, 유입되는 다양한 공격으로부터 AI 시스템을 보호하는 문제 및 설명 가능할 뿐 아니라 통제 가능한 AI 서비스를 만드는 차원으로 지평을 넓혀 나가고 있습니다. 그에 상응하는 지속적인 연구·개발 노력이 요구되고 학계와 업계의 다양한 연구자들과 실무자들의 협력이 병행되어야 할 것 입니다. SGuard-v1의 공개는 이러한 협력을 키워 나가기 위한 훌륭한 초석이 될 것이며, 향후 더욱 강화된 가드레일 기술이 등장하는 것을 촉진하는데 기여할 것으로 기대합니다.
👉 관련 링크 바로가기