LLM과 Agentic AI: 보안과 안전의 새로운 과제 – Cyber Summit Korea 2025 세션 발표 리뷰

LLM의 진화

Cyber Summit Korea 2025* 행사가 9/8(월)부터 9/11(목)까지 국가정보원과 국가보안기술연구소 주최로 코엑스 컨퍼런스룸에서 진행 되었습니다. 권영준 연구소장은 <Security of LLM and Agentic AI Systems>를 주제로 발표하여, 여러가지 데이터를 활용하는 LLM과 Agentic AI의 세상에 어떤 보안의 위협이 있는지, 이러한 실제 환경에서 안전하게 AI를 사용하려면 어떻게 해야 하는지 소개하였습니다.
*Cyber Summit Korea 2025: 정부/기업/학계/연구기관 정보보호 관계자, 국제 사이버 안보 정책/기술 전문가, 사이버보안에 관심있는 일반 참가자 등이 참석한 가운데, 컨퍼런스뿐만 아니라 국제사이버방어훈련, 사이버공격방어대회, 전시/홍보 부스 운영 등이 주요 프로그램으로 운영됨

[사진1] 권영준 연구소장의 열정적인 발표 모습

CSK2025 에서 발표하고 있는 권영준 연구소장의 모습을 촬영한 사진

[사진2] 경청하고 있는 청중들

권영준 연구소장의 발표를 경청하고 있는 청중들을 촬영한 사진

발표의 처음은 인터넷 초기 역사를 짚으며 이야기를 풀어갔습니다. 1977년의 단순한 인터넷에 비교하여 지금의 복잡한 인터넷은 전혀 다른 것이 되었는데, 이것은 네트워크의 생존성과 연결성 속에서 ‘예상치 못한 창발(Emergence)*’이 나타난 결과라는 것입니다. 이처럼 오늘날의 LLM 역시 초기의 단순한 툴이 아니라 사회적·기술적 변화를 일으키는 새로운 요소가 되고 있다고 설명 하였습니다. LLM이 글쓰기, 요약, 이미지 생성, 코드 작성 등 인간 수준의 결과물을 만들어내며 이미 우리 곁에 와 있지만, 한편으로는 이와 같은 편리한 도구가 AI 보안(AI security)과 AI 안전(AI safety)**에 관련된 새로운 문제를 제기하고 있다는 화두를 청중들을 향해 던졌습니다.
*창발: 어떤 현상이나 특성이 기존의 구성 요소나 하위 수준에서는 예측할 수 없었던 방식으로 나타나는 것을 의미
**AI 보안: AI 기술에서의 보안은 기밀성, 무결성, 가용성 등을 보장하는 것을 의미
**AI 안전: AI의 공정성, 신뢰성, 개인정보 보호, 투명성, 포용성, 책임성을 보장하는 것에 대한 윤리적이고 책임감 있는 사용에 초점을 맞춤

LLM이 불러온 보안과 안전 이슈

앞서 설명한 것처럼 LLM을 사용하여 할 수 있는 여러 가지 유용한 태스크들이 있습니다. 하지만 한편으로 ‘보안 위험’ 관점에서 보면, LLM이 공격(Attack)의 대상이 될 수도 있고, 또 LLM이 공격을 하는 툴이 될 수도 있습니다. 여기서 권영준 연구소장은 중요한 포인트로 우리도 모르는 사이에 LLM이 보안 피해(Security harm)을 일으킬 수 있다는 점을 설명하였습니다. 즉, 사용자는 좋은 의도로 썼지만, 사용자도 모르는 사이에 의도하지 않은 보안 피해가 일어날 수 있다는 것입니다. 예를 들어서 시스템이 자율적인 결정(Autonomous decision)을 내린다고 하면, 어떤 일이 일어났는지, 왜 이런 결정을 했는지에 대한 이유 등을 사람이 다 관리하기 어렵기 때문에 사람들이 알 수 없는 부분에서 보안 문제가 발생 할 수도 있다고 하였습니다.

의도하지 않게 보안의 피해를 유발하는 경우로 LLM이 학습 과정에서 습득한 민감한 정보를 의도치 않게 노출하는 현상(Data leakage), 개인의 사생활 정보가 의도치 않게 공개되거나 추론 되어 프라이버시 권리를 침해하는 문제(Privacy violations), LLM이 보안 취약점이 있는 코드를 생성하여 시스템의 보안 구멍을 만드는 문제(Generation of unsafe, insecure code) 등에 대해서 설명하였습니다.

[사진3] ‘LLM 보안과 관련된 연구 주제’에 대한 설명

스크린에 LLM 보안과 관련된 연구 주제가 띄워져 있고 그 앞에서 발표중인 권영준 연구소장의 모습을 촬영한 사진

덧붙여 LLM 보안 분야는 우리나라뿐만 아니라 세계 학계에서도 최근 연구가 굉장히 활발하게 이루어 지고 있다고 하면서, 프롬프트 인젝션(Prompt injection)*, 사용자와 LLM 모두를 보호하는 세이프티 가드레일(Safety guardrails), 강화 학습을 사용한 학습 데이터 샘플링(Data Sampling) 전략 등의 연구 주제에 대해서도 소개 하였습니다.
*프롬프트 인젝션 공격: 질문을 교묘히 변형해 원래는 하지 않아야 할 답변을 끌어내는 방식 피싱 자동화

실제 환경에서의 Agentic AI 보안 및 안전

[사진4] 진지하게 발표를 경청하고 있는 모습

권영준 연구소장의 발표를 경청중인 청중을 앞쪽에서 올려보며 촬영한 사진

이제 우리가 살아가고 있는 진짜 세상(Real-world)에서 경험하고 있는 Agentic AI의 보안과 안전성에 대한 발표한 내용을 소개 해 보겠습니다. 권영준 연구소장은 세 가지 예시를 들고, 이를 완화할 수 있는 방법에 대해서 설명하였습니다.

첫번째로 ‘시스템 취약점 악용’입니다. 시스템에는 약점이 있을 수 있는데, AI가 이 시스템의 약점을 발견하고 AI의 퍼포먼스를 높이는데 사용을 하는 것입니다. 이것은 AI가 의도치 않게 인간의 지침이 없는 상황에서 악용을 할 수도 있고, 반대로 AI가 안전 및 보안 지침과 상충되더라도 AI에게 유리한 쪽을 선택했을 때 발생할 수도 있습니다. 이를 완화하기 위해서는 윤리적 제한을 하드 코딩(Hard coding)하여 AI의 행동 공간을 제한하거나, AI의 해로운 행동을 감지하고 중단할 수 있는 실시간 관찰(Real-time observability) 매커니즘을 만드는 방법이 있을 수 있다고 했습니다.

두번째로 ‘자원 경쟁 아래에서 여러 AI Agent가 협력할 때 발생할 수 있는 보안 문제’ 입니다. 여러 개의 AI Agent가 있으면 메모리, 데이터 베이스, 통신 등을 함께 쓰게 되는데, 어떤 AI Agent가 이와 같은 공유 자원에 대해서 이기적으로 사용함으로 인해서, 다른 AI Agent들이 작동을 못하게 된다면 협력이 깨어지고 전체 시스템에 해를 끼치게 됩니다. 또, AI Agent들의 작은 실수가 시간이 지남에 따라서 누적되면서 중요한 보안 또는 안전의 문제로 발전할 수도 있습니다. 이를 해소하기 위해서는 AI Agent간 균형과 견제를 이룰 수 있도록 적대적 학습방법(Adversarial learning)을 써서 학습을 하거나, 모든 AI Agent의 행동을 기록(Logging)하고 이것을 시스템 감사(Audit)용으로 사용하는 방법이 있을 수 있다고 말했습니다.

마지막으로 ‘웹 콘텐츠를 통한 간접 프롬프트 주입’ 입니다. 악의적으로 조작된 프롬프트 입력은 AI가 안전하지 않거나 위험한 행동을 수행하도록 만듭니다. 또, AI Agent가 조작되어서 위험한 데이터를 신뢰하여 전체 시스템을 위태롭게 할 수 있습니다. 이와 같은 문제는 소스 검증을 통해서 AI가 신뢰할 수 있는 소스를 통해서만 데이터에 접근할 수 있도록 하거나, 외부 데이터를 사용하기 전에 입력 필터링 및 정제를 통해서 확인을 하고 사용하는 것으로 대응 해 볼 수 있다고 설명하였습니다.

보안의 새로운 과제

이제 발표의 마지막 부분에 이르렀습니다. 지금까지의 발표를 통해, 여러 AI Agent가 함께 있는 환경에서는 Agent간 자원 할당에 대한 경쟁과 협력의 실패, Agent의 악의적 행동 등 다양한 위험 상황이 발생할 수 있음을 알 수 있었습니다. 즉, LLM과 AI Agent의 활용 가능성이 높아질 수록, 보안과 관련된 문제가 발생할 가능성도 커질 수 있다는 것입니다. 권영준 연구소장은 앞으로 Agentic AI가 더 대규모(Large Scale)로 발전하게 된다면, 우리가 ‘창발(Emergence)’의 능력을 경험하게 될 것인데 이것은 매우 재미있고 놀라운 일이 될 것이라고 하였습니다. 이번 발표는 LLM과 Agentic AI라는 거대한 변화가 보안·안전 문제와 얽히며, 우리가 앞으로 무엇을 준비해야 할지 생각해 볼 수 있었던 자리였습니다.

[사진5] CSK 2025 발표 마무리

CSK 2025 발표를 마무리하고 있는 권영준 연구소장의 모습을 촬영한 사진