포스트 퀀텀 시대 보안의 기준이 되다!
NIST와 KpqC가 주목한 삼성SDS의 보안 기술

삼성SDS 연구소에서 보안연구팀을 이끌고 계신 조지훈 마스터님을 만났습니다. 캐나다 워털루 대학에서 암호학을 연구한 후 영국에서 박사학위를 받고 삼성SDS에 합류하신 조지훈 연구팀장님은 현재 화이트박스 암호기술부터 양자내성암호까지 삼성SDS의 차세대 보안 기술 개발을 주도하고 있습니다.

최근에는 NIST 워크숍에서 4년 연속 기술 발표를 하며 글로벌에서도 활동을 이어나가고 있는데요. 지금부터 삼성SDS 보안연구팀장이 말하는 보안의 미래를 소개합니다.

조지훈 보안연구팀장이 “변곡점에 있는 암호기술”이라는 주제로 발표를 진행하고 있다.

"보안연구팀의 두 축, 보안알고리즘Lab과 SW보안Lab"

어떻게 암호학의 세계로 발을 들이게 되셨나요?

처음부터 암호학에 확고한 비전이 있었던 것은 아닙니다. 대학에서 수학을 전공하면서 앞으로의 진로를 고민했어요. 수학 연구를 이어갈 것인지, 아니면 다른 분야로 전향할 것인지 갈림길에 서 있었죠. 그러던 중 여러 대학원에 지원하고 합격했습니다.

최종적으로 워털루 대학을 결정하게 된 계기는 가까웠던 선배의 조언이었습니다. “요즘 수학하는 사람들에게 가장 인기 있는 분야가 ‘크립토그래피(암호학)’다. 암호학 분야에서 가장 뛰어난 워털루 대학을 가봐라”라며 추천해 주셨어요. 돌이켜보면 한국에서도 암호학 연구가 시작되던 시기였는데 학계 전반의 변화가 선배의 조언에도 반영되었던 것 같아요.

삼성SDS 보안연구팀의 구조와 주요 연구 분야는 무엇인가요?

삼성SDS 보안연구팀은 두 개의 Lab으로 이루어져 있습니다. 보안알고리즘Lab에서는 양자 컴퓨팅 시대를 대비한 양자내성암호 연구와 프라이버시 보호 기술을 다루고 있어요. 다음으로 SW보안Lab에서는 보안취약점 분석 연구와 소프트웨어 테스트 자동화라는 과제를 수행하고 있습니다.

최근 연이어 발생하는 보안 사고들을 보면서 이 분야에 더욱더 확신하게 되었어요. 대부분의 해킹 사고가 소프트웨어 내부에 숨어있는 취약점을 악용한 것들이거든요. 따라서 “공격자들이 들어올 틈을 사전에 없애자” 는 것이 SW보안Lab의 철학입니다. 사후 대응보다는 사전 예방, 그것도 소프트웨어 개발 단계에서부터 취약점을 원천 차단하는 것이죠.

인터뷰 진행 중인 조지훈 보안연구팀장

“SBFT 세계대회에서 2년 연속 우승했어요”

세계적인 소프트웨어 테스트 대회 SBFT에서도 성과를 거두셨다고 들었습니다.

소프트웨어 개발에서 중요한 것이 테스트입니다. 빌 게이츠가 “우리는 개발자만큼 많은 테스터 전문가가 있습니다. 테스터는 전 시간을 테스트에 쓰고, 개발자들도 절반은 테스트에 씁니다”라고 말할 정도로 테스트가 중요하죠. 그런데 소프트웨어 개발 비용을 줄이려면, 오류를 초기에 찾아내야 합니다. 나중에 QA 단계에서 찾아내면 비용이 더 들거든요. 그래서 삼성SDS 보안연구팀은 개발자가 코드 만들 때 함께 수행하는 단위 테스트(Unit Test) 자동 생성 기술을 개발했습니다.

그리고 이 기술을 바탕으로 SBFT 국제대회에 출전했습니다. SBFT는 소프트웨어 엔지니어링 분야에서 전 세계 최고 수준의 연구팀들이 모여 경쟁하는 무대죠. 저희 보안연구팀은 대기업 환경에서 주로 사용되는 자바(Java) 언어 부문에 출전해 2024년, 2025년 2년 연속 우승을 차지했어요. 안드로이드 폰에 쓰는 코틀린 언어를 만든 JetBrains, 그리고 MIT 연구팀을 제치고 얻어낸 성과입니다.

“암호키를 찾을 수 없는 금고, 화이트박스 기술”

연구팀장님께서 삼성SDS에서 처음 연구 개발한 ‘화이트박스’ 기술은 실제로 삼성의 여러 제품에 사용되고 있다고 들었어요. 이 기술은 무엇인가요?

화이트박스 암호 기술을 설명하기 위해서는 먼저 기존 암호화 방식의 한계를 이해해야 합니다. 모든 소프트웨어에는 수많은 비밀 정보가 숨어 있습니다. 사용자 데이터, 인증 정보, 결제 정보 등 절대 외부에 노출되어서는 안 되는 것들이죠.

이런 정보들을 보호하기 위해 암호화를 하는데, 전통적인 방식에는 치명적인 약점이 있습니다. 바로 열쇠가 존재한다는 사실이죠. 마치 금고에 중요한 물건을 넣어두고, 그 열쇠를 금고 바로 옆에 놓아두는 것과 같은 상황인데요. 암호화된 데이터와 그것을 해독할 수 있는 암호키가 같은 시스템 안에 함께 존재하니, 결국 해커들이 그 키를 찾아내면 모든 것이 무력화됩니다.

이런 상황에서 “암호키 자체를 찾을 수 없게 만들면 어떨까?” 라는 발상의 전환에서 화이트박스 암호기술이 시작되었습니다. 저희가 개발한 기술은 암호키를 찾는 것이 원천적으로 불가능한 금고를 만드는 것이에요. 금고 열쇠가 아예 존재하지 않는 형태로 보안을 구현하는 거죠.

이 혁신적인 아이디어를 현실로 만들기 위해 암호학 전문가인 덩컬만 교수(Orr Dunkelman), 그리고 켈러 교수(Nathan Keller)와 전략적 협업을 진행했습니다. 안전하면서도 빠른 암호 알고리즘을 구현하는 것이 목표였죠. 결과는 기대 이상이었습니다.

이 기술은 현재 급성장하고 있는 방산 분야에서 필수 기술로 인정받고 있으며, 삼성의 다양한 솔루션과 SCP 클라우드에도 광범위하게 적용되고 있어요. 미래 산업의 핵심 인프라를 더욱 견고하게 만드는 데 기여하고 있다는 점에서 특별한 보람을 느낍니다.

산업암호분야 최고 컨퍼런스인 Real World Crypto 2024에서 암호 전환 기술에 대해 조지훈 보안연구팀장이 발표하고 있는 모습

“1976년 이후 처음 맞는 암호 대전환의 시대”

요새 암호학은 ‘양자내성암호’로의 전환기라고 하는데요. 양자내성암호는 왜 그렇게 중요하고 어려운 일인가요?

이 질문에 답하기 위해서는 먼저 1976년이라는 역사적 분기점을 이해해야 합니다. 그해 사용자 인증이나 데이터 위변조 탐지 기능을 제공하는 공개키 암호가 처음 등장했는데, 이것이 바로 현재 인터넷 서비스 전반에서 신뢰를 구축하는 데 필수적인 기반이 된 기술이에요. 공개키 암호가 없었다면 인터넷은 여전히 국방이나 특정 전문 영역에서만 사용되는 제한적 도구에 머물렀을 겁니다.

여기서 놀라운 사실은 1976년 이후 지금까지 단 한 번도 전면적인 공개키 암호의 교체가 이루어진 적이 없다는 점입니다. 거의 50년 동안 같은 기술을 사용해온 거죠. 그 사이 IT 시스템은 상상할 수 없을 정도로 복잡해졌습니다. 그때와 지금의 디지털 환경을 비교해보면, 마치 자전거와 우주선을 비교하는 것과 같을 정도예요.

“어떻게 최소한의 비용과 시간으로 전 세계 인터넷 인프라에 광범위하게 퍼져 있는 공개키 암호체계를 안전하게 교체할 것인가?” 이것은 인류가 한 번도 경험해보지 못한 도전입니다. 무한한 시간과 예산이 있다면 가능하겠지만, 현실은 그렇지 않죠. 공개키 암호가 현재 모든 인터넷 시스템에 뿌리내리고 있었기에, 이 과제는 디지털 문명의 존폐를 좌우하는 역사적 대전환이라고 할 수 있어요.

이 문제의 심각성을 깨달은 미국 NSA(미국 국가안보국)와 백악관이 NIST에 이 어려운 프로젝트를 맡겼습니다. “어떤 방법론이 필요한지, 어떤 기술이 요구되는지, 어떻게 표준화할 것인지”에 대한 종합적인 해답을 찾으라는 것이었죠.

미국 NIST가 진행하는 양자내성암호 PQC 전환 프로젝트에 삼성SDS 보안연구팀도 함께 참여하게 되셨다고 들었어요.

맞아요. 2021년 11월에 미국 NIST에서 진행하는 양자내성암호 전환 프로젝트를 발견했어요. 협력 기업이 신청하는 공모 형태였는데, 많은 분들이 회의적이었습니다. NIST 보안 표준이 전세계적으로 사용된다 하더라도 주로 미국기업과 협업을 하기에 ‘한국 기업을 끼워줄까?’는 시각이 있었죠.

그렇지만 도전해보자. ‘어차피 잃을 것은 없다’ 라는 마음으로 제가 직접 지원했어요. 그런데 인터뷰를 하자는 연락이 왔습니다. 한두 달간 연락이 없어서 안 되는구나 싶었는데, 갑자기 두 달 있다가 인터뷰 연락이 왔고, 또 두 달 후에 “같이 하자”는 연락이 왔어요.

그래서 처음으로 AWS, 마이크로소프트, IBM 등의 글로벌 기업과 함께 삼성SDS가 선정되었습니다. 그리고 지금까지도 삼성SDS는 이 프로젝트의 주요 저자로서 표준 문서 제작에 함께 참여하고 있습니다.

미국 국립 표준 기술 연구소 NIST 공식 웹사이트

어떻게 삼성SDS가 미국의 주요 프로젝트에 함께할 수 있었을까요? 그 비법이 궁금합니다.

처음부터 이 프로젝트와 관련된 기술이 있었던 것은 아닙니다. 그래서 인터뷰에서 우리팀의 다양한 암호기술의 이론적 연구 역량뿐 아니라 실제 구현 경험을 강조했어요. 삼성SDS 연구소는 암호 알고리즘을 설계할 뿐만 아니라, 다양한 실제 환경에서 암호를 구현해본 풍부한 경험이 있다는 것을 이야기했죠.

이것을 전문 용어로 크립토 엔지니어링이라고 하는데, 저희팀은 이 분야에서 15년 이상의 노하우를 보유하고 있었습니다. 이론과 실무를 모두 아우르는 역량이 일반적인 대학 연구소와 저희를 구별짓는 핵심 차별점이었죠. 결과적으로 삼성SDS는 NIST 프로젝트의 주요 기여자 그룹으로 인정받아 현재까지 적극적인 활동을 이어나가고 있습니다.

“KpqC의 여정도 삼성SDS가 함께합니다”

최근에는 한국의 국정원 후원으로 진행한 한국 양자내성암호, KpqC 공모전에서도 양자내성암호의 표준화에 기여하고 있으시다고요.

지난 3년 동안 국정원 후원으로 우리나라를 위한 양자내성암호 KpqC 공모전을 진행했어요. 전자서명과 키 교환 두 가지 분야에서 진행됐는데, 전자서명 분야에서 삼성SDS 보안연구팀이 1위를 했습니다.

3년도 안 된 시간 안에 이러한 성과를 낼 수 있었던 이유는 저희가 기존의 접근 방식과는 다른 길을 걸었기 때문입니다. 기존의 양자내성암호는 어려운 수학 문제를 기반으로 설계하는데, 이런 문제는 언제든 천재가 나타나서 풀어버릴 수 있는 위험성이 있어요. 그래서 저희는 그런 어려운 수학 문제에 의존하지 않고도 공개키암호를 설계할 수 있는 새로운 방법을 제안했습니다. 이런 창의적인 접근법이 이번 공모전에서 선정될 수 있었던 핵심 이유 중 하나였습니다.

한국 PQC 연구와 개발을 지도하고 있는 양자내성암호연구단 웹사이트

이런 성과가 가능했던 배경에는 워털루 대학에서 함께 암호학을 공부했던 선배가 소속되어 있는 카이스트 대학과의 산학협력도 있었습니다. 특히 산학 협력을 통해 박사과정 학생들에게 우리 연구소에 대한 긍정적인 경험을 드릴 수 있었어요. ‘삼성SDS 연구소에서는 현장에서의 어려운 문제를 풀기 위해 세상을 바꾸는 깊이 있는 연구를 하는구나’라고 인식하게 되면서, 여러 학생이 삼성SDS 연구소로 합류하기도 했죠. 남들이 하기 힘든 깊이가 있는 연구와 이에 따른 성과가 결국 최고의 인재 영입 전략이라는 것을 다시 한번 깨달았습니다.

“유로크립트에 연 2편의 논문을 게재했어요”

최근 유로크립트에서 발표하신 두 편의 논문에 대해 설명해 주세요.

유로크립트(EuroCrypt)는 전 세계에서 가장 권위 있는 암호학회입니다. 이곳에서 한 해에 두 편의 논문을 발표한다는 것 자체가 우리 연구팀의 수준을 보여주는 상징적 성과라고 생각해요.

첫 번째 논문인 ‘Relaxed Vector Commitment for Shorter Signatures’는 양자내성암호 원천 기술을 제안한 연구입니다. 양자내성암호를 만들기 위한 하나의 핵심 요소라고 할 수 있어요. 현재 진행 중인 NIST 양자내성암호 표준화의 후보 14개 중 무려 6개가 영지식 증명(Zero Knowledge Proof)란 기술을 사용하고 있어요. 그런데 문제는 이 프로토콜이 비효율적이라는 것입니다.

‘이 비효율을 개선할 수 없을까?’라는 생각에 연구를 시작하여 기존 대비 크기를 현저히 줄이면서도 효율성을 극대화한 원천기술을 개발했습니다. 이 기술의 파급력이 커 학계의 주목을 받았고, 논문 게재로도 이어졌습니다. 이 기술은 양자내성암호뿐만 아니라 블록체인, 스테이블 코인 등 다양한 차세대 기술 분야에서 광범위하게 활용될 수 있어요.

두 번째 논문인 ‘Making GCM Great Again’은 또 다른 도전이었어요. “데이터 폭증 시대에 맞는 새로운 암호화 패러다임이 필요하다” 는 문제 인식에서 출발한 연구인데요. 현재 데이터 암호화에 사용하는 대칭키 암호화 알고리즘은 1980-90년대에 개발된 기술입니다. 당시에는 지금처럼 엄청난 양의 데이터를 처리할 필요가 없었죠.

하지만 지금은 상황이 달라졌습니다. 빅데이터, 클라우드, IoT 시대에 맞는 대용량 데이터 암호화 기술이 필요하죠. 그래서 이런 환경 속에서 대칭키 암호를 어떻게 써야 안전하고 빠른지에 관한 수학적 설계 방법론을 고안했습니다. 앞서 말씀드린 NIST에서도 이러한 문제를 인식하고 표준화를 계획 중이며, 지난 '24년 6월에 개최된 NIST 워크샵에서 삼성SDS 보안연구팀이 연구성과를 발표하기도 했습니다.

“Relaxed Vector Commitment for Shorter Signatures” 논문 내 이미지

“UN과 함께 인류 공동의 문제에 대한 해결책을 고민합니다”

마지막으로, UN 프로젝트에 참여하게 된 이야기도 궁금해요.

UN과 삼성SDS가 함께하는 프로젝트는 기술이 어떻게 인류의 복지에 기여할 수 있는가를 보여주는 사례입니다. 각국의 조직이 보유한 데이터를 안전하게 통합 분석할 수 있다면, 아동 인신매매 방지, 빈곤 해결, 난민 문제 대응 등 인류가 공동으로 해결해야 할 중대한 과제들에 대한 실효성 있는 대안을 만들 수 있기 때문이에요.

하지만 여기에는 조건이 있습니다. 개인정보보호와 보안을 국가 간 민감한 데이터를 직접 주고받을 수는 없다는 것이죠. 따라서 “실제로 데이터를 주고받지 않으면서도 마치 모든 데이터를 통합한 것처럼 분석할 수 있는 기술”에 대해서 UN 통계국(UNSD)과 각국 통계청과 함께 고민하고 있습니다.

암호 기술을 활용해 가상의 통합 환경을 구축해서 각국의 데이터는 그대로 보호하면서도 분석 결과만 공유할 수 있게 하는 거죠. 이 프로젝트는 “기술이 국경을 넘어 인류 공동의 문제 해결에 기여할 수 있다”는 비전을 현실로 만드는 작업이라고 생각합니다. 이런 프로젝트에 참여할 때마다 연구자로서 사명감을 느끼고 있어요.

“소수정예의 인재와 함께 뾰족하게 파고듭니다”

삼성SDS 보안연구팀의 리더로서 가지고 계신 철학이 있나요?

변화하는 패러다임에 발 맞추고자 합니다. 기술 변화의 속도가 빨라졌고, 기술의 전파 속도 또한 빨라 지면서 1등 기술만이 생존하는 시대가 되었습니다. 이런 변화를 목격하면서 “이제는 기업 연구소가 정말 뾰족한 기술 연구에 집중해야 한다”는 확신을 갖게 되었습니다. 소수의 인재가 임팩트를 만드는 사례를 계속 목격하고 있기에, 오직 우리만이 할 수 있는 차별화된 영역을 개척하는 것이 중요하다고 생각해요.

차세대 보안 기술의 미래를 설명하고 있는 조지훈 보안연구팀장

“Security by Design으로 근본적 해결책을 제시합니다”

마지막으로, 기업에게 보안이란 무엇이라고 생각하시나요?

보안은 기업에게 굉장한 리스크 요소입니다. 경영자의 핵심 역할은 리스크를 최소화하면서 지속 가능한 경영을 실현하는 것이죠. 그런데 보안을 제대로 관리하지 못하면 한 순간에 모든 것을 잃을 수 있어요. 특히 상대적으로 한국은 글로벌 기업에 비해 보안 리스크에 대한 인식이 아직 부족한 편입니다. 하지만 이제는 상황이 달라지고 있습니다. 보안 사고가 점점 더 자주 발생할 것이고, 그 규모와 파급력도 더욱 커질 것입니다.

특히 AI 시대로 접어들며 보안 사고의 빈도와 심각성은 계속 증가할 것입니다. AI의 아버지라고 불리는 노벨물리학상 수상자인 제프리 힌튼(Geoffrey E. Hinton)은 AI기술이 발전함에 따라 사이버공격이 더욱 싼 비용으로 정교하고 빠르게 이루어져 해킹이 확산될 것이라고 판단하고, 자신의 자산을 몇 개의 은행에 분산해 놓았다고 합니다. 이제 기업에서는 보안을 선택 사항이 아닌 필수적인 경영 전략으로 인식하고, 최우선 순위를 두고 체계적으로 관리해야 할 때가 왔다고 생각합니다.

삼성SDS가 추구하는 기업 보안 접근법은 무엇인가요?

20년 이상 보안 분야에서 일하면서 깨달은 통찰은 “보안은 체계적이고 일관된 시스템 설계를 통해 구현되어야 한다” 는 점입니다. 아무리 튼튼한 자제와 훌륭한 시공 기술이 있어도 건축 설계가 잘못되면 건물이 무너지는 것과 같은 이치죠.

안타깝게도 우리나라 대부분의 소프트웨어 기업들이 ‘Security by Design’ 원칙을 제대로 적용하지 못하고 있습니다. 왜 그럴까요? 시간이 많이 걸리고, 전문 인력도 상당히 필요하기 때문이에요. 소프트웨어 개발에 있어 많은 부분이 자동화 되었지만 보안 활동의 가장 처음과 끝인 보안 아키텍팅과 침투 테스트는 매뉴얼하게 진행되고 있으며, 이는 투입되는 인력의 역량에 좌우됩니다. 그래서 우리 팀은 이런 문제를 AI기반으로 자동화하는 연구를 진행하고 있습니다. 최근 화두가 되고 있는 LLM과 Agentic AI를 활용하여 전문 인력이 없어도 Security by Design을 실현할 수 있는 솔루션을 개발하는 것이 목표예요

“예측할 수 없는 미래를 대비하는 단 하나의 전략”

마지막으로 연구 철학이나 앞으로의 비전에 대해 말씀해 주세요.

저는 중장기적으로 목표도 세우지만 오늘 하루에 집중합니다. 오늘이 마지막이라는 마음으로 하루하루를 최선을 다해 사는 것이 저의 철학이죠. 그렇다고 해서 내일에 대한 계획 없이 사는 것은 아닙니다. (웃음) 내일을 대비하면서도, 동시에 오늘이 마지막인 것처럼 의미 있게 살려고 합니다.

특히 R&D 분야에서는 이런 접근이 더욱 중요하다고 생각해요. 기술 변화의 속도가 너무 빨라서 미리 세운 장기 계획이 오히려 발목을 잡을 수 있거든요. 혁신적인 기술이 갑자기 등장하면 모든 전략을 즉시 바꿔야 하는 상황이 빈번하게 발생합니다. 삼성SDS와 같이 큰 기업에서는 이런 변화를 감지했을 때 기존 계획을 변경하는 것이 굉장히 어렵습니다. 작은 보트와 달리 마치 큰 배가 180도 회전하는데 많은 시간과 에너지가 걸리는 것과 같습니다. 특히 IT기업은 이런 변화를 대비하며 연구개발 계획을 세워야 하며, 이런 변화를 감지했을 때는 여지없이 계획을 즉시 변경해야 합니다.

임원으로 기업 연구소에서 일하면서 무거운 책임감과 많은 변수로 인해 때론 힘든 시간을 보내야 할 때도 있지만, 저는 연구소에서 변화의 흐름을 누구보다 먼저 읽고, 새로운 길을 개척해 나간다는 사명감과 설렘으로 오늘 하루도 감사하면서 살아가고 있습니다.

암호키를 찾을 수 없는 금고 화이트박스부터 양자내성암호까지, 삼성SDS 보안연구팀이 만들어가는 미래는 단순한 기술 개발을 넘어서는 의미를 지니고 있습니다. 1976년 이후 처음 맞는 암호 대전환의 시대, 그 역사적 도전의 한복판에서 우리의 디지털 문명을 지켜나가는 이들의 여정이 앞으로도 계속되기를 기대합니다. 삼성SDS 기술 블로그에서 더 많은 이야기를 확인해 보세요.