핵심 내용 요약
- 삼성SDS 클라우드 연구팀 - 삼성SDS 클라우드 연구팀은 컴퓨팅 시스템, 네트워크, 고성능 컴퓨팅 연구를 담당하는 3개의 랩으로 구성되어 AI 시대에 최적화된 클라우드 기술을 개발하고 있습니다.
- GPU 효율화와 차세대 AI 인프라 구축 – AI 워크로드를 효율적으로 처리하는 FireQ 프로젝트와 차세대 AI 가속기 연구를 통해 가성비 높은 컴퓨팅 자원을 제공합니다.
- 글로벌 협업을 통한 기술 혁신 – UC 버클리 스카이컴퓨팅랩과의 협업을 통해 클라우드와 AI 서비스의 대중화를 추진하고 있습니다.
25년간 다섯 곳의 기업연구소를 거치며 기술 패러다임의 변화를 몸소 체험한 장민성 상무님은 13년 만에 삼성으로 복귀해 새로운 도전에 나섰습니다. 엔비디아가 90% 독점하는 RDMA(Remote Direct Memory Access) 시장에 CORN(Cloud-optimized RDMA Networking)으로 맞서고, UC 버클리와 함께 AI의 대중화에 뛰어드는 전략은 클라우드의 기술적 한계를 넘고 있습니다. 지금부터 삼성SDS 클라우드 연구팀을 이끄는 장민성 연구팀장님께서 그려나갈 클라우드 기술의 미래를 소개합니다.
“여러 여정을 거치며 클라우드 시대의 도래를 예감했어요”
삼성SDS 클라우드 연구팀에 오기까지 어떤 경험을 하셨나요?
저는 2021년 8월 말에 삼성SDS에 입사했습니다. 그 전에는 삼성전자, 삼성종합기술원에서 근무했고, 미국에서 박사학위를 취득한 후, AT&T 연구소에 있었습니다. 삼성전자에서 일하고, 다시 삼성 SDS로 돌아오게 된 걸 보면 저랑 삼성은 큰 인연이 있는 것 같아요. 삼성전자에는 2003년 입사하여 시스템 소프트웨어 개발에 참여 했었습니다. 당시 삼성전자가 급격히 성장하던 시기로 모바일 폰 사업이 세계 2위가 되는 기쁨도 맛보았습니다. 그런데 2007년 이후 모바일 제품의 패러다임이 좀 더 개인화된 컴퓨팅으로 변화되었고, 그런 변화를 글로벌에서 느끼고 싶어서, 가족과 함께 미국으로 유학을 떠났습니다.
미국에서의 유학의 경험이 이후의 커리어에 어떤 영향을 주었나요?
기술의 패러다임 변화를 직접 목격하고 참여한 경험이 저에겐 큰 배움이었습니다. 조지아텍에서 박사과정을 하던 2012-2013년경 SDN(Software-Defined Networking)이라는 개념이 현실화되기 시작했고, 마침 회사에서 차세대 통신 인프라에 SDN 기술을 적극적으로 도입하였습니다. 그런 기술의 패러다임이 바뀌는 현장에서 저는 기존 통신 장비들을 클라우드에서 동작하는 소프트웨어로 진화시키기 위한 연구와 개발 활동을 하였어요.
이러한 경험을 하며 조금씩 “앞으로는 컴퓨팅 리소스가 고도로 집적되어 무한히 증가하는 방향으로 발전할 것”이라는 확신을 갖게 되었습니다. 그리고 이후 클라우드로 커리어 방향을 결정하게 되었죠.
인터뷰를 진행하고 있는 장민성 연구팀장
“컴퓨팅 시스템, 네트워크, 고성능 컴퓨팅의 삼박자”
삼성SDS 클라우드 연구팀은 어떤 조직으로 구성되어 있나요?
저희 클라우드 연구팀은 클라우드 인프라의 3대 핵심과 매칭되게 구성되어 있습니다. 먼저 컴퓨팅시스템연구Lab은 우리 회사 클라우드 서비스 플랫폼인 SCP에서 GPUaaS 서비스와 스토리지 기술을 담당하고 있어요. AI 연구와 서비스에 필요한 대규모 GPU 자원 관리, 그리고 AI 엔지니어가 쓰는 GPU 플랫폼 개발 및 클러스터 운영, 나아가 AI 학습 워크로드 관리 자동화 기술을 담당합니다.
네트워크연구Lab은 클라우드의 두 번째 축인 네트워크를 담당해요. 일반적인 클라우드 네트워크뿐만 아니라 RDMA 기반의 고성능 네트워크에 특화해서 연구를 진행하고 있습니다.
RDMA란 무엇인가요?
RDMA(Remote Direct Memory Access)는 네트워크를 통해 서로 다른 시스템의 메모리 공간에 CPU나 운영체제의 개입 없이 직접 접근하고 데이터를 전송할 수 있도록 해주는 고성능 네트워크 기술입니다. 기존 방식에서는 데이터 전송 시 송·수신 측 모두에서 여러 번의 메모리 복사와 커널 개입이 필요해 지연 시간 증가와 컴퓨팅 자원 낭비가 발생했지만, RDMA는 이러한 병목을 제거하고 메모리 간 직접 통신(zero-copy)을 가능하게 하여 매우 낮은 지연 시간과 높은 처리량을 제공합니다.
마지막으로 고성능컴퓨팅연구Lab은 아키텍처-어웨어 컴퓨팅이라는 주제로 클라우드를 구성하는 새로운 하드웨어들에 가장 적합하게 소프트웨어를 만드는 연구를 하고 있어요. 결국 고객이 원하는 성능 수준을 계속 유지하면서도 자원의 소모와 비용을 최소화할 수 있는, 다시 말해 효율적인 컴퓨팅을 구현하는 연구에 집중하고 있습니다.
Architecture-Aware Computing이란 무엇인가요?
아키텍처-어웨어 컴퓨팅(Architecture-Aware Computing)은 소프트웨어나 알고리즘이 실행되는 하드웨어 아키텍처의 구조와 특성을 인식하고, 이에 최적화된 방식으로 계산을 수행하는 컴퓨팅 패러다임입니다. 단순히 코드가 동작하는 것을 넘어서 CPU, GPU, 메모리 계층 구조, 캐시, 네트워크 대역폭, 병렬성, 데이터 이동 비용 등을 고려하여 성능을 극대화하려는 접근 방식이에요. 특히 이기종 컴퓨팅 환경, 엣지-클라우드 협업, 고성능 컴퓨팅(HPC) 분야에서 아키텍처-어웨어 컴퓨팅이 필수적인 요소로 부각되고 있습니다.
랩장들과 함께 클라우드 기술에 대한 이야기를 나누고 있는 장민성 연구팀장.(왼쪽에서부터)김종성 Lab장(네트워크연구Lab), 하승훈 Lab장(컴퓨팅시스템연구Lab), 장민성 연구팀장, 문기효 Lab장(고성능컴퓨팅연구Lab)
“FireQ와 CORN은 모두 ‘GPU 효율화’를 지향해요”
클라우드 연구팀에서 진행하고 있는 대표적인 연구로는 무엇이 있나요?
FireQ를 소개할 수 있을 것 같아요. Fire에 대문자 Q를 쓰는 이 프로젝트는 고객이 요청하는 AI 워크로드 처리를 효율적이고 경제적으로 제공하는 것이 핵심입니다. GPU에 더 많은 AI 워크로드를 처리하면서도 성능 저하 없이 워크로드를 지능적으로 분석하여 GPU 스케줄링을 최적화하는 기술이죠.
FireQ란 무엇인가요?
FireQ는 삼성SDS 클라우드 연구팀이 개발한 LLM 추론 가속용 PTQ(Post-Training Quantization) 프레임워크입니다. 이 기술은 행렬 연산을 INT4(4bit 정수 데이터 형식)와 FP8(8bit 부동 소수점 데이터 형식) 혼합 정밀도로 수행하는 고효율 GEMM(General Matrix Multiplication) 커널을 포함하며, 특히 FlashAttention-3(메모리 읽기/쓰기를 최소화하여 GPU에서 Attention연산을 가속화하는 방법)의 prefill 단계를 3단계 파이프라인으로 최적화하여 토큰 처리 지연 시간을 단축합니다. 또한 채널별 및 RoPE(Rotary Positional Embedding) 인식 스케일링 기법을 활용해 양자화에 따른 정확도 손실을 최소화합니다.
FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration 논문 내 이미지
또 다른 주목할 만한 프로젝트는 CORN입니다. Cloud-optimized RDMA Networking의 앞글자를 따서 옥수수를 뜻하는 CORN이라고 명명한 기술인데요. GPU를 효율적으로 잘 연결해주는 네트워크 기술을 고안한 것으로, 현재 엔비디아의 인피니밴드가 RDMA 시장의 90%를 독점하고 있는 상황에서 삼성SDS만의 대안을 만들어보자는 취지로 시작하게 됐어요.
CORN이란 무엇인가요?
CORN(Cloud-Optimized RDMA Networking)은 삼성SDS가 개발한 클라우드 최적화 RDMA 네트워킹 기술로, 기존 RoCE(RDMA over Converged Ethernet)의 장점을 클라우드 환경에 맞게 개선한 솔루션입니다. CORN은 GPU 가속 기반 대규모 AI 모델 학습이나 분산 처리에서 발생하는 네트워크 지연과 CPU 부하를 크게 줄이고, 멀티 테넌시, 가상화, 보안 요구사항을 충족할 수 있도록 설계되었습니다. 이를 통해 클라우드 네이티브 환경에서도 RDMA의 초저지연·고대역폭 특성을 활용할 수 있으며, 저희는 CORN이GPUaaS(GPU as a Service)을 사용하여 AI 모델 학습을 할 때 학습 속도 향상에 기여할 것으로 기대하고 있습니다. 지금 당장 전체 인프라를 CORN으로 교체할 수는 없지만, 지금 작은 규모 테스트에서 조금씩 성과가 나타나기 시작하고 있어서, 조만간 좋은 결과가 있을 것으로 기대됩니다.
삼성SDS 클라우드 연구팀 장민성 연구팀장이 GPU 효율화와 차세대 클라우드 기술에 대해 설명하고 있는 모습.(왼쪽에서부터)하승훈 Lab장(컴퓨팅시스템연구Lab), 장민성 연구팀장, 문기효 Lab장(고성능컴퓨팅연구Lab), 김종성 Lab장(네트워크연구Lab)
“PIM 기술로 GPU 병목 현상을 해결해요”
최근 주목받고 있는 PIM 연구에 대해서도 설명해 주실 수 있을까요?
PIM은 Processing In Memory라고 하는 기술로, 메모리 안에 연산기를 넣는 방식입니다. 현재는 컴퓨터가 폰 노이만 구조로 되어서 있기에, 계산을 위해서는 메모리에서 데이터를 받아와야 합니다. 그래서 GPU 사용 시 문제가 되는 것 중 하나가 데이터를 메모리에서 계산으로 가져올 때 발생하는 병목입니다.
PIM은 이 문제를 해결하기 위해 계산하는 기기를 메모리 안에 배치합니다. 데이터를 옮기는 과정에서 자연스럽게 일부 계산이 되게 하는 것이죠. 메모리에서 읽어올 때 PIM이 개입하여 GPU의 계산 부담을 덜어주고 효율적인 워크로드 분배가 가능해 집니다.
HPCA 2025(컴퓨터 아키텍처 분야의 새로운 아이디어와 연구 결과를 소개하는 포럼)에서 삼성SDS 클라우드 연구팀이 발표한 PAISE(PIM-Accelerated Inference Scheduling Engine) 연구가 이러한 맥락에서 진행됐습니다. 트랜스포머 기반 LLM의 어텐션 병목을 해결하기 위해, GPU와 PIM 간의 작업을 효율적으로 나누는 통합 스케줄링 프레임워크를 제안했어요. 이를 통해 LLM 추론 성능을 최대 48.3% 향상시키고, 전력 사용은 11.5%까지 줄일 수 있었습니다.
PIM(Processing-In-Memory)이란?
PIM(Processing-In-Memory)은 기존의 컴퓨터 아키텍처처럼 데이터를 메모리에서 CPU로 이동시켜 처리하는 방식이 아니라, 메모리 자체에 연산 기능을 통합하여 데이터 이동 없이 직접 처리하는 컴퓨팅 구조입니다. 전통적인 방식에서는 연산을 위해 대규모의 데이터를 메모리에서 프로세서로 지속적으로 전송해야 해 ‘메모리 병목(Bandwidth Bottleneck)’과 높은 에너지 소비가 발생하는데, PIM은 이 문제를 근본적으로 해결할 수 있는 기술로 주목받고 있습니다.
인터뷰를 진행하고 있는 장민성 클라우드 연구팀장
“인류를 위한 클라우드 기술을 연구합니다”
컴퓨팅 분야에서 가장 유망한 UC 버클리 스카이컴퓨팅 랩과 삼성SDS의 협업은 어떻게 시작되었나요?
이온 스토이카 (Ion Stoica)교수가 추진하는 '열린 협력을 통한 혁신' 철학에 공감하여 UC 버클리 스카이컴퓨팅 랩과의 협업에 함께하게 되었습니다. 데이터브릭스(Databricks) 창업자이시기도 한 이온 스토이카 교수는 데이터 프로세싱 프레임워크도 만든 클라우드 기술의 리더인데요. 그가 설립한 스카이컴퓨팅 랩은 누구나 클라우드를 이용하고 나아가 AI를 활용할 수 있는 기술을 만들자는 비전을 가지고 있어요.
그런데 클라우드와 AI는 인류 전체에 영향을 주는 기술이기 때문에 연구소 하나 혹은 빅테크 기업 한 곳의 노력만으로는 이러한 변화를 만들기 어렵습니다. 그래서 스카이컴퓨팅 랩은 미션에 공감하는 기업들과 함께 협업하고 있어요. 삼성SDS 또한 삼성SDS 클라우드 플랫폼과 AI 서비스가 그런 열린 협력의 혁신으로 인류 발전에 이바지할 수 있다고 생각해서 창립 멤버로 참여했습니다.
UC버클리 스카이컴퓨팅랩 공식 웹사이트
이 협업을 통해 나온 대표적인 결과물이 vLLM과 SkyPilot입니다. 현재 vLLM은 삼성SDS, 마이크로소프트, 메타 등 유수의 기업이 AI 서비스에 사용되는 소프트웨어이며, SkyPilot은 멀티 클라우드를 쉽게 사용할 수 있게 해주는 도구예요. 삼성 클라우드 플랫폼(SCP)도 스카이파일럿을 설치하면 바로 사용할 수 있도록 통합 작업을 완료했습니다.
vLLM과 SkyPilot(스카이파일럿)이란?
vLLM은 UC 버클리 스카이컴퓨팅 연구실이 개발한 고성능 LLM 추론 라이브러리로, PagedAttention 기반 KV 캐시(LLM 추론 과정에서 효율성을 높이는 핵심 기술) 최적화와 FlashAttention·CUDA 그래프 활용으로 HuggingFace 대비 최대 24배 높은 처리량을 자랑합니다. SkyPilot은 클라우드 인프라에 독립적인 오픈소스 실행 및 배포 프레임워크로, 자동 리소스 탐색·비용 최적화·멀티 리전/클라우드 지원 등을 통해 vLLM 기반 서비스를 손쉽게 확장 가능하게 해줍니다. 이 두 도구를 사용하면, 연구실·기업이 복잡한 인프라 관리 부담 없이 저비용·고가용성 LLM 서비스를 빠르게 배포하고 운영할 수 있습니다.
UC버클리 스카이컴퓨팅랩 공식 웹사이트에 소개된 협업 기업 리스트
“연구소가 직접 상품화 참여한 아카이브 스토리지”
삼성SDS 클라우드 연구팀에서 진행했던 프로젝트 중 개인적으로 기억에 남는 프로젝트가 있다면 무엇인가요?
아카이브 스토리지 상품화 프로젝트입니다. 원래 연구소는 요소 기술을 개발해서 사업부에 이관하면 사업부에서 상품화하는 것이 일반적인데, 이 프로젝트는 예외적으로 요소 기술을 가지고 있는 연구소에서 상품 기획까지 적극적으로 참여했어요. 이례적인 상황이었죠.
당시 클라우드 연구팀과 우리 회사 클라우드 서비스 사업부의 사업팀, 기술팀, 운영팀등 다양한 구성원이 하나의 팀으로 매일매일 회의하며 상품을 개발했어요. 연구소에서는 할 수 없는 가격 책정, 운영 체계 구축, 고객 판매 전략까지 모든 것을 함께 담당했습니다. 스타트업 같은 분위기였죠. 여러 어려움도 있었지만,
빠른 시일 내에 제품화를 위해 함께 협력했던 이 경험이 기억에 강렬하게 남습니다.
삼성SDS Archive Storage 서비스란?
Archive Storage는 장기 보관이 필요한 대용량 데이터를 위해 설계된 저비용 객체 스토리지 서비스로, 비용 효율적으로 데이터를 보관합니다. 사용자가 설정한 기준을 경과한 데이터를 Object Storage에서 자동으로 Archive Storage로 이동시키는 수명 주기 관리(Lifecycle) 기능을 제공하며, 필요 시 데이터를 Object Storage로 복구할 수 있습니다.
삼성SDS 아카이브 스토리지 상품 상세 페이지
“더 자연스럽게 연결될 스토리지 서비스”
10년 후 클라우드 기술은 어떻게 발전할 것으로 예상하시나요?
컴퓨팅 역사를 보면 주기적으로 중앙화된 컴퓨팅과 개인화된 컴퓨팅이 반복됩니다. 초기에는 한 빌딩을 가득 채우는 메인프레임 대형 컴퓨터의 터미널로 작업했고, 그 다음엔 개인용 컴퓨터 시대가 왔죠. 지금은 다시 클라우드 시대가 되면서 중앙화되고 있고, AI 서비스는 클라우드 환경에서 제공되고 있어요.
저는 앞으로 10년 후에는 중앙화된 클라우드, 엣지 컴퓨팅, 그리고 모바일 기반 컴퓨팅이 공존할 것으로 예측합니다. 대규모 데이터 처리나 대규모 자원이 필요한 경우에는 여전히 클라우드가 있을 것이고, 개인화된 처리는 모바일 컴퓨팅에서 담당하는 것이죠.
가장 중요한 변화는 사용자 관점에서 이 모든 것이 자연스럽게 연결될 것이라는 점입니다. 사용자가 클라우드, 엣지, 모바일 컴퓨팅 중 어떤 자원을 사용할지 직접 결정할 필요가 없어지고, AI 기술을 이용한 에이전트가 자율적으로 판단해서 클라우드와 모바일 사이에서 일을 처리해줄 거예요. 클라우드와 모바일이 경계없이 자연스럽게 연결되는 컴퓨팅 환경이 될 것 같습니다.
"연구가 현실과 만나는 곳, 삼성SDS 클라우드 연구팀"
기업 연구소를 이끄는 과정에서 장민성 연구팀장님께서 중요하게 생각하는 가치는 무엇인가요?
기업 연구소에서 연구를 수행한다는 것은 본질적으로 두 가지 상충하는 요구사항을 조화시키는 과정입니다. 첫째는 연구 활동이 궁극적으로 기업의 수익 창출에 기여해야 한다는 현실적 요구이고, 둘째는 혁신을 추구해야 하는 연구소 본연의 가치에 대한 요구입니다. 즉시 수익화 되지 않더라도 미래를 대비하는 연구의 중요성을 인정하면서도, 동시에 기업의 비즈니스 목표와 부합해야 하는 딜레마가 있죠.
저는 1999년 처음 기업연구소에서 커리어를 시작한 이후 체득한 경험을 바탕으로, 이 균형점을 찾아가는 것이 기업 연구의 핵심 역량이라고 확신합니다. 예를 들어, 아카이브 스토리지 기술의 경우, 기반 기술을 선제적으로 준비하지 않았다면 상품화의 지연이 불가피했을 것 같아요. 그러나 삼성SDS 연구소에서 능동적으로 기술 준비를 진행했기에 시장 기회에 즉시 대응할 수 있었습니다.
따라서 혁신적 연구는 비즈니스 가치와의 교집합 영역에서 발견되어야 하며, 이것이 기업 연구의 존재 이유입니다. 그리고 핵심 사업 영역에서 기술적 우위를 확보하는 것도 필요합니다. 기술 경쟁력에서 뒤처질 경우, 장기적으로 가격 경쟁력과 원가 경쟁력, 품질 경쟁력 모든 면에서 시장 선도 그룹에 진입하기 어렵다는 것이 제 철학이에요.
마지막으로 삼성SDS 클라우드 연구팀에 관심을 가지고 있는 연구자가 있다면, 어떤 말씀을 드리고 싶으신가요?
삼성SDS 클라우드 연구팀의 강점은 연구 결과가 즉각적으로 비즈니스와 현실에 적용될 수 있는 환경이라는 점입니다. 저희는 혁신 기술의 결과를 논문으로 출판하는 것뿐만 아니라, 실제 상품을 개발하고 사업에 적용하는 전체적인 과정을 한번에 경험할 수 있어요. 연구와 실제 적용 사이의 간극을 직접 메우는 작업을 할 수 있다는 것이 삼성SDS 연구소의 매력이라고 생각합니다.
또한 큰 기업들이 가진 어려운 문제들을 해결하는 연구를 주로 하는 점도 말씀드리고 싶어요. 이러한 '어려움'이 문제 해결을 좋아하는 연구자와 엔지니어에게는 우리 연구소에서 일하는 것이 매력적으로 다가올 수 있다고 생각해요.
지속적으로 성장하는 클라우드 기술을 꿈꾸고 있는 장민성 연구팀장
마지막으로, 삼성SDS 연구소에서는 클라우드 연구팀뿐만 아니라 AI 연구팀, 보안 연구팀과도 시너지를 내며 협업하고 있기 때문에 다양한 IT 기술을 배우고 경험할 수 있습니다. 특히 지금처럼 AI와 클라우드가 밀접하게 연결되는 시대에는 이런 융합적 경험이 중요하다고 봅니다. 삼성SDS 클라우드 연구팀은 앞으로도 지속적으로 성장할 수 있는 클라우드 기술을 만들어갈 예정입니다.
삼성SDS 클라우드 연구팀이 만들어가는 미래는 단순한 인프라 제공을 넘어서는 의미를 지니고 있습니다. AI 시대의 가장 소중한 자원인 GPU를 효율적으로 활용하려는 도전은 기술적 혁신을 넘어 AI 민주화라는 가치를 향하고 있습니다. 삼성SDS 기술 블로그에서 더 많은 이야기를 확인해 보세요.