클라우드
GPU 메모리 병목을 해결하는 세 가지 방법 – KV Cache Offload, Sleep/Wake, NPU
GPU 사용률은 절반도 되지 않는데 더 이상 요청을 받지 못하는 순간이 옵니다. 연산이 부족한 것이 아니라면 무엇이 막고 있는 걸까요? 추론 서비스의 실질적 한계선을 결정하는 GPU 메모리 문제와, 이를 공간·시간·하드웨어 세 방향에서 해결하는 기술을 삼성SDS 추론 서비스의 실제 적용 결과와 함께 살펴봅니다.