Samsung SDS

GPU 사용률은 절반도 되지 않는데 더 이상 요청을 받지 못하는 순간이 옵니다. 연산이 부족한 것이 아니라면 무엇이 막고 있는 걸까요? 추론 서비스의 실질적 한계선을 결정하는 GPU 메모리 문제와, 이를 공간·시간·하드웨어 세 방향에서 해결하는 기술을 삼성SDS 추론 서비스의 실제 적용 결과와 함께 살펴봅니다.

기업의 75%가 에이전틱 AI를 도입하고 있지만, 운영 환경에서 성과를 거둔 기업은 소수에 그칩니다. 글로벌 IT 리더들의 사례를 통해 데이터·거버넌스·조직을 어떻게 다시 설계해야 하는지 살펴봅니다.

국산 모델을 쓰고 데이터를 국내에 저장하면 정말 기업이 통제하는 AI일까요? AI가 비즈니스의 기반이 된 시대, 모델 하나로는 확보할 수 없는 소버린 AI와 AI Full Stack의 필요성을 짚어봅니다.

AI가 업무를 수행할수록, 무엇을 믿고 맡길지 판단하는 기준이 필요합니다. 모델 성능을 넘어 가치·원칙·서비스 품질·기술 측정의 세 계층으로 AI 서비스의 도입 가능성을 확인합니다.

기업 AX의 핵심은 최고 성능의 모델을 찾는 것이 아니라, 업무 목적과 환경에 맞춰 모델을 유연하게 교체하고 안정적으로 통제할 수 있는 체계를 구축하는 것입니다.

AI 교육의 성과는 배운 내용을 업무에 적용할 때 드러납니다. 경영진의 참여부터 직무별 실습, 결과 검증과 현업 지원까지, 기업의 AI 활용 역량을 높이는 교육 설계법을 살펴봅니다.

LLM 추론 요청을 토큰 사용량과 프롬프트 안전성에 따라 통제하고, 서버 상태에 맞춰 분배하는 Inference Gateway의 구조와 역할을 살펴봅니다.