SCP AI Inference 서비스의 게이트웨이와 인퍼런스 플랫폼 설계·개발을 담당하고 있습니다. 고객의 요청이 게이트웨이를 지나 GPU 위 모델에 닿기까지, 인증과 라우팅부터 요청 스케줄링, 토큰 사용량 계측까지 필요한 기능들을 만들고 다듬습니다.
- 무엇이든 물어보세요
- 특정 비즈니스 솔루션 문의에서부터 일반 문의에 이르기까지 삼성SDS가 도와드립니다.