클라우드
AI 추론 서비스의 새로운 관문, Inference Gateway
LLM 추론 요청을 토큰 사용량과 프롬프트 안전성에 따라 통제하고, 서버 상태에 맞춰 분배하는 Inference Gateway의 구조와 역할을 살펴봅니다.
클라우드
LLM 추론 요청을 토큰 사용량과 프롬프트 안전성에 따라 통제하고, 서버 상태에 맞춰 분배하는 Inference Gateway의 구조와 역할을 살펴봅니다.