Simple AI Inference

서비스 신청 바로가기

AI 파운데이션 모델을 안정적으로 제공하는
완전관리형 AI 추론 서비스

Simple AI Inference는 신뢰할 수 있는 다양한 AI 파운데이션 모델을 제공하는 완전관리형 서비스입니다.
Samsung Cloud Platform 내부 자원 뿐만 아니라 외부에서도 직접 AI 모델을 사용할 수 있도록 Private 및 Public 엔드포인트 환경을 제공합니다.
OpenAI API 호환성을 지원하여 기존 개발 환경 및 프레임워크에 쉽게 연동되므로 AI 애플리케이션 개발 생산성이 대폭 향상됩니다.

서비스 특징

  • 편리한 AI 모델 사용

    인프라 구축이 필요 없는 서버리스 형태의 완전관리형 서비스로 동일 API를 통해 여러가지 AI 모델을 즉시 호출하여 사용할 수 있습니다. 또한 다양한 최신 오픈소스 모델을 신청 후 바로 활용할 수 있어 개발 용이성이 대폭 향상됩니다.

  • 안정적인 서비스

    분당 처리하는 데이터 양(TPM: Token Per Minute)과 분당 호출 횟수 (RPM: Request Per Minute) 제한 기능을 통해 갑작스러운 트래픽 증가에도 서비스 가용성을 일정하게 유지합니다. 정교한 트래픽 컨트롤 시스템을 바탕으로 대규모 데이터 처리시에도 안정적인 서비스 환경을 제공합니다.

  • 강력한 보안

    고객의 데이터는 제공되는 모델의 학습을 위해 사용되지 않기 때문에 데이터가 외부로 유출되지 않고 강력한 Samsung Cloud Platform의 보안 환경 내에서 안전하게 보호됩니다.

  • 효율적인 비용 관리

    실제 사용한 토큰 수에 따라 비용을 지불하는 구조로 Input/Cached/Output 토큰 수량을 기준으로 과금됩니다. 따라서 서비스 규모와 트래픽에 따른 유연하고 효율적인 비용 관리가 가능합니다.

01

04

서비스 구성도

User App.Dev

  • conversational ai
  • language translation
  • text/code generation
  • text/data summarization

samsung Cloud platform

  • virtual server
  • gpu server
  • kubernetes engine
AIOS
AIOS LLM
  • Llama계열 모델
  • 추론 모델
  • 보안 guard 모델

주요 기능

  • 편리한 LLM 모델 확인
    1. LLM 모델 카탈로그 : 지원 모델별 특징 및 주요 활용 사례를 손쉽게 확인
    2. 오픈소스 모델 : 다양한 오픈소스 모델을 제공하며, 콘솔을 통해 지원되는 모델을 손쉽게 확인 가능
  • 유연한 모델 신청 및 활용
    1. 사용 모델 신청 : 신청한 모델은 동일 Account 내의 모든 사용자가 사용 가능
    2. 서버리스 서비스 제공 : 자원 관리 필요 없이 API를 통해 신청된 모델을 즉시 사용 가능
    3. Public/Private 엔드포인트 제공 : 추론 사용 형태에 따라 외부에서 접속하여 사용하는 Public 사용 또는 Samsung Cloud Platform 자원 내에서만 사용하는 Private 사용 형태 제공
  • 안정적인 서비스 운영
    1. Traffic Control : TPM/RPM을 통한 사용 안정성 향상
  • 강력한 보안 적용
    1. Safety Guard 제공 : AI 서비스의 안정성, 보안성, 신뢰성을 확보하기 위한 기능 제공
    2. 기업용 보안 제공 : 고객 데이터가 외부 모델 학습에 절대 사용되지 않아 안전하게 보호