AIOS

서비스 신청 바로가기

생성된 SCP 자원에서 바로 사용할 수 있는 LLM 서비스

AIOS는 Samsung Cloud Platform의 Virtual Server, GPU Server, Kubernetes Engine 서비스를 통해 생성된 자원에서 별도의 LLM 서비스 설치나 설정 없이,
즉시 LLM을 사용할 수 있는 환경을 제공합니다. AIOS는 Samsung Cloud Platform 내부 인프라에서 실행되므로, 데이터 유출을 최소화하며 프라이빗 클라우드 수준의 보안을 제공합니다.

AIOS 서비스 특징

  • 편리한 LLM 서비스 사용

    AIOS는 SCP에서 생성된 Virtual Server, GPU Server, Kubernetes Engine의 Node에 LLM Endpoint를 제공합니다. GPU 기반의 AIOS LLM을 통해, 사용자는 자원 배포 직후부터 즉시 LLM 서비스를 이용할 수 있습니다.

  • AI 개발 생산성 향상

    AI 개발자는 AIOS의 개발자 친화적 인터페이스인 Python, REST API 기반의 API와 SDK를 제공받아, AI 애플리케이션 개발의 생산성과 속도를 대폭 향상할 수 있습니다.

  • 다양한 AIOS 모델 제공

    AIOS는 텍스트 생성, 질문 답변, 요약 등 자연어 처리, 생성된 텍스트의 안전성 검사, 텍스트 유사도 계산이나 정보 검색, 검색 결과나 추천 항목의 순위 재조정 등을 LLM 응답 생성을 위한 다양한 AIOS 모델을 제공합니다.

  • 효율적인 비용 관리

    AIOS는 필요한 순간에 LLM 자원을 사용함으로써 클라우드 비용을 최적화 할 수 있습니다.

01

04

AIOS 서비스 구성도

User App.Dev

  • conversational ai
  • language translation
  • text/code generation
  • text/data summarization

samsung Cloud platform

  • virtual server
  • gpu server
  • kubernetes engine
AIOS
AIOS LLM
  • Llama계열 모델
  • 추론 모델
  • 보안 guard 모델

AIOS 주요 기능

  • AIOS LLM Endpoint 제공

    - 생성된 Virtual Server, GPU Server, Kubernetes Engine 서비스 자원의 상세조회 화면에서 LLM Private Endpoint 자동 제공

  • 시각화된 리포트 제공

    - 서비스 유형, 리소스, 모델별 호출 회수 및 Token 사용량 조회 가능
    - LLM 모델별 전체 호출 통계 조회 가능

  • AIOS 호환성

    - OpenAI 및 LangChain SDK와의 호환성을 지원하여 기존 개발 환경이나 프레임워크와 손쉽게 연동 가능

무엇이든 물어보세요

비즈니스 성공에 필요한 핵심 기능을 제공하는 삼성SDS 클라우드를 살펴보고, 클라우드 전문가와 상담해보세요.