Data Ops

데이터 처리 작업을 위한 워크플로우를 작성하고 작업 수행을 자동화하는 서비스

Data Ops는 주기적, 반복적으로 발생하는 데이터 처리 작업에 대해 워크플로우를 작성하고 작업 스케줄링을 자동화하는 Apache Airflow 기반의 관리형 워크플로우 오케스트레이션 서비스입니다. Samsung Cloud Platform의 Kubernetes Engine 클러스터 환경에서 단독으로 사용하거나, 다른 애플리케이션 SW와 함께 사용할 수 있습니다.

서비스 특징

01

04

서비스 구성도

  • 사용자 → 상품 신청/배포 → Data Ops Image & Chart Repository
    • Data Ops Image & Chart Repository
      Manager/ Manager Client
      Airflow/ 웹서버 , 스케줄러, 실행기
    • Data Ops Image & Chart Repository → >Kubernetes Engine
      Kubernetes Engine
      Container/ Container/ Container
  • Data Engineer → 데이터 처리 → Data Ops Image & Chart Repository

주요 기능

  • 간편한 설치

    - 컨테이너 환경의 오픈소스 Airflow 설치

  • GUI 기반의 편리한 관리

    - Airflow 설정을 컨테이너 환경에서 손쉽게 관리
    - Airflow 플러그인 배포
    - Airflow 서비스에 대한 상태 모니터링

  • 워크플로우 작성 및 스케줄링

    - Python 기반의 워크플로우 작성으로 확장성 용이
    - 스케줄러를 통한 작업 수행 자동화
    - DAG 작업별 리소스 관리
    - 데이터 처리 작업에 대한 이슈 및 실패에 대한 재처리 플랜

  • Airflow 구성 요소

    - 웹서버 : DAG의 구성 요소와 상태를 시각화. Airflow 설정에 대한 구성 관리
    - 스케줄러 : 다양한 DAG와 해당 작업을 오케스트레이션. DAG 예약/실행
    - 실행기 : Kubernetes 기반 동적 Executor인 KubernetesExecutor 제공
    - 메타데이터 DB : DAG, 해당 실행 및 사용자, 역할 및 연결 등 Airflow 구성에 대한 메타데이터 저장

요금 기준

    • 과금
    • Data Ops가 사용하는 Kubernetes Engine의 Pod들의 CPU 사용시간
무엇이든 물어보세요

비즈니스 성공에 필요한 핵심 기능을 제공하는 삼성SDS 클라우드를 살펴보고, 클라우드 전문가와 상담해보세요.