Data Flow

다양한 소스로부터 데이터를 추출/변환/전송하고 데이터 처리 흐름을 자동화하는 서비스

Data Flow는 다양한 데이터 소스로부터 대용량의 데이터를 추출하고, 스트림/배치 데이터의 변환/전송에 대한 처리 흐름을 시각적으로 작성하는 데이터 처리 흐름 도구로, 오픈소스 Apache NiFi를 제공합니다. Data Flow는 Samsung Cloud Platform의 Kubernetes Engine 클러스터 환경에서 단독으로 사용하거나, 다른 애플리케이션 SW와 함께 사용할 수 있습니다.

서비스 특징

01

04

서비스 구성도

  • 사용자 → 상품 신청/배포 → Data Flow Image & Chart Repository
    • Data Flow Image & Chart Repository
      Manager/ Manager Client
      NiFi/ ZooKeeper/ NiFi Registry
    • Data Flow Image & Chart Repository → >Kubernetes Engine
      Kubernetes Engine
      Container/ Container/ Container
  • Data Engineer → 데이터 처리 → Data Flow Image & Chart Repository → >Kubernetes Engine

주요 기능

  • 간편한 설치

    - 웹 콘솔을 통해 컨테이너 기반의 오픈 소스 NiFi 확장형 클러스터 환경 자동 설치
    - 초기 설치 항목 : NiFi, ZooKeeper, NiFi Registry

  • 데이터 처리

    - 연결 가능 데이터 소스 : HDFS, HIVE, HBASE, Solr, Cassandra, MongoDB, Elasticsearch, Kafka, RabbitMQ, Syslog, HTTPS, SFTP 등
    - 실시간 데이터 연결, 데이터의 이동 경로 추적, 데이터 분실 방지
    - 대용량 데이터 및 병렬 작업 처리

  • GUI 기반의 편리한 관리

    - GUI 기반으로 NiFi 설정 및 Nar 파일에 대해 클러스터 환경에서 배포/관리
    - NiFi 템플릿 공유/배포 기능

요금 기준

    • 과금
    • Data Flow가 사용하는 Kubernetes Engine의 Pod들의 CPU 사용시간
무엇이든 물어보세요

비즈니스 성공에 필요한 핵심 기능을 제공하는 삼성SDS 클라우드를 살펴보고, 클라우드 전문가와 상담해보세요.