Data Catalog (데이터 카탈로그)

데이터 자산의 메타데이터를 수집하고 통합 관리하는 서비스

데이터 카탈로그는 기업 내 모든 데이터 자산의 메타데이터를 수집하여 통합 관리함으로써 데이터 분석가, 데이터 사이언티스트, 개발자 등 다양한 사용자들이 데이터를 더욱 효과적으로 활용할 수 있도록 지원하는 서비스입니다. 데이터 수집과 통합을 자동으로 수행하여 메타데이터를 항상 최신 상태로 유지할 수 있으며, 강력한 검색과 데이터 분류를 통해 더욱 효율적으로 데이터 자산을 활용할 수 있습니다.

데이터 카탈로그 서비스 특징

01

04

데이터 카탈로그 서비스 구성도

  • 사용자 → 상품 신청/배포 → Data Catalog ← 데이터 처리 ← Data Engineer
  • Data Source Crawling → Data Catalog
  • Data Source Hooking → Data Catalog
Data Catalog
  • Metadata Crawler: ATLAS, Ranger, Kafka, HBASE, HDFS, SOLR, PostgreSQL, ZooKeeper
  • Catalog Server: ATLAS, Ranger, Kafka, HBASE, HDFS, SOLR, PostgreSQL, ZooKeeper
Data Source
  • Oracle DataBase, PostareSQL, Vertica, Microsoft SQL Server, MariaDB, MySQL
  • HIVE

데이터 카탈로그 주요 기능

  • 메타데이터 자동 수집

    - 메타 크롤러 : 데이터 소스의 DB, 스키마, 테이블, 칼럼 등 메타 정보 수집
    - 리니지 크롤러 : 데이터 소스의 History 정보 수집
    - 샘플 크롤러 : 메타데이터의 샘플 데이터 수집

  • 데이터 계보 확인

    - 데이터의 흐름을 시각화하여 제공
    - 테이블 및 스키마 변경 이력 관리

  • 통합 검색

    - 메타데이터, 테이블명, 태그 등의 조건으로 데이터 검색
    - Table Summary, Columns, Lineage 조회 등 테이블 상세 조회
    - Role, Owner, Classification, Terms 등 필터별 검색

  • 데이터 분류

    - 자산의 주요 특성 식별
    - 데이터 보호를 위한 그룹화
    - Tag Policy를 통한 메타데이터 접근제어 기능 제공

데이터 카탈로그 요금 기준

    • 과금
    • Data Catalog가 사용하는 VM 자원에 따른 과금
    • VM 자원 비용, 스토리지 비용은 별도 과금
무엇이든 물어보세요

비즈니스 성공에 필요한 핵심 기능을 제공하는 삼성SDS 클라우드를 살펴보고, 클라우드 전문가와 상담해 보세요.

공유하기