Data Ingestion
- 실시간 데이터 수집
- 대량/로그 데이터 수집
수많은 채널로부터 다양한 소스와 유형의 데이터를 손쉽게 수집 할 수 있습니다.
브라이틱스 데이터 허브
데이터 라이프사이클 전반을 관리·지원하는 데이터 플랫폼
데이터를 수집 및 저장하고
필요한 정보를 보다 쉽게 찾아
활용할 수 있도록 관리하고 준비합니다.
다양한 데이터 채널로부터 고속으로 데이터를 수집하고, 이를 관리하는 스케쥴링과 모니터링 기능을 제공하며 데이터를 탐색하고 분석 및 활용 가능하도록 전처리를 합니다.
또한 하둡 생태계 시스템 오픈소스를 패키징하고 서비스별 호환성을 확보하여 고객 데이터의 안정적인 통합 및 관리가 가능합니다.
또한 하둡 생태계 시스템 오픈소스를 패키징하고 서비스별 호환성을 확보하여 고객 데이터의 안정적인 통합 및 관리가 가능합니다.
브라이틱스 데이터 허브의 특장점
자동화된 데이터 라이프사이클 관리 제공
오픈소스 Nifi와 Airflow를 기반으로 다양한 유형의 데이터를 수집하고 작업을 정의하여, 워크플로우 기반의 데이터 스케줄링 기능을 제공합니다. 또한, 매니저 포털에서 서비스별 리소스 활용 현황도 모니터링 할 수 있습니다.
엑셀과 유사한 기능으로 데이터 탐색 및 전처리
로우 코드 전처리 기능을 제공하여 누구나 쉽게 데이터 전처리를 수행할 수 있습니다.
또한, 데이터 프로파일링을 통해 데이터 탐색 및 데이터 분포 현황, 통계정보 등을 확인 할 수 있고, 조인의 유형 및 조건을 몇 번의 클릭만으로 구성할 수 있으며 데이터 원천 확인이 가능합니다.
데이터의 안정적인 저장과 모니터링
임계치 기반의 진단 기능으로 장애를 사전에 대응하고, 통합 로그 모니터링으로 모든 서비스 로그를 한번에 확인하여 조치할 수 있는 가이드를 제공합니다.
뿐만 아니라, 웹 기반으로 쉬게 설치할 수 있고, 하이브 쿼리 대비 약 11배 빠른 쿼리 성능을 제공받을 수 있습니다.
아키텍처
브라이틱스 데이터 허브 구성
* 구성 오퍼링을 클릭해 보세요.
- 데이터 수집
- 데이터 처리 관리
- 데이터 퍼포먼스
- 데이터 소스 탐색
- 데이터 변환
- 전처리 데이터 작업 생성
- 샘플 데이터 프로파일
- 데이터 작업 스케쥴링
- 데이터 파이프라인
- 데이터작업 통합 관리
Data Warehouse
- 정형 데이터 관리
- 고속 쿼리 엔진
Data Hub Basic
- 데이터 저장
- 데이터 보안
- 데이터 거버넌스
- 리소스 관리
데이터 플로우(Data Flow)
데이터 랭글러(Data Wrangler)
실무자에게 익숙한 엑셀과 유사한 기능을 제공하여, 데이터를 탐색하고 원하는 형태로 재구성할 수 있습니다.
데이터 옵스(Data Ops)
데이터 수집 Job을 관리하고 스케줄링 및 모니터링 할 수 있습니다.
데이터 허브(Data Hub)
하둡 생태계를 기반으로 데이터를 안전하게 저장 및 분석하고, 효율적으로 관리할 수 있는 모니터링 체계를 제공합니다.
Awards & Recognition
글로벌 전문가들이 인정하는 삼성SDS
삼성 SDS, IDC MarketScape APEJ AI Life-Cycle 소프트웨어 분야 리포트 국내 유일 우수 벤더로 최초 등재
* IDC MarketScape: Asia/Pacific (Excluding Japan) AI Life-Cycle Software Tools and Platforms 2022 Vendor Assessment (Doc # AP48940522)2022.10
삼성SDS는 IDC에서 발간한 MarketScape: Asia/Pacific Vision AI Software Platform 2021 Vendor Assessment 리포트에서 Major Player 중 하나로 선정
* MarketScape Asia/Pacific (Excluding Japan) Vision AI Software Platform 2021 Vendor Assessment, IDC2021.10
활용예시
-
공공 안전 데이터 통합 저장공공 생활 안전 데이터 분석을 위해 30여개 시스템으로부터 약 145억건의 정형데이터와 약 360TB 규모의 비정형 데이터를 통합 저장하고 저장된 대용량 데이터의 실시간 처리 및 각 데이터 노드 별 통합 모니터링을 지원합니다. -
데이터 레이크를 활용한 해상/항공 운임 시황 예측데이터 허브로 구성한 데이터 레이크를 통해 운임, 재해정보, 시황 데이터 등 외부·비정형 데이터를 확보 및 관리하고, 복잡한 대용량의 물류 데이터를 분석할 수 있는 환경을 마련하였습니다.
이를 통해 선박화물 ETA 예측, 해상/항공 운임 시황 예측 등의 데이터 레이크 기반 물류 분석이 가능해졌습니다. -
재정 데이터 기반 통합 데이터 플랫폼중앙재정, 지방재정, 행정, 경제 등 다양한 데이터를 하나의 데이터 플랫폼으로 통합하여 재정 데이터 분석·활용 목적의 데이터 레이크를 구축하였고, 통합된 재정 데이터에 대한 접근성 향상 및 권한/보안 강화로 통합 데이터 활용도를 높였습니다.
솔루션 지원사양
지원사양
-
데이터 허브 플랫폼 (마스터 노드)
X86서버 기준, 3 노드 이상으로 구성
- CPU : 16코어/노드
- 메모리 : 128GB/노드
- 디스크 : 1TB/노드
- 운영체제 : CentOS, RHEL 7.x -
데이터 허브 플랫폼 (워커 노드)
X86서버 기준, 3 노드 이상으로 구성
- CPU : 16코어/노드
- 메모리 : 256GB/노드
- 디스크 : 4TB/노드
- 운영체제 : CentOS 7.x, RHEL 7.x -
적합한 클라우드 환경
SDS Cloud, Amazon Web Service, MS Azure, Google Cloud 등
-
플랫폼 사용자용 PC
- 브라우저 : Chrome (50.0 버전 이상)
- 해상도 : 1280 * 900 권장
가이드
사용자 가이드
브라이틱스 데이터 허브에 대한 사용자 가이드입니다.
Brightics Data Hub에 대해 무엇이든 물어보세요
삼성SDS의 AI 전문가들이 무엇이든 친절하고 신속하게 답변해드립니다.
