loading...

[성과를 창출하는 데이터 품질 관리] ② 데이터 품질관리 시스템 구축 사례

성과를 창출하는 데이터 품질관리2 : 데이터 품질관리 시스템 구축 사례

3  기준정보 정확도 제고를 위한 DQM 시스템 사례


3.1 품질관리 대상 선정의 중요성

기업이 관리하는 데이터의 규모가 무한하다고 느껴질 만큼 방대해지고 있어, 적합한 품질관리 대상 데이터를 선정하는 것은 비즈니스 성패를 결정 짓는 중요한 요소로 작용합니다. 전사에서 운영하는 모든 정보시스템과 데이터를 대상으로 품질관리를 한다면 정보를 분석하고 나열하는 것만으로도 수많은 자원과 시간이 필요하게 됩니다. 이는 결국 실행 불가능한 이상적 계획으로 귀결되어 데이터 품질관리의 효용성을 재검토해야 하는 결과를 가져올 수도 있습니다.
그래서 초기 단계 데이터 품질관리 체계를 정착하기 위해서는 가시적 성과를 빠르게 도출할 수 있는 대상을 선별해야 합니다. 아래와 같은 기준을 중심으로 초기 단계 품질관리 대상을 선정하면 비용 대비 효과 측면에서 탁월한 성과를 거둘 수 있을 것입니다.

• 다수 사용자/부서/시스템에 동일기준으로 적용되어야 하는 데이터
- 품질 이슈로 인한 영향이 크므로 데이터 품질개선 활동에 대한 효과도 큽니다.
• 자주 변동되지 않고 장시간에 걸쳐서 활용되는 데이터
- 업무 과정에서 빈번하게 등록, 변경되는 데이터는 대부분 트랜잭션 데이터로 이에 대한 품질관리는 비즈니스 프로세스 개선 및 시스템 보완 영역에 가깝습니다. 기준정보의 경우 정적인 데이터로 오랜 시간 동일값을 유지하는 경우가 많습니다.
• 품질 수준을 정량화된 형태로 측정할 수 있는 데이터
- 정보의 누락, 실물과 정보의 불일치, 시스템간 불일치와 같은 유형으로 명확하게 오류여부 판단이 가능해야 품질 개선도 가능합니다.

결국, 위와 같은 성격에 가장 근접한 데이터는 전사 마스터나 모듈 마스터와 같은 기준정보에 해당되며, 가장 우선적으로 품질 개선을 해야 할 대상입니다. 또한, 초기 단계 품질관리 대상은 결코 고정적인 것으로 볼 수 없으며, 데이터 관리 조직의 경험과 실력이 향상될수록 품질관리 대상도 확대되어야 합니다.

품질관리 대상 기준정보
대상 정의
마스터 기준정보 전사 마스터 - 전사 동일한 의미로 공유되는 핵심정보
- 여러 시스템과 프로세스에 활용되는 전사 공통 정보
• 예시) 고객, 채널, 협력사, 사원, 상품, 제품, 조직 등
모듈 마스터 - 프로세스 영역별 핵심정보
- 모듈 內에서 사용되거나, 전사마스터 활용하여 생성되는 정보
• 예시) 계약, Pricing, Info Record, Claim, Insurance Object 등
Control 기준정보 - 코드와 같이 정형화된 값
• 예시) 회사코드, 직업코드, 통화단위 등
- ERP 설정정보 (Configuration)
운영정보 - 실적을 집계/산출하는 지표성 정보로서 타 업무/시스템에 입력되는 정보
• 예시) 유지율, 연체율, 공실율, 수율 등
- ERP 설정정보 (Configuration)
[표 2] 품질관리 대상 기준정보

3.2 기준정보 품질측정을 위한 품질체계 수립

데이터 품질 측정은 데이터 품질개선을 위한 선행작업으로, 현행 데이터의 품질 이슈를 분석해 계량화하는 것을 의미합니다. 기준정보는 다양한 속성들의 조합으로 구성되어 있으므로, 품질 측정도 속성 단위로 수행됩니다. 아래 표는 데이터 품질 오류를 판단하는 품질지표 예입니다

품질측정의 기준인 주요 품질지표 예시
품질지표 데이터 오류 설명
완전성 정보의 누락 필수 속성은 반드시 데이터 값이 채워져 있어야 합니다.
- 예) 고객명, 모델 Spec 정보 필수
유효성 형식, 산식 등의 규칙 오류 데이터 값이 업무규칙을 준수하여 업무적으로 의미 있는 값이어야 합니다.
- 예) 코드값은 사전 정의된 목록 내에 존재해야 함
유일성 동일 데이터 중복 동일 데이터는 중복없이 하나로 관리되어야 합니다.
- 예) 모델 1 Spec 1 Code
정합성 연관정보의 일관성 오류 상호 관련이 있는 테이블, 속성 간 데이터 값이 모순되지 않아야 합니다.
- 예) 모델 1 Spec 1 Code
일치성 시스템간 불일치 정보 수신시스템은 연계받은 정보를 임의적으로 삭제, 수정없이 활용해야 합니다.
- 예) MDM과 ERP간 동일제품코드에 대한 정보 일치성
적시성 정보 연계 지연 정보 활용시스템에 업무적으로 적시에 제공되어 활용 가능하여야 합니다.
- 예) MP 수행 이전 시점에 확정 Demand 연계
[표 3] 품질측정의 기준인 주요 품질지표 예시

기준정보 품질관리 측면에서 완전성, 유효성, 유일성, 정합성은 생성시스템인 MDM 정보를 대상으로 측정하고, 일치성과 적시성은 MDM에서 정보를 수신 받는 전사 시스템 및 EAI Hub와 MDM 데이터를 비교 분석하여 측정합니다. 기업 및 업종별로 위에 정리한 예시 외에도 추가적인 품질 측정 기준을 정의해서 활용할 수 있습니다. 예컨대, 업무 프로세스에서 정의한 특정 운영기준 준수율, 계획 이행률 등과 같은 지표도 품질개선을 위해 정의가 가능합니다. 다음에는 품질관리 대상과 품질지표를 연결하여 품질 측정을 위한 세부 측정규칙을 정의해야 합니다. 측정규칙이 정의되어야 정기적이고 상시적인 품질모니터링 및 품질개선 활동이 가능해집니다.

품질 측정을 위한 세부 규칙 정의 예시 / Step1. 데이터 품질지표(DQI) 정의 / 완전성, 유일성, 준수율, 유효성, 정확성, 이행률, 일치성, 일관성 / Step2. 정보별 적용 지표 선정 / 정보, 측정규칙, 완전성, 적합성, 준수율 / 제품코드, 제품코드 적합성, 체크, 체크, 체크 / 제품폐기상태, 제품 불용처리 준수율, 체크, 체크, 체크/ 주소, 업체주소 완전성, 체크, 체크, 체크 / Step3.정보별 측정규칙 정의 / 규칙명 : 제품코드 일치율, 기준정보 : 제품, 정의 : 시스템 간 제품코드 속성정보 일치율, 속성 : 제품코드, 기대효과/목적 : 시스템 간 제품코드 속성정보 일치율, 산출식 : 제품코드 일치율 = ( 1 - ( 제품코드 불일치 코드 수 / 전체 제품 코드수(폐기 제외)) ), 데이터 소스 : MDM, ERP, PLM, 측정주기 : 월 1회, 설명 : 제품코드의 속성 별 시스템간 데이터 확인하고, 해당 데이터의 상이 여부 평가 [그림 5] 품질 측정을 위한 세부 규칙 정의 예시

3.3 품질지표 기반의 DQM 시스템 구축 및 활용

품질관리 대상과 품질측정 규칙이 정의되었다면, 이제 상시적인 품질 모니터링 및 품질개선 작업이 필요합니다. 만일 관리대상도 적고 데이터도 소규모인 경우라면 별도의 관리시스템 없이 수작업을 통한 운영을 생각해 볼 수도 있습니다. 그러나 일회성이 아니라 상시적인 운영을 위해서는 품질 측정을 위한 데이터 수집과 평가작업의 자동화가 필수적입니다. 이를 위한 시스템을 DQM(Data Quality Management)이라고 하며, 주로 아래와 같은 기능을 제공합니다.

DQM 시스템 기능 구성도 / 품질대상 관리 : 마스터데이터, 속성, 지표, 지표 오너쉽 / 품질 현황 : 품질측정 결과, 오류데이터, 현황 리포트 / 품질 개선 : 오류원인, 오류조치 결과, 개선과제 / 대쉬보드 / 품질대상 관리 : 데이터 추출대상 메타정보 관리, 품질측정 Job 관리, 통계정보 생성, 스케쥴 관리, 데이터 추출 Job 관리, 품질측정 결과 통보, 사용자&권한 관리 / 데이터 품질 측정 엔진 (ETL Platform) : Profiling, Connector - DB, SAP, 개발&실행&모니터링, Scheduler / 외부연계 : SAP 데이터 추출, Non-Sap 데이터 추출, 용어표준 연계, 메일 연계, 권한관리 연계 / DQM DB : 품질대상, 원천데이터, 품질측정 결과, 오류 데이터, 오류개선, 품질현황 통계 / 연계순서 : 1. 품질대상관리, 2. 품질현황, 3. 품질개선 / 품질현황과 품질개선은 대쉬보드와 연계 / 품질대상관리, 데이터 품질측정 엔진, 외부연계는 서로 연계 [그림 6] DQM 시스템 기능 구성도

DQM 시스템은 데이터 품질관리, 품질측정 엔진, 외부 시스템 연계 등 3가지 주요 기능과 DQM DB로 구성되어 있습니다.

① 데이터 품질관리

  • 품질대상 관리 : 관리대상 세부 정보 및 오너쉽에 대한 관리
  • 품질 현황 : 데이터 품질측정 엔진에 의한 측정결과와 오류 데이터 조회 및 분석
  • 품질 개선 : 데이터 품질오류 개선활동과 근본적 개선을 위한 개선과제 관리
  • 대쉬보드 : 대상, 오류, 개선활동 등에 대한 현황판

② 데이터 품질측정 엔진

  • 속성별 정의된 품질측정 규칙을 정기적으로 실행하기 위한 플랫폼으로, 대량 데이터를 처리하므로 ETL과 같은 솔루션에 기반하여 구축 및 운영

③ 외부시스템 연계

  • 품질측정 대상 시스템 별로 최신 데이터 추출 작업 자동화
  • 품질개선 담당자에게 품질현황 및 오류데이터 자동 전송
  • 시스템 운영에 필요한 전사 권한관리 시스템 연계

그림 7은 ERP 오픈 시 고품질 기준정보를 각 모듈에 제공하기 위해 2개월에 걸쳐 수행한 기준정보의 품질 측정 및 개선 활동 사례입니다. MDM에 적재된 기준정보에 대한 일단위 품질 측정을 통해 점진적으로 품질 오류를 최소화해 가는 과정에서 DQM 시스템을 활용하였습니다.

ERP 오픈 시 기준정보 정비 활용 사례 / 6월1주 품질수준 78.63, 6월2주 품질수준 99.35, 6월3주 품질수준 99.96 (MDM 오픈), 6월4주 품질수준 99.96, 7월1주 품질수준 99.99 (ERP 오픈) , 7월2주 품질수준 99.13 (레거시 확대), 7월3주 품질수준 99.88 / MDM과 ERP 가동 전후에 일단위로 DQM 품질측정 수행 / 기준정보별 정비 담당자에 데이터 품질이슈 공유 및 오류 조치 지원 / 성과 - 1.MDM 가동 전 완전성, 유효성, 유일성 지표 99% 이상 달성 (78.63% -> 99.35 %), 2. MDM과 레거시로 일관성 지표 적용하여 시스템 간 일치성 향상 (99.13% -> 99.88%) 그림 7 - ERP 오픈 시 기준정보 정비 활용 사례

3.4 품질관리 고도화를 위한 고려사항

기업 데이터 품질관리 수준을 높이기 위한 전략적 접근 과정에서 다양한 시행착오를 경험할 수 있는데, 이를 최소화하기 위해 아래와 같은 내용들이 검토되어야 합니다.

① 전사 차원의 데이터 관리 조직 운영은 선택이 아닌 필수입니다.

용어 표준화 및 데이터 모델 관리 사례에서 언급한 것과 동일하게 상시적인 품질관리를 위한 조직 운영이 필요합니다. 대부분의 업무, 프로세스 및 시스템에 공통으로 적용되는 기준정보의 품질을 관리하므로 전사 차원에서 구성해야 하며, 전사 기준정보 운영기준을 수립하고 MDM을 관리하는 기준정보 담당부서와 통합하여 조직하는 것이 효율적입니다.

② 상시적 데이터 품질관리가 필요합니다.

많은 기업들이 고품질의 데이터를 위해 막대한 비용을 정보시스템과 데이터 정비에 투자하지만 대부분 간헐적이고 일회성 데이터 개선 작업에 그치는 경우가 많습니다. 데이터 개선 경험과 노하우를 자산화하고 효과를 점진적으로 가시화하기 위해, 품질관리 체계와 프로세스를 정의하고 시스템화하여 상시적인 운영이 가능하도록 해야 합니다.
상시적 품질 모니터링 및 품질 개선활동 정착화/ 1. 상시적 품질 모니터링 : 1. 모니터링 대상과 품질측정 방법을 정의, 2.품질 측정 주기별로 모니터링 대상 데이터를 추출, 3. 정의된 품질측정 산출식에 의해 품질 측정 / 2. 상시적 품질 개선 활동 : 1. 오류 데이터를 조회하여 오류 발생 원인 파악, 2. 데이터 오류조치 및 근본해결을 위한 개선과제수행, 3. 품질개선 활동 현황 관리 그림 8 - 상시적 품질 모니터링 및 품질 개선활동 정착화

아울러, 데이터 품질관리를 위한 품질기준 및 상시 데이터 품질 측정, 품질현황 모니터링, 품질개선 활동 등을 지원하는 통합 DQM 시스템을 갖추어야 합니다.

데이터 품질관리 시스템화/ 품질관리 대상 : 1. 점검 대상 시스템 - MDM, ERP, Non-ERP(MES, SCM 등), 2. 개선 대상 업무 - 구매, 영업, 재무 / 품질모니터링 : 점검대상 데이터 추출/ 적재, 품질 측정, 측정 결과 정량화 / 품질 개선 : 오류 Data 정비, 검증기능 강화, 운영기준 명확화, 개선과제 수행 등 / DQM Solution : 1. UI Layer - 품질포털(Dashboard, 시스템 설정, 사용자 관리) 2. Application Layer - 품질관리 기준(품질지표관리, 개선 담당자 관리, 지표 상태 관리), 품질측정 관리(데이터추출 및 적재, 품질 측정, 오류 통보), 품질 분석 관리(종합 현황, 조직별 현황, 오류 분석 현황), 품질개선 관리(오류 분석 결과 관리,오류 조치 결과 관리, 개선과제 관리), 3. Engine Layer - Rule 엔진(품질로직 Rule 실행), 스케쥴 엔진(Job 스케쥴 실행), DLM 엔진(Data 생애 관리), 4. Data Layer - Staging 데이터, 품질 측정 데이터, 품질 개선 데이터 그림 9 - 데이터 품질관리 시스템화

통합 DQM 시스템은 Rule 엔진 기반의 품질규칙 설정, 다양한 관점의 품질현황 모니터링, 품질개선 및 조치결과를 통합 관리할 수 있는 Total 솔루션 기능을 제공해야 합니다.

통합 DQM 시스템 주요 기능/ 1. Rule 엔진 기반 품질점섬 규칙 설정 및 품질측정 - Rule 엔진 기반의 품질점검 규칙 설정 기능 제공으로 IT 도움없이 업무 담당자가 품질점검 Rele 설정 가능, 고급 Rele 설정을 위해 솔루션 내 데이터 비교 및 변환 함수 제공 등을 제공하여 복잡한 품질 Rule 설정 가능 / 2. 오류분석 및 조치결과 관리 - 오류재발 방지 및 근본개선을 위해 품질개선 관리 기능인 오류 분석, 조치 결과 관리기능 제공, 오류유형을 관리하여 오류데이터 분석에 활용, 개선 담당자별 오류 조치 현황 확인 및 조치 결과 확인하여 조치요청 메일 전송 가능 / 3. 품질 현황 모니터링 Dashboard - 전사 기준정보 품질수준을 모니터링 할 수 있는 품질 Dashboard 기능 제공, 다양한 품질 Dashvoard 종류 : 전사 품질 수준 현황, 품질지표별 현황, 기준정보별 현황, Worst 5 지표현황 등 / 4. 운영 효율성 증대 및 사용자 편의성 강화 - 품질개선 관리를 위한 연속 업무를 위해 화면간 연계기능 강화, 품질측정 후 개선담당자에게 업무 메일로 오류 내용 통보, 다국어를 지원하여 해외 현지 근무 담당자로 DQM 기능 사용 가능, 상세 오류데이터는 엑셀다운로드 기능 제공 그림 10 - 통합 DQM 시스템 주요 기능

③ 품질관리 대상의 지속적인 확대가 필요합니다.

품질관리 체계의 정착 및 효과의 가시성 제고 측면에서 초기단계에는 전사 기준정보를 중심으로 품질관리를 운영하게 되지만, 조직 의 경험이 축적되고 실력이 늘어갈수록 점진적인 관리대상 확대가 필요해집니다.
• 정보 측면에서 전사마스터 모듈마스터 운영정보 등으로 확대
• 시스템 측면에서 MDM, ERP CRM, PLM 등 단위 업무영역 등으로 확대

이상 소개한 내용들은 업무에서 이미 활용 중인 데이터에 대한 사후 모니터링과 개선에 집중하고 있습니다. 만약, 기준정보 등록시점부터 다양한 오류 유형 등에 대처할 수 있는 검증 로직이 포함될 수 있다면, 보다 능동적이고 선제적인 품질오류 대응, 즉 지능형 데이터 품질관리가 가능해질 것입니다.

라인

Intelligent DQM (지능형 데이터 품질관리)

기존 ‘사후 데이터 품질관리’ 기능을 신기술 기반의 지능형 품질관리 및 사전 대응 체계로 전환
① 마스터 품질 통합관리
   -   DQM Template을 활용하여 지표 등록, 품질 측정 및 분석을 통합 운영
② 마스터 오류 검증 지능화
   -   마스터 생성 직후 데이터의 오류 검증을 자동화하여 통해 트랜잭션 오류 사전예방
③ 마스터 표준값 관리 지능화
   -   마스터 변경이력, 데이터 활용실적, 유사법인 운영내역 등을 참조하여 표준값 제안
④ 마스터 표준값 운영 효율화
   -   마스터 표준값 운영기준(Biz Rule)을 손쉽게 등록/변경할 수 있도록 관리기능 효율화
Intelligent DQM /  기존 DQM : 추출, 대사, 산출식, 일치고 순으로 시스템간 불일치 모니터링 프로그램 운영(CBO) / Intelligent DQM : 1. 마스터 품질 통합 관리, 2. 마스터 오류검증 지능화, 3. 마스터 표준 값 관리 지능화, 4. 마스터 표준 값 운영 효율화 / 시스템 부하로 이슈로 주 1회 수행 -> 사후약방&수작업조치, 기준정보 품질점검 &사후조치(마스터 생성내역 중심) 이었던 기존 DQM의 Paradigm Shift로 신기술(AI, Big Data 등) 기반 마스터 생성시점 품질관리 -> Biz 변화에 기반한 분석&마스터 오류 사전 조치, 지능형 데이터 품질점검&사전 조치 (마스터 운영내역 반영) 그림 11 - Intelligent DQM 라인

4  데이터 품질관리를 고민 중인 기업을 위한 제언

데이터 품질 관리란 데이터의 품질수준 및 활용수준을 지속적으로 모니터링하고 개선함으로써, 고품질의 데이터를 유지하는 관리체계를 의미합니다. 데이터 품질은 프로세스간 연계성을 보장하고, 데이터 분석의 신뢰성을 높여 Fact 기반 의사결정을 가능하게 하는 주요한 기반입니다. 많은 기업들이 고품질 데이터를 확보하기 위해 정보시스템과 데이터 정비에 막대한 비용을 투자하지만, 여전히 데이터 오류에 따른 프로세스 수행 문제나 데이터 신뢰성 저하로 고민하고 있습니다. 이는 기업이 데이터 품질이슈를 단순히 시스템 개선이나 일회성 데이터 정비작업을 통해 해결할 수 있다고 생각하기 때문입니다.
데이터 품질관리가 실질적 성과를 내기 위해서는 데이터 품질 수준을 정확히 파악하고, 데이터 오류의 근본원인을 찾아 해결하는 작업이 상시적으로 수행되어야 합니다. 아울러 부서 단위가 아닌 전사적 관점의 데이터 품질관리체계 수립과 전담조직 운영 등이 동반되어야 합니다.

데이터 품질관리 체계 / 데이터 품질 관리 체계 : 1. 조직,R&R - DQ관리자, 품질담당자, 2. 품질지표 - 완전성, 유효성, 유일성, 정합성, 일치성, 3. 프로세스 - 대상선정, 품질측정, 품질분석, 품질개선, 4. 시스템, 품질 DB / 관리대상 : 1. 프로세스 - 마케팅, 개발, 구매, 제조, 물류, 판매, 2, 시스템 - ERP, PLM, CRM, SCM, 3. 데이터 - 전사마스터, 모듈마스터, 운영성기준정보, 트랜잭션데이터 / 품질모니터링 : 품질측정, 오류통보, 오류원인분석 / 품질 개선 활동 : 오류 Data 정비, 검증기능 강화, 운영기준 명확화 그림 12 - 데이터 품질관리 체계

데이터가 자산화되어 비즈니스 전략 운영의 핵심으로 작용하는 빅데이터 시대, 체계적인 데이터 품질관리 프로세스와 유기적으로 작동하는 DQM 시스템을 갖춘 기업은 이들 데이터로부터 수준 높은 통찰을 이끌어내어 한 차원 높은 비즈니스 성과를 창출할 수 있을 것입니다.



▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.



에스코어 - 에스코어는 경영 컨설팅 전문성과 소프트웨어 기술력을 바탕으로 성공적인 디지털 트랜스포메이션을 위한 IT 전략 수립, 신기술 소프트웨어 개발 및 기술 서비스를 One-Stop으로 제공합니다. -----> 본 아티클은 ㅡ에스코어 홈페이지에서 PDF 파일로 다운로드 받을 수 있습니다. - PDF 다운로드


이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

subscribe

구독하기

subscribe

배상균
배상균 인공지능/애널리틱스 전문가

에스코어㈜ 컨설팅사업부 데이터컨설팅팀

기준정보 거버넌스, 데이터 품질관리 및 데이터 모델링 영역에서 15년이상 컨설팅을 수행하고 있습니다. 최근에는 S-ERP, 보험ERP 프로젝트에서 기준정보, 데이터품질 및 용어 표준화를 위한 관리체계 수립과 시스템을 구축한 바 있습니다.

공유하기