데이터 마이그레이션의 이해와 성공적인 이행 전략

2024-11-20 강진호

AI 시대, 데이터가 곧 경쟁력입니다. 하지만 데이터를 새로운 시스템으로 옮기는 과정에서 문제가 생긴다면 어떻게 될까요? 데이터 마이그레이션에 실패하면 중요한 정보가 손실되거나 신뢰성이 흔들리며, 기업의 운영 자체가 위협받을 수 있습니다. 데이터 마이그레이션의 중요성과 성공적인 이행 전략 3가지, 이번 인사이트 리포트를 통해 알려드리겠습니다.

데이터 마이그레이션이란?

데이터 마이그레이션은 기존 시스템의 데이터를 새로운 시스템으로 안전하고 효율적으로 옮기는 과정을 의미합니다. 데이터를 단순히 옮기는게 아니라, 데이터의 정제, 표준화, 활용성 향상을 목표로 하죠. 다시 말해, 원천 시스템의 데이터를 추출, 변환, 로딩 과정을 통해 목적 시스템으로 옮기는 작업이에요. 원천 시스템은 해당 정보를 관리하던 이전 시스템인데, 하나가 아닌 여러 개일 수 있어요. 목적 시스템은 새로 구축하는 신규 시스템을 의미합니다.

데이터 마이그레이션 오류가 생기면?

우선 신규 시스템의 신뢰도가 저하되고 비즈니스 연속성이 위협받습니다. 마이그레이션 오류로 데이터 신뢰도 문제가 발생하면, 신규 시스템의 오픈 지연 및 오픈 후 활용도 감소, VoC 증가로 인한 운영 업무 가중 등의 악영향을 불러옵니다. 특히 신규 시스템이 기준정보 시스템이면, 연계된 ERP와 MES 등의 기간계 시스템에서 운영 오류를 발생시켜 구매, 생산, 물류 등 프로세스 간 업무 단절 및 지연 등 막대한 피해를 일으킬 수 있어요.

효과적인 데이터 마이그레이션 전략 3가지

이러한 문제를 방지하기 위해서는 효과적인 마이그레이션 전략이 필요하겠죠. 데이터 마이그레이션은 추출, 변환, 로딩이라는 세 가지 주요 단계를 통해 이루어집니다.

[그림 1] 데이터 마이그레이션 절차 (출처: 에스코어)

위 그림에서 각 단계의 주요 고려사항과 실질적인 전략을 살펴보겠습니다.

(1) 데이터 추출(Extraction) | 마이그레이션의 출발점

데이터 추출은 데이터 마이그레이션의 출발점입니다. 이 단계에서는 신규 시스템에서 관리해야 할 속성과 범위를 명확히 정의해야 합니다. 신규 시스템의 목적에 따라 관리 속성의 정의와 기준은 다르겠지만 기준정보 시스템을 구현할 때는 “2개 이상의 시스템에서 사용하는 공통 속성”과 “기준정보 입력 프로세스 제거”라는 관점을 따르면 됩니다.

관리 대상 속성이 정의되면 각 시스템에서 해당 속성에 대한 데이터를 내려받아 분석을 진행합니다. 분석을 통해 △정제(중복 데이터 식별), △정비(데이터값이 누락되어 있는지 “완전성” 검토, 유효한 값인지 “유효성” 검토), △변환(데이터 표준화를 병행하여 기존값을 신규 시스템에 적합한 형태로 바꿈) 중에서 유형에 따라 정비 대상을 정의합니다.

데이터 추출 단계에서 정의된 속성과 기준은 다음 단계인 데이터 변환의 방향성을 결정합니다. 이 과정이 명확하지 않으면 변환 작업이 더 복잡해질 수 있습니다.

(2) 데이터 변환(Transformation) | 마이그레이션의 핵심

데이터 변환은 데이터 마이그레이션 중 가장 많은 시간과 리소스를 소모하는 단계입니다. 변환 작업은 데이터의 정제, 정비, 변환으로 구분합니다.

현업 사용자의 참여가 필수적입니다

데이터 정비는 데이터 오너인 현업 사용자의 참여가 필수적이며, 사전 정의된 표준에 따라 진행해야 해요. 그래야 정확한 정비 데이터값으로 변환할 수 있으며, 시스템 오픈 후 발생하는 오류를 최소화할 수 있습니다. 대용량 데이터 정비의 경우, 정비 조직이 사전에 정의된 후 PI 조직과 정비 조직이 유기적으로 데이터를 검증해야 해요.

정비 대상 속성들을 표준화하세요

또한, 정비 대상 속성 중 표준화가 필요한 속성들이 있는데요. 예를 들어, 회사에서 많이 사용하는 속성이나 관리 주체가 정의되지 않아 여러 시스템에서 중복적으로 생성되어 다르게 사용되는 속성들이 있습니다. 이러한 속성들을 표준화하기 위해서는 생성 기준, 네이밍 규칙(Naming Rule), 결재선 정의 등이 필요하고, 운영 기준 정의가 함께 동반되어야 하죠.

현업 정비 조직의 의견을 반영하세요

현업의 정비 지원을 위해 정비 가이드를 작성하고 설명회를 진행하여 목적 및 일정을 공유하는 것이 중요합니다. 특히 현업 정비 조직의 의견을 반영하는 것이관건입니다. 필자가 경험한 사례를 들자면, 설비정보 내의 조직 관련 데이터는 변경이 잦고 특정 시점에 대량으로 바뀌는 경향이 있었습니다. 그래서 마지막 단계에서 정비하는 것이 효과적이라는 정비 조직의 의견을 반영함으로써, 여러 번 정비할 뻔한 수고를 덜 수 있었습니다. 이처럼 실제 정비 과정에서 현업의 인사이트를 잘 활용하면, 작업 효율성을 높이고 작업 오류를 줄일 수 있겠죠.

데이터 변환을 통해 표준화된 데이터는 로딩 단계에서 새로운 시스템의 효율성을 극대화할 수 있도록 준비됩니다.

(3) 데이터 로딩(Loading) | 마이그레이션의 완성

데이터 로딩은 정비된 데이터를 신규 시스템에 적용하는 단계로, 연계 시스템과의 호환성이 핵심입니다. 정비 결과를 신규 시스템에 로딩하여, 새로운 시스템에서 정비된 데이터를 기준으로 대상 시스템들이 활용할 수 있도록 합니다.

데이터 로딩 시, 연계 시스템들은 변경된 로직을 반영하고 데이터를 로딩하기 위한 최소한의 시스템 시간인 “프리징(Freezing) 시간”이 필요합니다. 그런데 프리징 시간이 거의 허용되지 않는 프로젝트도 존재합니다. 이런 경우에는 정비된 결과를 구 시스템(예를 들어 가장 많은 속성을 관리하는 시스템)에 먼저 적용하는 “선(先) 적용”이라는 방법을 활용할 수 있습니다. 이를 통해 로딩 시점의 추가 정비 대상 데이터를 최소화하여 프리징 시간을 단축하는 효과를 볼 수 있습니다. 마치 자동차 경주에서 타이어를 번개같이 갈아 끼우는 상황을 생각하면 됩니다.

신규 시스템에 데이터를 로딩하기 위해서는 여러 가지 선∙후행 작업이 필요합니다. 데이터들이 서로 연관 관계를 가지고 있고 연계된 시스템의 영향도도 고려해야 해서 타임 테이블(Time Table)별로 액티비티를 정의하는데, 이것을 “컷오버 플랜(Cutover Plan)”이라고 합니다. 실제 시스템 오픈 시 행해지는 컷오버는 시간 또는 분 단위로 액티비티들이 실행되어야 하므로 로딩 시 에러가 발생하는 모든 요인을 사전에 제거해야 합니다. 그래서 실제 컷오버에 앞서 복잡도에 따라 최소 1회에서 3회까지 사전에 컷오버 시뮬레이션을 시행합니다. 실제와 동일한 조건으로 진행해야만 발생 가능한 모든 오류 가능성을 사전에 조치할 수 있고 안정적인 시스템 오픈이 가능해집니다.

데이터 마이그레이션 이행 전략 요약

추출: 기존 시스템에서 필요한 데이터를 정의하고, 중복 제거 및 정합성 검토 후 변환을 위한 데이터를 확보해요.
변환: 데이터를 표준화하고 정제함으로써 신규 시스템에서 활용 가능하도록 변환하고, 현업 사용자와 함께운영 기준을 정의해요.
로딩: 정비된 데이터를 신규 시스템에 적용하고 연계 시스템과의 호환성을 고려하여 오류 없이 안정적으로 이관해요.

AI 시대에 데이터는 가장 중요한 자산입니다

AI가 세상의 중심이 되면서 정비해야 하는 데이터의 양도 늘어나고 있습니다. 그만큼 데이터 마이그레이션의 복잡도 및 중요성이 더 커지고 있는데요. 증가하는 데이터의 복잡성과 양을 효과적으로 관리하기 위해서는 철저한 계획과 협업이 관건입니다. 데이터 마이그레이션은 이제 선택이 아닌 필수입니다. 다만, 데이터 마이그레이션은 단순히 데이터를 옮기는 작업을 넘어 비즈니스 프로세스와 시스템의 신뢰도를 결정짓는 중요한 프로젝트입니다. 또한 많은 사람들의 노력이 들어가는 어려운 프로젝트이죠. 하지만 그만큼 사용자의 데이터 활용도 및 효율을 높일 수 있는 중요한 작업임이 틀림없습니다. 앞서 설명한 데이터 마이그레이션 전략은 일부 프로젝트에 적용할 수 있을 것이나, 어떤 사례들은 참조하는 정도로 삼아 실제 여건에 부합하는 운영 기준을 정의해 프로젝트를 진행하는 것이 보다 효과적일 것으로 생각됩니다. 성공적인 데이터 마이그레이션은 데이터 활용성을 높이며, 신규 시스템의 가치를 극대화할 것입니다.