Data Lineage(데이터 계보)
하나의 데이터가 원본 시스템에서 시작되어, 어떤 변환과 가공 과정을 거쳐, 최종적으로 어떤 보고서나 시스템에 쓰이는지 그 흐름 전체를 추적한 기록을 뜻합니다.
한눈에 보는 정의
Data Lineage(데이터 계보)는 하나의 데이터가 어디서 시작되어, 어떤 가공을 거쳐, 최종적으로 어디에 쓰이는지 그 흐름 전체를 추적한 기록을 뜻합니다.
자세히 알아보기
- 예문: "대시보드의 매출 수치가 이상해 보이자, Data Lineage를 따라가 원본 데이터부터 중간 변환 단계까지 하나씩 점검했다."
- 데이터가 원본 시스템에서 ETL(Extract Transform Load) (ETL) 과정을 거쳐 DWH(데이터 웨어하우스) (DWH)에 쌓이고, 다시 특정 보고서에 쓰이기까지의 전체 경로를 시각적으로 보여줘, 문제가 생겼을 때 원인을 추적하는 데 핵심적인 역할을 합니다.
- 어떤 데이터를 바꾸려 할 때, 그 데이터가 어디에 영향을 미치는지 미리 파악할 수 있어 시스템 변경으로 인한 사고를 예방하는 데도 유용합니다.
- NiFi(아파치 니파이) (NiFi) 같은 데이터 흐름 도구나 Data Catalog(데이터 카탈로그) (데이터 카탈로그)는 처리 과정에서 이런 계보 정보를 자동으로 기록해 보여주는 기능을 함께 제공하는 경우가 많습니다.