Data Pipeline(데이터 파이프라인)
여러 시스템에서 데이터를 수집하고(Ingestion), 필요한 형태로 가공한 뒤(Transform), 최종 저장소에 적재하기까지(Load)의 여러 단계를 순서대로 자동화해 연결해둔 처리 흐름입니다.
한눈에 보는 정의
Data Pipeline(데이터 파이프라인)은 데이터를 수집하고 가공한 뒤 목적지에 저장하기까지, 여러 단계를 순서대로 자동화해 연결해둔 처리 흐름입니다.
자세히 알아보기
- 예문: "매일 새벽마다 여러 시스템의 데이터를 모아 정제하고 DWH에 적재하는 과정을 Data Pipeline으로 자동화했다."
- Data Ingestion(데이터 수집·적재) (데이터 수집)부터 ETL(Extract Transform Load) (ETL) 변환, 최종 저장까지 사람이 매번 수동으로 처리하지 않고, 정해진 순서와 일정에 따라 자동으로 흘러가도록 구성합니다.
- 하루에 한 번씩 모아서 처리하는 Batch Processing(배치 처리) (배치 처리) 방식과, 데이터가 들어오는 즉시 처리하는 Stream Processing(스트림 처리) (스트림 처리) 방식 중 데이터 특성과 요구되는 최신성에 맞게 선택합니다.
- 파이프라인 중간 어느 단계에서 문제가 생기면 이후 단계 전체에 영향을 미칠 수 있어, 각 단계마다 Data Validation(데이터 검증) (데이터 검증)을 두어 오류를 조기에 잡아내는 것이 중요합니다.