Data Ingestion(데이터 수집·적재)
데이터베이스, 로그 파일, 외부 API 등 여러 소스에 흩어져 있는 데이터를 모아, 분석이나 처리를 위한 저장소로 가져오는 데이터 파이프라인의 첫 단계를 뜻합니다.
한눈에 보는 정의
Data Ingestion(데이터 수집·적재)은 여러 소스에 흩어진 데이터를 모아, 저장소나 처리 시스템으로 가져오는 과정을 뜻합니다.
자세히 알아보기
- 예문: "웹 로그, 결제 데이터베이스, 외부 API까지 서로 다른 소스의 데이터를 Data Ingestion 단계에서 한곳으로 모았다."
- Data Pipeline(데이터 파이프라인) (데이터 파이프라인)의 출발점으로, 이 단계에서 데이터를 제대로 놓치지 않고 모아야 이후의 가공·분석 단계가 온전히 의미를 가질 수 있습니다.
- 일정 주기로 한꺼번에 가져오는 Batch Processing(배치 처리) (배치) 방식과, 발생하는 즉시 가져오는 Stream Processing(스트림 처리) (스트리밍) 방식이 있으며, NiFi(아파치 니파이) (NiFi)나 Kafka(아파치 카프카) (Kafka) 같은 도구가 이 과정을 자동화하는 데 널리 쓰입니다.
- 수집 단계에서부터 형식이 어긋나거나 유실되는 데이터가 있으면 이후 모든 분석 결과가 왜곡될 수 있어, 수집 단계의 안정성은 전체 파이프라인 품질의 출발점으로 여겨집니다.