Data Validation(데이터 검증)
이메일 형식이 올바른지, 필수값이 빠지지 않았는지 같은 정해진 형식과 규칙에 맞는 데이터인지를, 데이터 파이프라인의 각 단계마다 자동으로 확인해 잘못된 데이터가 그대로 흘러들어가지 않도록 막는 활동입니다.
한눈에 보는 정의
Data Validation(데이터 검증)은 들어오는 데이터가 정해진 형식과 규칙에 맞는지, 파이프라인의 각 단계마다 자동으로 확인하는 활동입니다.
자세히 알아보기
- 예문: "나이 필드에 음수 값이 들어오자, Data Validation 규칙이 이를 자동으로 걸러내 오류로 표시했다."
- 형식이 맞는지, 값의 범위가 타당한지, 필수값이 빠지지 않았는지 같은 규칙을 미리 정의해두고, Data Pipeline(데이터 파이프라인) (데이터 파이프라인)을 거칠 때마다 이 규칙에 맞는지 자동으로 점검합니다.
- 잘못된 데이터가 초기 단계에서 걸러지지 않으면, 이후 분석·보고서까지 오염되어 문제를 뒤늦게 발견하고 원인을 되짚어야 하는 큰 비용으로 이어질 수 있습니다.
- 값이 맞는지 확인하는 Data Validation과 달리, 데이터의 실제 분포나 특성 자체를 살펴보는 활동은 Data Profiling(데이터 프로파일링) (데이터 프로파일링)이라는 별도 개념으로 다뤄집니다.