Data Profiling(데이터 프로파일링)
새로 확보한 데이터가 어떤 값들로 이루어져 있는지, 값의 분포와 패턴은 어떤지, 빠진 값이나 이상치는 얼마나 있는지를 실제로 들여다보고 파악하는 활동입니다.
한눈에 보는 정의
Data Profiling(데이터 프로파일링)은 데이터를 실제로 들여다보고, 값의 분포와 패턴, 이상치 같은 실질적인 특성을 파악하는 활동입니다.
자세히 알아보기
- 예문: "새로운 데이터 소스를 연동하기 전, Data Profiling으로 결측값 비율과 값의 분포부터 먼저 확인했다."
- 문서상 정의된 스키마만으로는 실제 데이터가 어떤 값을 갖는지 알 수 없기 때문에, 직접 데이터를 살펴보고 결측치 비율, 중복 값, 예상 범위를 벗어난 이상치 등을 파악합니다.
- 이렇게 발견된 문제들은 이후 어떤 Data Validation(데이터 검증) (검증) 규칙을 세워야 할지, 어떤 Data Cleansing(데이터 정제) (정제) 작업이 필요한지 결정하는 기초 자료가 됩니다.
- 새로운 데이터 소스를 처음 다루기 시작할 때, 본격적인 분석에 앞서 그 데이터를 제대로 이해하기 위한 탐색 단계로 흔히 진행됩니다.