Data Cleansing(데이터 정제)
같은 고객이 이름 표기만 다르게 중복 등록되어 있거나, 형식이 어긋나거나, 명백히 잘못된 값을 가진 데이터를 찾아 고치거나 제거해, 데이터를 신뢰할 수 있는 상태로 만드는 작업입니다.
한눈에 보는 정의
Data Cleansing(데이터 정제)은 중복되거나, 형식이 어긋나거나, 잘못된 값을 가진 데이터를 찾아 고치거나 제거하는 작업입니다.
자세히 알아보기
- 예문: "'홍길동'과 '홍 길동'처럼 표기만 다른 중복 고객 데이터를, Data Cleansing 작업을 거쳐 하나로 통합했다."
- Data Profiling(데이터 프로파일링) (데이터 프로파일링)으로 발견한 문제들, 예를 들어 전화번호 형식 불일치나 결측값을, 정해진 규칙에 따라 표준화하거나 보완하는 실제 교정 작업이 여기에 해당합니다.
- ETL(Extract Transform Load) (ETL)의 변환(Transform) 단계에서 흔히 함께 이뤄지며, 정제되지 않은 데이터를 그대로 분석에 쓰면 왜곡된 결론으로 이어질 수 있어 반드시 거쳐야 하는 과정으로 여겨집니다.
- 여러 시스템에서 같은 고객이 서로 다르게 기록되어 있는 경우, 어느 것이 '기준'이 되는 정보인지 정리하는 MDM(마스터 데이터 관리) (MDM)와도 밀접하게 연결됩니다.