Data Observability(데이터 관측성)
데이터가 얼마나 최신인지, 양이 평소와 비슷한지, 형식이 어긋나지 않았는지 같은 데이터 파이프라인 곳곳의 품질과 상태를, 문제가 실제 서비스나 분석 결과에 영향을 주기 전에 지속적으로 감시하고 파악할 수 있는 능력을 뜻합니다.
한눈에 보는 정의
Data Observability(데이터 관측성)는 데이터 파이프라인 곳곳의 품질과 상태를, 문제가 실제 서비스에 영향을 주기 전에 지속적으로 감시하고 파악할 수 있는 능력을 뜻합니다.
자세히 알아보기
- 예문: "대시보드 수치가 갑자기 0으로 표시되기 전, Data Observability 시스템이 상류 파이프라인에서 데이터가 끊긴 것을 먼저 감지해 알려줬다."
- 시스템 자체의 정상 동작 여부를 살펴보는 Observability(관측성) (관측성)의 개념을, 시스템이 다루는 '데이터' 자체의 신선도·양·품질에 적용한 개념이라고 볼 수 있습니다.
- 데이터가 평소보다 늦게 도착하지는 않았는지, 갑자기 행 수가 급감하지는 않았는지, 값의 분포가 이상하게 바뀌지는 않았는지를 지속적으로 점검해, Data Quality(데이터 품질) (데이터 품질) 문제를 조기에 발견합니다.
- 문제를 사후에 발견해 뒤늦게 수습하는 대신, 파이프라인 중간에서 이상 징후를 미리 잡아낼 수 있어 Data Drift(데이터 드리프트) (데이터 드리프트) 같은 문제도 더 빠르게 대응할 수 있게 해줍니다.