CDC(변경 데이터 캡처)
원본 데이터베이스 전체를 매번 다시 복사하지 않고, 새로 추가되거나 수정·삭제된 데이터만 실시간으로 감지해 다른 시스템에 즉시 반영하는 기술입니다.
한눈에 보는 정의
CDC(Change Data Capture, 변경 데이터 캡처)는 원본 데이터베이스에서 새로 추가되거나 바뀐 데이터만 실시간으로 감지해, 다른 시스템에 즉시 반영하는 기술입니다.
자세히 알아보기
- 예문: "매일 밤 전체 테이블을 통째로 복사하던 방식 대신, CDC로 바뀐 데이터만 실시간으로 분석 시스템에 반영하도록 바꿨다."
- 데이터베이스 전체를 주기적으로 복사하는 Batch Processing(배치 처리) (배치 처리) 방식은 최신 상태를 반영하기까지 시간이 걸리고 자원도 많이 드는데, CDC는 변경된 부분만 다루기 때문에 훨씬 빠르고 효율적입니다.
- 데이터베이스가 기록하는 변경 로그를 읽어 변경 사항을 감지하는 방식이 흔히 쓰이며, 감지된 변경 이벤트는 Kafka(아파치 카프카) (Kafka) 같은 메시지 시스템을 통해 다른 시스템으로 전달되는 경우가 많습니다.
- 원본 시스템에 부담을 크게 주지 않으면서도 거의 실시간에 가깝게 데이터를 동기화할 수 있어, Data Pipeline(데이터 파이프라인) (데이터 파이프라인) 구축의 핵심 기법으로 널리 활용됩니다.