Micro-Batch(마이크로 배치 처리)
데이터를 하루나 몇 시간 단위가 아니라, 몇 초에서 몇 분처럼 아주 짧은 시간 간격으로 잘게 모아, 이를 반복적으로 처리함으로써 배치 처리와 스트림 처리의 중간 형태를 구현하는 방식입니다.
한눈에 보는 정의
Micro-Batch(마이크로 배치 처리)는 데이터를 아주 짧은 시간 간격으로 잘게 모아, Batch Processing(배치 처리) (배치 처리)와 Stream Processing(스트림 처리) (스트림 처리)의 중간 형태로 반복 처리하는 방식입니다.
자세히 알아보기
- 예문: "완전한 실시간까지는 필요 없어서, 몇 초 간격으로 데이터를 모아 처리하는 Micro-Batch 방식으로 충분히 요구사항을 만족시켰다."
- 하루에 한 번 처리하는 전통적인 배치와 달리, 몇 초에서 몇 분 간격으로 아주 짧은 배치를 계속 반복해서 처리하기 때문에 사실상 실시간에 가까운 최신성을 제공할 수 있습니다.
- Spark(아파치 스파크) (Spark)의 스트리밍 기능이 대표적으로 이 방식을 채택하고 있으며, 이벤트 하나하나를 즉시 처리하는 Flink(아파치 플링크) (Flink)의 진짜 스트리밍 방식과 자주 비교됩니다.
- 완전한 실시간 처리보다 구현이 비교적 단순하면서도, 전통적인 배치보다는 훨씬 최신 데이터를 반영할 수 있어 현실적인 절충안으로 널리 채택됩니다.