Batch Processing(배치 처리)
데이터가 생성되는 즉시 처리하지 않고, 하루 치나 특정 시간 단위로 일정량이 쌓이면 정해진 시각에 한꺼번에 모아 처리하는 방식으로, 대량의 데이터를 안정적이고 효율적으로 처리하는 데 적합합니다.
한눈에 보는 정의
Batch Processing(배치 처리)은 데이터를 실시간으로 바로 처리하지 않고, 일정량이 쌓이거나 정해진 시각이 되면 한꺼번에 모아 처리하는 방식입니다.
자세히 알아보기
- 예문: "매일 자정, 하루 동안 쌓인 거래 데이터를 한꺼번에 정산하는 Batch Processing 작업이 실행된다."
- 실시간으로 처리할 필요가 없는 정산, 리포트 생성, 대량 데이터 이관 같은 작업에 적합하며, 한 번에 많은 데이터를 모아 처리하기 때문에 건별로 처리하는 것보다 자원을 효율적으로 쓸 수 있습니다.
- 데이터가 발생하는 즉시 처리하는 Stream Processing(스트림 처리) (스트림 처리)과 대비되는 개념으로, 최신성이 조금 늦어도 되는 대신 안정성과 처리 효율을 우선시하는 상황에서 선택됩니다.
- MapReduce(맵리듀스) (MapReduce)나 Spark(아파치 스파크) (Spark) 같은 대규모 분산 처리 엔진의 기본 처리 방식으로도 널리 쓰입니다.