Flink(아파치 플링크)
일정량을 모아서 한꺼번에 처리하는 배치 방식과 달리, 이벤트가 발생하는 즉시 하나씩 흘려보내며 처리하는 방식(진정한 스트리밍)에 특화되어, 매우 낮은 지연시간을 요구하는 실시간 처리에 강점을 가진 스트림 처리 엔진입니다.
한눈에 보는 정의
Flink(아파치 플링크)는 데이터를 모아서 처리하지 않고, 이벤트가 발생하는 즉시 하나씩 처리하는 방식에 특화된 실시간 스트림 처리 엔진입니다.
자세히 알아보기
- 예문: "신용카드 이상거래를 몇 초 안에 잡아내야 해서, 이벤트가 들어오는 즉시 처리하는 Flink를 도입했다."
- Spark(아파치 스파크) (Spark)의 스트리밍 기능이 짧은 간격으로 데이터를 모아 처리하는 Micro-Batch(마이크로 배치 처리) (마이크로 배치) 방식에 가깝다면, Flink는 이벤트 하나하나를 즉시 처리하는 진짜 스트리밍 방식에 더 가까워, 지연시간을 극도로 낮춰야 하는 상황에 강점을 보입니다.
- Kafka(아파치 카프카) (Kafka) 같은 메시지 시스템에서 끊임없이 들어오는 Event Streaming(이벤트 스트리밍) (이벤트 스트림)을 실시간으로 읽어, 집계·필터링·이상 탐지 같은 연산을 즉시 수행하는 데 널리 활용됩니다.
- 배치 처리와 스트림 처리를 하나의 통일된 방식으로 다룰 수 있다는 점도 특징으로, 배치 작업은 유한한 스트림으로 간주해 같은 엔진으로 처리합니다.