Flume(아파치 플룸)
여러 서버에서 계속 쌓이는 로그나 이벤트 데이터를 실시간에 가깝게 수집해, 중간에 유실되지 않도록 안정적으로 HDFS 같은 저장소로 옮겨주는 로그·이벤트 수집 도구입니다.
한눈에 보는 정의
Flume(아파치 플룸)은 여러 서버에서 계속 쌓이는 로그나 이벤트 데이터를 실시간으로 수집해, HDFS 같은 저장소로 안정적으로 옮겨주는 로그·이벤트 수집 도구입니다.
자세히 알아보기
- 예문: "웹 서버 수십 대에서 발생하는 접속 로그를, Flume으로 실시간 수집해 곧바로 HDFS에 쌓았다."
- 데이터를 받아들이는 소스(Source), 잠시 담아두는 채널(Channel), 최종 목적지로 전달하는 싱크(Sink)라는 단순한 구조로 이뤄져, 중간에 장애가 생겨도 데이터 유실을 최소화하도록 설계되어 있습니다.
- 데이터베이스 데이터를 한 번에 대량 이관하는 데 특화된 Sqoop(아파치 스쿱) (Sqoop)과 달리, Flume은 로그처럼 끊임없이 흘러들어오는 데이터를 지속적으로 수집하는 데 더 적합합니다.
- 최근에는 좀 더 유연한 시각적 흐름 설계가 가능한 NiFi(아파치 니파이) (NiFi)나 Kafka(아파치 카프카) (Kafka) 기반 파이프라인으로 대체되는 사례도 늘고 있습니다.