NiFi(아파치 니파이)
여러 시스템 사이에서 데이터를 어디서 가져와 어떻게 변환하고 어디로 보낼지를, 코드를 직접 작성하지 않고 화면에서 드래그 앤 드롭으로 시각적으로 설계할 수 있게 해주는 데이터 흐름 관리 플랫폼입니다.
한눈에 보는 정의
NiFi(아파치 니파이)는 여러 시스템 사이에서 데이터가 어떻게 흘러가고 변환될지를, 화면에서 드래그 앤 드롭으로 설계할 수 있게 해주는 데이터 흐름 관리 플랫폼입니다.
자세히 알아보기
- 예문: "여러 부서의 데이터를 수집해 형식을 통일하는 작업을, 코드 없이 NiFi 화면에서 흐름도를 그려 구성했다."
- 데이터를 어디서 읽어올지, 어떤 필터링이나 변환을 거칠지, 최종적으로 어디에 저장할지를 화면 위의 상자와 연결선으로 구성할 수 있어, 개발자가 아니어도 비교적 쉽게 Data Pipeline(데이터 파이프라인) (데이터 파이프라인)을 설계할 수 있습니다.
- 각 데이터가 어떤 경로를 거쳤는지 흐름을 그대로 추적할 수 있는 기능을 갖추고 있어, Data Lineage(데이터 계보) (데이터 계보)를 파악하는 데도 유용합니다.
- 여러 시스템 사이에서 데이터를 옮기고 형태를 맞추는 Data Ingestion(데이터 수집·적재) (데이터 수집·적재) 작업을 시각적으로 자동화하고 싶을 때 특히 많이 활용됩니다.