Hive(아파치 하이브)
HDFS에 저장된 대용량 데이터를, 프로그래밍 코드를 직접 작성하지 않고도 SQL과 매우 비슷한 질의문(HiveQL)으로 조회하고 분석할 수 있게 해주는 하둡 기반 데이터 웨어하우스 시스템입니다.
한눈에 보는 정의
Hive(아파치 하이브)는 HDFS(하둡 분산파일시스템) (HDFS)에 저장된 대용량 데이터를, SQL과 비슷한 질의문으로 조회하고 분석할 수 있게 해주는 하둡 기반 데이터 웨어하우스 시스템입니다.
자세히 알아보기
- 예문: "분석팀은 복잡한 MapReduce 코드를 직접 짜는 대신, Hive로 SQL과 비슷한 질의문을 작성해 데이터를 조회했다."
- HDFS에 그냥 흩어져 있던 파일들에 테이블 구조를 정의해 씌워주면, SQL에 익숙한 사용자도 별도의 프로그래밍 없이 바로 데이터를 조회할 수 있게 됩니다.
- 작성한 질의문은 내부적으로 MapReduce(맵리듀스) (MapReduce)나 Spark(아파치 스파크) (Spark) 같은 처리 엔진의 작업으로 변환되어 실행되며, 대량의 데이터를 읽는 배치성 분석에 적합합니다.
- 즉각적인 응답이 필요한 대화형 조회에는 상대적으로 느릴 수 있어, 더 빠른 응답이 필요할 때는 Presto(프레스토) (Presto)나 Impala(임팔라) (Impala) 같은 엔진을 함께 활용하기도 합니다.