Spark SQL(스파크 SQL 처리 엔진)
Spark 위에서 익숙한 SQL 질의문을 그대로 사용해 DataFrame으로 저장된 대용량 데이터를 조회하고 분석할 수 있게 해주는 모듈로, 내부적으로는 SQL 질의를 최적화된 실행 계획으로 자동 변환해 처리합니다.
한눈에 보는 정의
Spark SQL(스파크 SQL 처리 엔진)은 Spark(아파치 스파크) (Spark) 위에서 SQL 질의문으로 데이터를 조회하고 분석할 수 있게 해주는 모듈입니다.
자세히 알아보기
- 예문: "복잡한 프로그래밍 코드 없이, Spark SQL로 'SELECT' 질의문 하나만 작성해 수억 건의 데이터에서 원하는 결과를 뽑아냈다."
- 데이터 분석가나 SQL에 익숙한 사용자도, Spark의 분산 처리 능력을 그대로 활용하면서 별도의 프로그래밍 언어를 새로 배우지 않고 익숙한 SQL로 대용량 데이터를 다룰 수 있게 해줍니다.
- Hive(아파치 하이브) (Hive)로 만들어진 테이블을 그대로 읽어와 조회할 수도 있어, 기존 데이터 웨어하우스 자산을 Spark의 빠른 처리 속도와 결합해 활용하는 데도 널리 쓰입니다.
- 작성한 SQL 질의문은 내부적으로 DataFrame(데이터프레임) (DataFrame) 연산으로 자동 변환되어, 최적화된 실행 계획에 따라 처리됩니다.