DataFrame(데이터프레임)
데이터를 엑셀 표처럼 이름 붙은 열(column)과 행(row)으로 정리해 다루는 Spark의 데이터 구조로, RDD를 직접 다루는 것보다 SQL과 비슷한 방식으로 훨씬 편리하게 조작할 수 있고, 내부적으로 실행 계획이 자동 최적화됩니다.
한눈에 보는 정의
DataFrame(데이터프레임)은 데이터를 엑셀 표처럼 행과 열로 정리해 다루는 Spark(아파치 스파크) (Spark)의 데이터 구조로, RDD(탄력적 분산 데이터셋) (RDD)보다 다루기 쉽고 내부적으로 자동 최적화됩니다.
자세히 알아보기
- 예문: "복잡한 저수준 연산 코드 대신, DataFrame을 이용해 SQL과 비슷한 방식으로 간결하게 데이터를 필터링하고 집계했다."
- RDD는 어떻게 연산할지를 하나하나 직접 지정해야 했지만, DataFrame은 '무엇을' 얻고 싶은지만 선언하면 Spark가 내부적으로 가장 효율적인 실행 방법을 스스로 찾아 처리해줍니다.
- 열마다 이름과 데이터 타입이 명확하게 정의되어 있어, 관계형 데이터베이스의 테이블을 다루듯 직관적으로 데이터를 조작할 수 있습니다.
- Spark SQL(스파크 SQL 처리 엔진) (Spark SQL)을 이용하면 DataFrame에 직접 SQL 질의문을 실행할 수도 있어, SQL에 익숙한 분석가도 쉽게 대용량 데이터를 다룰 수 있습니다.