Dataset(데이터셋, 타입 기반 분산 데이터 객체)
Spark에서 DataFrame이 제공하는 SQL과 비슷한 편리한 조작 기능에, 데이터 타입을 프로그래밍 언어 수준에서 미리 검증해줘 실행 전에 오류를 잡아낼 수 있게 하는 기능을 더한 데이터 구조입니다.
한눈에 보는 정의
Dataset(데이터셋)은 Spark(아파치 스파크) (Spark)에서 DataFrame(데이터프레임) (DataFrame)의 편리함에, 데이터 타입을 프로그래밍 언어 수준에서 미리 검증해주는 기능을 더한 데이터 구조입니다.
자세히 알아보기
- 예문: "존재하지 않는 열 이름을 실수로 입력했을 때, Dataset을 쓴 덕분에 실제 실행 전 컴파일 단계에서 바로 오류를 발견할 수 있었다."
- DataFrame은 열 이름이나 타입이 잘못되어도 실제로 실행해봐야 오류를 알 수 있는 경우가 많지만, Dataset은 미리 정의한 데이터 타입과 어긋나면 코드를 작성하는 시점에 바로 오류를 잡아낼 수 있습니다.
- 이런 특성 덕분에 대규모 프로젝트에서 코드의 안정성을 더 높일 수 있지만, 특정 프로그래밍 언어에서만 이런 타입 검증 기능을 온전히 활용할 수 있다는 제약도 있습니다.
- DataFrame은 사실 특정 형태의 Dataset으로 볼 수 있을 만큼 두 개념은 서로 밀접하게 연결되어 있으며, 상황에 따라 필요한 쪽을 선택해 사용합니다.