Data Lakehouse(데이터 레이크하우스)
다양한 형태의 원본 데이터를 저렴하게 대량 저장할 수 있는 데이터 레이크의 장점에, 정형화된 스키마 관리와 트랜잭션 안정성 같은 데이터 웨어하우스의 기능을 결합해, 하나의 저장소로 두 마리 토끼를 잡으려는 데이터 아키텍처입니다.
한눈에 보는 정의
Data Lakehouse(데이터 레이크하우스)는 Data Lake(데이터 레이크) (데이터 레이크)의 유연한 저장 방식에, DWH(데이터 웨어하우스) (데이터 웨어하우스) 수준의 데이터 관리·분석 기능을 결합한 데이터 아키텍처입니다.
자세히 알아보기
- 예문: "Data Lake와 DWH를 따로 운영하며 데이터를 중복 저장하던 방식에서 벗어나, Data Lakehouse로 통합해 한 곳에서 원본 데이터와 정제된 분석 데이터를 함께 관리했다."
- 기존에는 원본 데이터를 저렴하게 쌓아두는 Data Lake와, 정형화되고 신뢰할 수 있는 분석용 DWH를 따로 두고 데이터를 두 번 옮기며 관리해야 했는데, Lakehouse는 이 둘을 하나로 합쳐 중복과 지연을 줄입니다.
- 데이터 레이크의 저렴한 저장 비용을 유지하면서도, 스키마를 강제하고 트랜잭션 안정성을 보장하는 기능을 더해 신뢰할 수 있는 분석이 가능하도록 설계됩니다.
- Trino(트리노) (Trino)나 Spark SQL(스파크 SQL 처리 엔진) (Spark SQL) 같은 SQL 엔진으로 이 구조 위의 데이터를 직접 조회할 수 있어, 별도의 이관 과정 없이 최신 데이터를 바로 분석할 수 있습니다.