HDFS(하둡 분산파일시스템)
대용량 파일을 작은 블록 단위로 잘라 여러 서버에 나눠 저장하고, 같은 블록을 여러 벌 복제해두어 그중 일부 서버가 고장 나도 데이터가 유실되지 않도록 하는 하둡의 분산 파일 저장 시스템입니다.
한눈에 보는 정의
HDFS(Hadoop Distributed File System, 하둡 분산파일시스템)는 대용량 파일을 여러 서버에 나눠 저장하고, 그중 일부가 고장 나도 데이터가 유실되지 않도록 복제해두는 하둡의 분산 파일 저장 시스템입니다.
자세히 알아보기
- 예문: "수십 테라바이트에 달하는 로그 파일을 HDFS에 저장해, 수백 대의 서버가 나눠서 처리할 수 있게 했다."
- 하나의 큰 파일을 고정된 크기의 블록으로 잘라 여러 서버에 분산 저장하고, 기본적으로 같은 블록을 3벌씩 복제해두어 특정 서버 몇 대가 동시에 고장 나도 데이터를 잃지 않습니다.
- 하둡(Hadoop) (하둡) 생태계의 저장 계층을 담당하며, 실제 연산은 MapReduce(맵리듀스) (MapReduce)나 Spark(아파치 스파크) (Spark) 같은 처리 엔진이 HDFS에 저장된 데이터를 읽어 수행합니다.
- 데이터를 조금씩 자주 수정하는 용도보다는, 한 번 저장하면 여러 번 읽어서 대량으로 분석하는 워크로드에 최적화되어 있습니다.