하둡(Hadoop)
여러 대의 컴퓨터에 대용량 데이터를 나눠 저장하고, 이를 분산 처리해 빠르게 분석할 수 있게 해주는 오픈소스 빅데이터 처리 프레임워크입니다.
한눈에 보는 정의
하둡(Hadoop)은 여러 대의 컴퓨터(클러스터)에 대용량 데이터를 나눠 저장하고, 이를 분산 처리해 빠르게 분석할 수 있게 해주는 오픈소스 빅데이터 처리 프레임워크입니다.
자세히 알아보기
- 예문: "하루에도 수십 테라바이트씩 쌓이는 로그 데이터를 분석하기 위해 하둡 클러스터를 구축했다."
- 대용량 파일을 여러 서버에 분산 저장하는 HDFS(분산 파일 시스템)와, 저장된 데이터를 여러 서버가 동시에 나눠 계산하는 맵리듀스(MapReduce) 방식이 핵심 구성 요소입니다.
- 값비싼 고성능 서버 한 대 대신, 저렴한 여러 대의 일반 서버를 묶어 대용량 데이터를 처리할 수 있다는 점이 널리 채택된 이유로 꼽힙니다.
- 그리드 컴퓨팅(Grid Computing) (그리드 컴퓨팅)처럼 여러 컴퓨터의 자원을 함께 활용한다는 점은 비슷하지만, 하둡은 특히 대용량 데이터의 저장과 분산 처리에 특화되어 있습니다.