YARN(하둡 자원관리 플랫폼)
하둡 클러스터를 구성하는 여러 서버의 CPU와 메모리 같은 자원을, MapReduce나 Spark 같은 여러 애플리케이션이 동시에 나눠 쓸 수 있도록 배분하고 작업 실행을 관리해주는 자원관리 플랫폼입니다.
한눈에 보는 정의
YARN(Yet Another Resource Negotiator, 하둡 자원관리 플랫폼)은 하둡 클러스터의 CPU와 메모리 같은 자원을, 여러 애플리케이션이 나눠 쓸 수 있도록 배분하고 관리해주는 자원관리 플랫폼입니다.
자세히 알아보기
- 예문: "여러 팀이 같은 클러스터에서 동시에 분석 작업을 돌려도, YARN이 자원을 공정하게 나눠 배분해준 덕분에 특정 작업이 자원을 독점하지 않았다."
- 예전에는 MapReduce(맵리듀스) (MapReduce) 전용으로만 자원을 관리했지만, YARN이 도입되면서 자원 관리와 실제 데이터 처리 로직이 분리되어 MapReduce뿐 아니라 Spark(아파치 스파크) (Spark) 같은 다양한 처리 엔진도 같은 Cluster(클러스터) (클러스터) 위에서 함께 돌릴 수 있게 됐습니다.
- 여러 애플리케이션이 동시에 자원을 요청하면, YARN이 우선순위와 할당 정책에 따라 각 작업에 CPU·메모리를 나눠주고 작업 실행 상태를 관리합니다.
- HDFS(하둡 분산파일시스템) (HDFS)가 데이터를 저장하는 역할을 맡는다면, YARN은 그 데이터를 처리할 작업에 필요한 컴퓨팅 자원을 배분하는 역할을 맡아 하둡 생태계에서 서로 다른 축을 담당합니다.