공부 블로그

개인 공부와 사이드 프로젝트, 그리고 개발하며 배운 것들을 기록하는 블로그입니다. 나중에 다시 찾아볼 수 있도록 배운 내용을 정리하고 있습니다.

MapReduce · Tez · Spark, 무엇이 어떻게 다른가

같은 자리를 놓고 세대가 바뀐 세 처리 엔진을 나란히 놓고 정리했습니다. 흔히 말하는 '메모리라서 빠르다'가 어디까지 맞는 말인지도 함께 따져보았습니다.

하둡 주변에 어떤 프로젝트들이 있고 각각 무엇을 맡는지, 데이터가 흘러가는 순서대로 정리했습니다. 지금은 개발이 멈췄지만 한때 널리 쓰였던 프로젝트들까지 함께 담았습니다.

MapReduce가 데이터를 나눠 처리하는 방식과 1.0에서 2.0으로 넘어오며 바뀐 점, 그리고 직접 돌려본 결과와 한계까지 담았습니다.

YARN이 자원을 어떻게 나눠 주는지, 스케줄러와 큐는 무엇을 결정하는지, 아키텍처를 따라가며 정리했습니다.

HDFS가 파일을 나눠 담고 읽는 방식부터 고가용성 클러스터 구성, Erasure Coding까지 하둡을 이루는 요소들을 하나씩 정리했습니다.