대규모 시스템

6개의 글

처리 계층의 한계 : Spark, Kafka, etcd, Argo CD

Spark 드라이버, Kafka 리밸런싱의 악순환, etcd 한계, Argo CD 동기화 폭풍까지 보고, 결국 같은 벽에 반복해서 부딪힌다는 것을 정리했습니다.

HDFS 네임노드 힙, Hive 메타스토어, 오브젝트 스토리지, 그리고 Iceberg 의 메타데이터 누적과 고아 파일 제거의 위험까지 기술별로 정리했습니다.

작은 파일, 파티션 폭증, 스키마 진화, 백필, 보관 정책. 만들 때는 안 보이다가 운영하면서 만나는 문제들과, 왜 메타데이터가 먼저 무너지는지를 담았습니다.

응답이 없을 때 처리됐는지 알 수 없다는 원리적 한계에서 출발해, 멱등성과 아웃박스 패턴, 이벤트 시간과 워터마크, 그리고 대사까지 정리했습니다.

이용률이 오르면 대기 시간이 왜 폭증하는지부터 시작합니다. 백프레셔, 재시도 폭풍, 서킷 브레이커, 그리고 우리가 만들지 않은 큐들까지 다뤘습니다.