개인 공부

31개의 글

누적 : 작은 파일, 파티션, 스키마 진화

작은 파일, 파티션 폭증, 스키마 진화, 백필, 보관 정책. 만들 때는 안 보이다가 운영하면서 만나는 문제들과, 왜 메타데이터가 먼저 무너지는지를 담았습니다.

응답이 없을 때 처리됐는지 알 수 없다는 원리적 한계에서 출발해, 멱등성과 아웃박스 패턴, 이벤트 시간과 워터마크, 그리고 대사까지 정리했습니다.

이용률이 오르면 대기 시간이 왜 폭증하는지부터 시작합니다. 백프레셔, 재시도 폭풍, 서킷 브레이커, 그리고 우리가 만들지 않은 큐들까지 다뤘습니다.

클러스터 CPU 는 30% 인데 작업이 끝나지 않는 상황을 다룹니다. 왜 쏠리는지, 어떻게 찾는지, 솔팅과 두 단계 집계로 어떻게 푸는지를 정리했습니다.

기본 키가 없을 때의 제약부터 적재 속도를 끌어올리는 방법, 두 가지 지연을 나눠 보는 법, Redshift 를 타깃으로 쓸 때의 함정까지 담았습니다.