견고한 데이터 엔지니어링

이 책은 빅데이터를 지탱하는 기술, 데이터 파이프라인 핵심 가이드와 더불어 데이터 엔지니어링에 관한 기본서로 많은 내용을 담고 있습니다. 또한, 많은 분들께 추천을 받아 읽게 되었으며 데이터 수명 주기에 관해서 많이 공감하며 재밌게 읽었습니다.

이 책을 읽기 전까지 엔지니어가 결국 기업의 의사결정을 효율적으로 지원하는 역할을 해야 한다고 생각했습니다. 이에 따라 백엔드부터 비즈니스 인텔리전스, 인공지능, 머신러닝, 그리고 MLOps까지 다양한 분야를 고려해야 한다고 생각했습니다. 그러나 이 책을 통해 데이터 엔지니어의 궁극적인 목적과 역할에 대해 새롭게 조명을 받게 되었습니다.

데이터 엔지니어링의 생명주기는 데이터의 생성부터 저장, 수집, 변환, 그리고 서빙까지 이르며, 이 전 과정에 걸쳐 보안, 데이터 관리, DevOps, 아키텍처, 그리고 오케스트레이션, 소프트웨어 엔지니어링까지 다양한 요소들이 복합적으로 작용합니다. 결국, 데이터 엔지니어는 이러한 수명주기 전반에 걸쳐 기업의 투자수익률(ROI)을 극대화하고, 재무적, 기회적 비용을 최소화하며, 다양한 리스크(보안과 데이터 품질 등)를 효과적으로 관리하는 것이 최상위 목표라 할 수 있습니다.

이 책은 "어떻게 하면 비즈니스에 진정한 가치를 더하는 데이터 엔지니어가 될 수 있을까?" 그리고 "데이터 엔지니어로서 고려해야 할 핵심 요소들은 무엇인가?" 등의 본질적인 질문에 대한 깊이 있는 통찰을 제공합니다. 이 책에서 탐구하는 데이터 엔지니어의 역할은 더욱 정확하게는 '데이터 수명주기 엔지니어'라고 칭할 수 있을 만큼 전반적이고 종합적인 관점을 제시합니다.

1. 데이터 엔지니어링 수명 주기

데이터 엔지니어링 수명 주기는 원시 데이터의 요소를 분석가, 데이터 과학자, ML 엔지니어 등이 사용할 수 있는 유용한 최종 제품으로 전환하는 단계로 구성됨.

데이터 엔지니어링의 핵심 목적은 수명 주기 전체에 걸쳐 데이터를 운반하고, 최종 사용자의 요구에 따라 이를 제공하고 견고하고 신뢰성 높은 시스템 설계하는 것.

2. 데이터 엔지니어링의 발전 과정

3. 데이터 엔지니어링이란?

저자는 최신 기술과 사례들의 장단점을 이해하는 데 도움이 되는 분야 전문가를 찾아보는 것을 권장합니다. 또한, 다양한 최신 서적, 블로그 게시물, 논문을 광범위하게 조사하고, 데이터 엔지니어링 관련 밋업에 참여하여 다양한 관점을 듣고, 질문하며, 자신의 전문 지식을 공유하는 것이 유익하다고 말합니다.

데이터 엔지니어로서 주니어로써 저자의 권유에 따라 이러한 다양한 활동에 참여하고 있으며, 이는 스킬업 큰 도움이 되고 있습니다. 책을 읽으며 많은 부분에 공감하고 경험과 지식을 풍부하게 하는 데에 많은 도움을 받았습니다.

이 책은 우수한 아키텍처 설계, 데이터 엔지니어링의 수명 주기 단계, 그리고 보안 관행에 대해 깊이 있게 탐구합니다. 저자는 데이터 엔지니어링의 연속성과 그 뒤에 숨겨진 요소들에 중점을 두고, 관련된 주제들을 상세히 다루어 많은 통찰력을 제공합니다.

이 책의 내용을 한 번만 읽기에는 아쉬움이 남아, 내용을 꼼꼼하게 정리하며 정독했습니다. 데이터 엔지니어링에 관한 이 책은 제게 기본서가 되어, 앞으로도 여러 번 읽을 계획입니다.