전대홍
소프트웨어 개발자 / 데이터 엔지니어
금융 도메인에서 데이터 엔지니어로 근무하며, Hadoop 기반의 레거시 환경부터 Spark·Iceberg 기반의 클라우드 아키텍처 설계, 개발 및 운영이 가능합니다.
수십~수백 TB 규모의 대규모 데이터 처리 환경에서 Spark·Iceberg를 활용한 데이터 플랫폼 애플리케이션을 설계·개발하고 운영하며 성능 최적화에 강점을 가지고 있습니다.
대규모 데이터 플랫폼 설계·개발 경험
- Spark·Iceberg 기반의 데이터 플랫폼 애플리케이션을 설계·개발 주도
- 30대 이상의 Hadoop 클러스터 환경에서 Spark·Hive 기반 배치 시스템을 최적화하여, 수십~수백 TB 데이터 처리 성능을 3배 이상 향상시키고, 집계 시간을 1시간에서 5분 이내로 단축
- Failover·Lock 기반 동시성 제어 및 재실행 체계 구축으로 솔루션 운영의 안정성 확보하고, 일 평균 25억 이상의 신규데이터 서빙에도 안정적으로 운영 경험
- Broadcast Join 제한 및 salt key 기반 Repartition/Sort-Merge Join 적용으로 Spark Data Skew 및 OOM 문제 해결, 작업 안정성 확보
성능 최적화와 아키텍처 혁신 주도
- 기존 솔루션의 Hadoop 의존성을 제거하고 클라우드 & Spark·Iceberg 기반 클라우드 아키텍처 전환을 주도 하였으며, 확장성과 경량화를 달성하고, 사내 수익 증대에 기여함.
- Apache Iceberg, DuckDB 도입 및 운영 체계 구축: Expired Snapshot·Orphan File 관리 체계를 설계·적용하여 데이터 플랫폼 운영 효율과 안정성 극대화
글로벌 오픈소스 기여 & 기술 리더십
- Apache Iceberg, Apache Gravitino, Spring Kafka 등 글로벌 오픈소스 프로젝트에 지속적으로 기여
- 신규 데이터 솔루션 도입을 직접 기획하고 실행, 사내 기술 아키텍처를 개선하며 레퍼런스 발표로 팀 전체의 기술 역량 향상
- 오픈소스 멘토링 운영진으로 활동하며 400명+ 멘티 지원, 최신 기술 트렌드 확산과, 국내의 좋은 오픈소스 기여 문화 정착에 기여
Java
Spring Boot
MySQL
Apache Spark
Apache Iceberg
Apache Hadoop
Apache Hive
Apache Zookeeper(주)디딤365
데이터솔루션팀 · 선임(대리)
· 서울시 구로구소프트웨어개발자 / 데이터엔지니어 · 2024.03 - 현재
AI · Big Data · Cloud 매니지먼트 전문기업. 금융 도메인 빅데이터 솔루션 사업.
주요 성과:
- 수십 TB 이상의 데이터 처리 환경 구축 / 운영 경험 보유
- Spark · 클라우드 기반의 ETL 배치 솔루션 설계 및 개발
- Hadoop 기반의 레거시 솔루션 유지보수 및 성능 최적화
- 최신 오픈소스 기술 도입 및 빠른 학습을 통한 팀 내 전문성 강화에 기여 (Apache Iceberg, DuckDB 세션 발표 및 신규 솔루션 기술도입 어필)
(주)디세이코리아
개발팀 · 사원(연구원)
· 경기도 용인시소프트웨어개발자 · 2022.04 - 2023.08
AI 기반 스마트 팩토리 솔루션 전문기업. 여러 도메인에 대한 SI 사업.
주요 성과:
- 이커머스 B2C 플랫폼 개발 (DB 최적화, 상품 검색 성능 향상에 기여)
- AI 솔루션 유지보수 및 성능 최적화
- 레거시 개발 방식을 개선 및 사내 개발 표준화를 주도
Apache Iceberg
Contributor
대규모 데이터를 안정적으로 관리하고, 효율적으로 처리할 수 있는 테이블 포맷에 기여하였습니다.
Apache Gravitino
Contributor
다양한 데이터 소스의 메타데이터를 통합적으로 관리하고 거버넌스를 제공하는 시스템에 기여하였습니다.
기여 내역:
CreateFileset.java의 handle() 메서드에서 `managed` 프로퍼티 누락 시 발생할 수 있는 NullPointerException을 방지하도록 null-safe 처리 로직을 추가하고, 기본값을 EXTERNAL 모드로 설정. 관련 단위 테스트 작성으로 안정성 강화
PartitionOperations.java의 addPartitions 메서드에 request.validate() 호출을 추가하여 잘못된 요청을 적절히 거부하도록 개선
Spring Kafka
Contributor
스프링 애플리케이션에서 Kafka 메시징을 쉽게 연동하고 관리할 수 있는 프레임워크에 기여하였습니다.
역할: 빅데이터 개발자 (70% 기여)
환경: 30대 하둡 클러스터 환경, 수십~수백 TB 데이터
하둡 에코시스템 기반 대용량 데이터 파기 시스템 성능 개선 및 자동화
기술 스택
주요 성과:
- Spark·Hive 기반 파이프라인 최적화로 처리 성능 3배 이상 개선
- 집계 자동화로 작업 시간 1시간 → 5분 미만으로 단축
- TCP·OOM 등 운영 이슈 해결로 시스템 안정성 확보
- Spark Skew 및 Broadcast Join OOM 문제 해결
- 재실행 및 복구 기능 추가로 운영 편의성과 대응력 향상
- 프로젝트 성공으로 고객 신뢰 확보 및 후속 계약 유치
역할: 개발자 (30% 기여, 7명 팀)
환경: 7대 물리적 서버 및 클라우드 환경
클라우드 기반 데이터 파이프라인 설계 및 개발, DAG 기반 유연한 데이터 처리 솔루션
기술 스택
주요 성과:
- 삼성 Monimo 납품 및 안정적 운영으로 회사 수익에 기여
- 고도화를 통해 삼성SDS 등 여러 기업과의 POC 기회 확보
- Iceberg·DuckDB 도입 및 스냅샷·고아 파일 정리 체계 구현으로 성능 및 운영 효율 향상
- Spark Connect 기반 분리형 아키텍처로 안정적이고 확장 가능한 데이터 처리 시스템 구축
- Hadoop 의존성 제거 및 경량화로 일 25억 건 처리환경에서도 고성능·고안정성 실현
역할: 개발자 (30% 기여, 5명 팀)
환경: 국내 서버 1대, 베트남 서버 1대
국내-베트남 간 이커머스 물류 연동 통합 플랫폼, QR 기반 물류 추적 및 통합관리
기술 스택
주요 성과:
- 국내와 베트남 양국에 서비스 오픈을 완료하여 글로벌 운영 기반을 확보
- ngram 기반 Full Text Index 및 쿼리 최적화를 통해 상품 조회 속도를 70% 이상 개선
- 배치 기반 데이터 동기화로 양국 간 DB 정합성을 안정적으로 유지
- 공통 인프라 코드 개선으로 시스템 운영 안정성과 유지보수 효율을 향상
오픈소스 한국 커뮤니티
운영진
2025.05 - 진행중
- 오픈소스 한국 커뮤니티 8기부터 꾸준히 운영진으로 활동.
- 현재까지 약 500명 이상의 멘티들에 대하여, 오픈소스 기여 가이드 제공 및 서포트.
- Apache Iceberg, Apache Gravitino, Spring Kafka 등 여러 오픈소스에 적극 기여.
ROTC 57기 총동기회
사무총장
2021.09 - 진행중
- 대한민국 ROTC 총동문회의 여러 활동 적극 참여.
- 전국 각지의 ROTC 네트워크 확보를 위한 활동 주도.
한국정보통신진흥협회
한국산업인력공단
방송통신대학교
컴퓨터과학과
2024.03 - 재학중
강남대학교
국어국문학과
2015.03 - 2019.02
졸업
중위 만기 전역
대한민국 육군
2019.03 - 2021.06
소대장 (ROTC 57기)