데이터 엔지니어링
멱등 싱크 부재, 중복 적재는 어디서 새는가
멱등 싱크 없는 파이프라인의 중복 적재 발생 지점과 추적·차단 설계를 배치·스트리밍·레이크하우스 축에서 해부한다.
정우석
멱등 싱크 없는 파이프라인의 중복 적재 발생 지점과 추적·차단 설계를 배치·스트리밍·레이크하우스 축에서 해부한다.
ClickHouse MergeTree 파티션 키를 월 단위와 일/사용자/국가 단위로 나눴을 때 병합·병렬성·관리 비용이 어떻게 갈리는지 공식 문서 근거로 대조했다.
Iceberg의 메타데이터 기반 스키마 진화·시간여행을 Hive 정적 테이블과 실측 대조하며 재처리 비용과 신선도의 균형을 뜯는다.
컬럼 스토어의 머지 적체가 SELECT 지연으로 이어지는 경로를 파트 구조·진단 지표·트레이드오프 중심으로 뜯어봤다.
배치와 스트리밍 경로, 스키마 진화, 멱등성, 백필 비용을 어떻게 선택할까? 데이터 적재·변환 설계의 핵심 판단 기준을 뜯어본다.
초저지연 이벤트 스트림 분석의 내부 구조. 컬럼 스토어, 수집 처리량, 질의 지연의 상충을 판단하는 기준과 엔진 선택의 기술적 기초.