데이터 엔지니어링
Flink Exactly-Once 체크포인트, 경계는 어디인가
Flink EXACTLY_ONCE와 AT_LEAST_ONCE를 보장 범위·지연·레이크하우스 신선도 축으로 대조하고, 전환 비용과 선택 기준을 정리했다.
정우석
Flink EXACTLY_ONCE와 AT_LEAST_ONCE를 보장 범위·지연·레이크하우스 신선도 축으로 대조하고, 전환 비용과 선택 기준을 정리했다.
PARTITION BY에 고카디널리티 컬럼을 넣으면 왜 무너지는지, ClickHouse·Pinot 실측 수치로 파트 폭증과 대안 설계를 해부한다.
CDC 재처리를 스트리밍 경로로 태웠다가 비용이 급증한 사례로 배치·스트리밍 재처리 비용 균형의 설계 기준을 뜯어본다.
MV 갱신 지연 장애를 시간순으로 복기하고, 배치·스트리밍·증분 유지 방식의 정합성 트레이드오프를 정리했다.
멱등 싱크 없는 파이프라인의 중복 적재 발생 지점과 추적·차단 설계를 배치·스트리밍·레이크하우스 축에서 해부한다.
ClickHouse MergeTree 파티션 키를 월 단위와 일/사용자/국가 단위로 나눴을 때 병합·병렬성·관리 비용이 어떻게 갈리는지 공식 문서 근거로 대조했다.
Iceberg의 메타데이터 기반 스키마 진화·시간여행을 Hive 정적 테이블과 실측 대조하며 재처리 비용과 신선도의 균형을 뜯는다.
컬럼 스토어의 머지 적체가 SELECT 지연으로 이어지는 경로를 파트 구조·진단 지표·트레이드오프 중심으로 뜯어봤다.
배치와 스트리밍 경로, 스키마 진화, 멱등성, 백필 비용을 어떻게 선택할까? 데이터 적재·변환 설계의 핵심 판단 기준을 뜯어본다.
초저지연 이벤트 스트림 분석의 내부 구조. 컬럼 스토어, 수집 처리량, 질의 지연의 상충을 판단하는 기준과 엔진 선택의 기술적 기초.