AI·ML 엔지니어링
KubeRay 분산학습 장애 회고: GPU는 있었다
다중 팀이 GPU 풀을 공유할 때 KubeRay 학습이 멈춘 사고를 재구성해 gang scheduling·placement group·autoscaler headroom의 상호작용을 뜯어본 장애 회고.
배승현
다중 팀이 GPU 풀을 공유할 때 KubeRay 학습이 멈춘 사고를 재구성해 gang scheduling·placement group·autoscaler headroom의 상호작용을 뜯어본 장애 회고.
사전·사후 필터 중 정답은 없다. 필터 선택도별 filtered recall@k와 p99 지연시간, pgvector iterative_scan 실측 조건을 대조했다.
FP8·INT4 양자화가 LLM 추론 처리량에 미치는 실측 수치와 KV 캐시·프리픽스 라우팅 변수를 2026년 기준 자료로 분리해 뜯어봤다.
MIG 프로파일 불일치가 Pod를 무기한 Pending으로 묶는 구조를 드라이버·디바이스 플러그인·스케줄러 계층별로 해부한다.
BM25+벡터 RRF 융합 파이프라인에서 recall이 0.69대에 멈췄던 사례를 장애 회고 형식으로 분석한다. 원인은 k값이 아니라 재순위 단계 부재였다.
청크드 프리필 튜닝과 프리필·디코드 분리 구성을 실측 수치로 대조해 디코드 지연(ITL/TBT)에 어느 쪽이 더 효과적인지 뜯어본다.
분산 학습 GPU 스케줄링에서 pod 단위 admission과 gang 단위 admission을 대조해 부분 할당 데드락의 원인과 대응 기준을 정리한다.
청킹 크기와 벡터DB 선택이 RAG 파이프라인의 재현율·지연·인덱스 비용을 어떻게 가르는지 2025~2026 실측치로 뜯어봤다.
멀티턴 에이전트 서빙에서 프리픽스 캐시 히트율이 무너진 사례를 실측 수치로 재구성한 장애 회고.
쿼터는 충분한데 GPU는 비어 있었다. Kueue의 gang scheduling과 cohort borrowing이 충돌한 사례를 뜯어본 장애 회고.
HNSW ef_search 튜닝의 재현율-지연 트레이드오프를 실측치로 뜯어보고, pgvector와 전용 벡터DB의 규모별 경계를 정리한다.
vLLM 연속 배칭 처리량 병목을 KV 캐시·스케줄러·prefix 라우팅 계층별로 뜯어보고 실측 수치로 검증한다.