AI·ML 엔지니어링
GPU 스케줄링과 학습 오케스트레이션: 희소 자원을 어떻게 분배할 것인가
다중 팀이 GPU를 공유할 때 겪는 스케줄링·격리·활용률 상충을 정의하고, 분할 방식부터 선점 정책, 분산 조율까지 설계 판단축을 체계적으로 정리합니다.
배승현
다중 팀이 GPU를 공유할 때 겪는 스케줄링·격리·활용률 상충을 정의하고, 분할 방식부터 선점 정책, 분산 조율까지 설계 판단축을 체계적으로 정리합니다.
RAG 파이프라인에서 검색 품질을 좌우하는 청킹·임베딩·인덱스 선택. 재현율과 응답 속도, 인프라 비용을 동시에 고려하는 설계 원칙과 실측 기준.
프로덕션 LLM 추론의 핵심은 KV 캐시 관리와 배칭 전략. GPU 메모리 압박 속에서 처리량 최대화와 응답 시간 사이의 선택지를 체계적으로 분석한다.