홈/태그 목록/#LLM Inference

TAG

#LLM Inference

"LLM Inference" 키워드로 분류된 글 모음.

1 POSTS

vLLM vs TGI: 배치·동시 요청 기준 LLM 추론 엔진 비교

vLLM vs TGI: 배치·동시 요청 기준 LLM 추론 엔진 비교

배치 크기와 동시 요청 변화에 따른 vLLM·TGI 처리량·지연 특성을 비교하고 선택 기준을 정리한다.