홈/태그/#LLM Inference

TAG · 태그 모음

#LLM Inference

"LLM Inference" 키워드로 분류된 글 모음.

1 POSTS

vLLM vs TGI 심층 비교: 배치 사이즈와 동시 요청에 따른 LLM 추론 최적화 완벽 가이드

vLLM vs TGI 심층 비교: 배치 사이즈와 동시 요청에 따른 LLM 추론 최적화 완벽 가이드

LLM 서비스의 성능 병목 지점을 이해하고, vLLM과 TGI를 활용하여 배치 사이즈와 동시 요청 변화에 따른 GPU 메모리 사용량 및 처리량을 측정하는 실전 벤치마크 방법을 안내합니다.

1일 전5분 읽기

#LLM Inference — Nodelog | Nodelog