피드/vllm-project/vllm

vllm

vllm-project

AIPythonApache-2.0
GitHub

LLM 서빙의 사실상 표준. 토큰 처리량과 메모리를 동시에 잡는다.

A high-throughput and memory-efficient inference and serving engine for LLMs

스타
62.8k
이번 구간
+176
포크
11.2k
열기
100

최근 14일 스타 궤적

왜 뜨는가

모델을 제품에 붙이는 팀의 기본 엔진. 새 아키텍처 지원 속도가 커뮤니티를 붙잡는다.

https://vllm.ai

같이 보는 저장소