LLM推理与服务引擎

vLLM是由UC Berkeley Sky Computing Lab起源、2000多名贡献者维护的高性能开源LLM推理与服务库，以PagedAttention、连续批处理、分块预填充、前缀缓存等核心技术实现业界领先吞吐量；支持FP8/INT8/INT4/GPTQ/AWQ/GGUF等量化、FlashAttention/FlashInfer等优化内核、投机解码、解耦式prefill/decode，以及张量/流水线/数据/专家/上下文并行分布式推理；提供OpenAI兼容API、Anthropic Messages API与gRPC、结构化输出、工具调用与多LoRA；原生支持NVIDIA/AMD/Intel GPU与多种CPU，并通过插件支持TPU、Gaudi、Spyre、Ascend等硬件；无缝支持Hugging Face上200+模型架构（解码器LLM、MoE、混合注意力与状态空间、多模态、嵌入检索、奖励分类模型），采用uv/pip安装，GitHub约9.4万Stars。