lightseekorg/tokenspeed
TokenSpeed 是由非营利组织 LightSeek Foundation 开发的开源 LLM 推理引擎，专为 agentic 工作负载设计，号称具备 TensorRT-LLM 级别的性能和 vLLM 级别的易用性，其核心创新在于将控制平面（C++ 有限状态机）与执行平面（Python）分离，并将内核作为模块化子系统。
GitHub查看原文 →
GitHub1 条
LLM 推理引擎
TokenSpeed 是由非营利组织 LightSeek Foundation 开发的开源 LLM 推理引擎，专为 agentic 工作负载设计，号称具备 TensorRT-LLM 级别的性能和 vLLM 级别的易用性，核心创新在于将控制平面（C++ 有限状态机）与执行平面（Python）分离，并将内核作为模块化子系统，获得 NVIDIA、AMD 与 PyTorch 生态支持。