BerriAI/litellm
LiteLLM 是一个开源 AI Gateway，提供统一的 OpenAI 格式接口调用 100+ LLM 提供商（OpenAI、Anthropic、Gemini、Bedrock、Azure 等），既可作为 Python SDK 直接集成，也可部署为自托管的代理服务器（AI Gateway），支持虚拟密钥、成本追踪、护栏、负载均衡和日志记录，宣称在 1k RPS 下具有 8ms P95 延迟。
GitHub查看原文 →
GitHub2 条
LLM 统一网关与推理框架
大语言模型接入与本地推理基础设施：BerriAI/litellm 是开源 AI Gateway，以 OpenAI 格式统一调用 100+ 提供商，既可作 Python SDK 也可自托管代理服务器，支持虚拟密钥、成本追踪、护栏、负载均衡、A2A 协议、MCP 工具与 Agent Harnesses，1k RPS 下 8ms P95 延迟；antirez/ds4（DwarfStar）是 Redis 作者开发的 C 语言原生推理引擎，专为消费级硬件优化，支持 DeepSeek V4 Flash/PRO、GLM 5.x、Qwen3.8 Flash Next，覆盖 Metal、CUDA、ROCm 后端，含 ds4-agent 原生编码代理与 ds4-server，非通用 GGUF 运行器，需使用项目自产 GGUF 文件。
antirez/ds4
DwarfStar（antirez/ds4）是一个由 Redis 作者 Salvatore Sanfilippo 开发的、专为消费级硬件优化的原生大语言模型推理引擎，使用 C 语言编写，重点支持 DeepSeek V4 Flash/PRO、GLM 5.x 和 Qwen3.8 Flash Next 等模型，覆盖 Metal、CUDA 和 ROCm 三大后端。
GitHub查看原文 →