端侧模型与推理部署

本地与端侧模型运行时、部署与推理实验：@Alex_tra_memory 称 Decision 3.0 登陆 Core ML，d3-lite 在 M5 Pro 上本地实时把 1000 个 PR 分流到 vllm-sr 工作组，每个 PR 0.12 秒、每秒 8.3 个 PR、数据不出 Mac，lite/nano/mini 三版本已转换并放在同一仓库（附 HF 与 GitHub 链接）。@Gorden_Sun 称谷歌开源 EmbeddingGemma 2 商业价值巨大，可跨文字、图片、视频检索，只需描述图片内容即可搜出对应图片，已有基于该模型的开源应用。@fchollet 表示一直在用 KerasHub + JAX + TPUs 尝试各种 LLM 后训练实验，玩得很开心，可能会开源部分内容。此前已有 @Saboo_Shubham_ 的 Google 本地 Mac AI 笔记应用（Embedding Gemma 2 驱动）等。（当前 4 条）