开源模型与推理部署

开源模型发布、本地推理与硬件部署动态。@NFT_Chen 介绍「强化版 Qwen3.8-27B」：仅 27B 参数却声称比肩 Opus 5.5、GPT-6 Astra 等前沿模型，用 390 万条代码专项后训练，蒸馏对齐 Opus 5.5/GPT-6 Astra/Grok 4.7/DS V4 Pro；EfficientThink 压缩空转推理解决「有答案仍写到 94K」问题，SFT + RLOO + MTP 三重训练外加 DFlash2 投机解码；自测 GPQA 89.9%、MMLU 90%、LCB 90%（LiveCodeBench 小集从 83 提升到 90），推理 token 中位数降低 44%–53%；Apache-2.0 许可，GGUF Q4 约 18GB、24GB 显卡可跑，给出 llama.cpp（llama-server -m Q4LynnStyle-MTP.gguf -c 409600 -ngl 99 --jinja --spec-type draft-mtp --spec-draft-n-max 4，可加 --mmproj 看图）与 SGLang + DFlash2 两条部署路径。@UnslothAI 发布免费 notebook，可在仅 8GB 显存本地训练 Qwen3.5-4B 决策模型，让模型生成决策而非文本，涵盖数据准备（state、questions、gold answers）、训练与 serve。此前已有 @RoundtableSpace 称游戏 PC 可运行 1250 亿参数模型（strata 引擎）与 @fabrice_mayrand 的端点替换降本方案。