@rasbt
@rasbt 发布《Reasoning From Scratch: RLVR》第二轮内容,系统讲解 GRPO 的裁剪策略比率、KL 损失项、格式奖励等技巧。
X / Twitter查看原文 →
@rasbt 发布《Reasoning From Scratch: RLVR》第二轮内容,系统讲解 GRPO 的工程细节与技巧,含完整视频章节时间线:解读基础 GRPO 训练指标、用 Python 脚本跑更长训练、加载并绘制训练日志、诊断训练不稳定、在 MATH-500 上评估检查点、跟踪优势统计、理解并计算熵、用裁剪策略比率稳定 GRPO、实现裁剪策略损失、KL 散度与 reward hacking、加入 KL 损失项及其简化局限、格式奖励与 think 标签、添加特殊 token、只对正确答案奖励格式、研究中其他 GRPO 改进以及后续步骤与蒸馏。(当前 1 条)
@rasbt 发布《Reasoning From Scratch: RLVR》第二轮内容,系统讲解 GRPO 的裁剪策略比率、KL 损失项、格式奖励等技巧。