强化学习价值估计

@ID_AA_Carmack 与 @SUOHA_AI 讨论强化学习中 Q 值高估问题：估计 Q 值常高于实际回报并影响性能，策略只关心相对值但偏移损害 bootstrapping；《Relative Value Learning》可简化为从单个样本 TD 误差中减去平均 TD 误差（relative Bellman regression is TD-error centering），虽有理论价值但未提升任务表现；作者进一步定位到 Q-learning 中从实际未采取的最大动作自举带来偏差，与离线冻结策略学习状态价值不遭受高估的现象一致。