企业官网建设流程全解析

第三章 Actor训练阶段：π0.5如何利用Rollout生成的Action Chunk计算new_logprob

重点展开：

• 为什么Actor不能重新采样Action Chunk；
• 新策略如何重新评价旧Action Chunk；
• new_logprob与old_logprob为什么只差一个策略参数；
• Flow Matching下new_logprob的完整计算；
• Exact likelihood和CFM surrogate likelihood的区别。

继续

第三章 Actor训练阶段：π0.5如何利用Rollout生成的Action Chunk计算new_logprob

上一章解决了：

Rollout阶段，旧策略如何生成Action Chunk，并计算old_logprob。

得到的数据：

(ot,At,old_logprob) (o_t,A_t,old\_logprob)