企业官网建设流程全解析

论文：AdaRSI: On-Demand Recursive Self-Improvement for Embodied Agents（Northeastern Univ. / AgiBot / UCAS，2026.10）

一、核心问题

具身智能体由两部分组成：

• Harness：编码智能体写的工具、技能和流程，决定"怎么调用执行器"。
• Executor：底层 VLA，它的权重决定"能做什么动作"。

现有的递归自我改进（RSI）方法大致分两类：

• 只改 harness：成本低、可读、可回滚。但遇到 VLA 根本做不出的动作就卡住了。
• 直接微调 VLA：没有先判断失败的原因是"调用方式不对"还是"动作能力缺失"。如果是前者，训练既浪费，还可能让原本会做的子步骤变差。

论文提出的核心问题是：自我改进系统什么时候应该修改执行器的权重？作者的回答是：先做失败归因。只有在 harness 已经尝试过各种调用方式（换指令、换站位、换接近方向）之后仍然不可靠的子步骤，才值得训练。

如图AdaRSI概览：

二、方法

系统写成 S = (A, H, Π)：A 是编码智能体（GPT-6.1-sol + Codex），H 是 harness，Π 是策略库，初始只有 π₀ = GR00T N1.5。优化目标是在部署成功率 J 高的同时，让改进成本 C = C_H（token）+ C_Π（演示数据和 GPU）低。

如图AdaRSI 的流水线：

流程分四步：

1. Harness 改进（2 轮）：智能体写工具，例如精细定位、复位手臂、相机缩放，再编排执行流程。在独立的验证场景上运行，根据反馈修改。
2. 失败归因：这是方法的关键。利用仿真器快照做反事实重执行：从同一个状态出发，换不同的指令或接近方式重试失败的子步骤。如果怎么换都无法让 π₀ 稳定完成，就把这个子步骤标为executor-limited。
3. 按需训练（1 轮权重轮）：
   • 只针对上一步选出的子步骤自采演示。方式有两种：对 π₀ 做拒绝采样，或由智能体编写一个读取特权状态的脚本专家。
   • 从harness 实际会把机器人带到的状态开始微调。
   • 在留出的初始状态上和 π₀ 做配对比较，只有更好时才推荐使用新策略，其他情况默认仍用 π₀。

4. 跨任务递归：先在 pilot 任务上无预算地改进，总结出一份"经验文档"和训练预算规则，供后续任务使用。

部署时，一个新的智能体实例在线读取流程、调用工具和策略，不使用任何特权信息。

三、主要实验结果（RoboCasa365，50 个目标任务，无人类演示）

几个关键发现：

• Harness 贡献了大部分提升。在 Composite-Unseen 上，从 4.6 提到 9.9 不需要任何训练；权重轮再加 3.9 个百分点。
• 和 Always train（每个子步骤都训练）比：AdaRSI 只用了 28% 的 GPU 时间、22% 的演示，成功率还略高（13.8 vs 12.6）。
• 配对子步骤测试（Tab. 4）很有说服力。π₀ 做不了的动作，微调后明显提升，例如开微波炉门从 0/18 到 7/18。π₀ 已经会做的动作，微调后反而变差，例如放牛角包从 16/40 降到 11/40。这直接支持"按需训练"的论点。
• Harness 决定了从哪里训练。在 WaffleReheat 上，Agent+weights 和 AdaRSI 都训练了开门策略，但只有 AdaRSI 的训练起点是 harness 实际到达的位姿，结果 38% 对 4%。
• Lowest first 基线（Tab. 8）：按"π₀ 成功率最低的子步骤优先训练"，选出的子步骤和 AdaRSI 大部分相同，但成功率是 11.8 对 16.6。说明归因不仅决定"训练什么"，还决定"从哪些状态学"。

四、贡献

1. 问题刻画清楚：把"何时改权重"明确为一个失败归因问题，区分了"调用方式不对"和"动作能力缺失"两种失败，而这两种需要不同的处理。这个视角对具身 RSI 领域有启发性。
2. 方法可操作：用仿真快照做反事实重执行来归因，用特权状态脚本专家自采演示，再把新策略和 π₀ 配对验证后才采用。整个流程都不需要人类演示。
3. 实验证据扎实：在 RoboCasa365 全部 50 个任务上评测，开发、验证、测试场景互不重叠。消融比较全面（agent+weights、always train、fixed procedure、w/ π₀、lowest first），并且画出了成本—成功率的帕累托图。
4. 有价值的经验发现：
   • 微调可能损害执行器已经掌握的能力。
   • harness 的作用不只是提升成功率，还决定了策略的训练状态和调用状态。
   • 部署时在线自适应很重要：固定流程只有 6.9%。

5. 在成本上做了显式权衡：把 token、演示数量、GPU 时间都计入成本，而且连训练了但没被采用的策略也算在内。

五、不足

1. 绝对性能仍然很低，统计显著性存疑

• Composite-Unseen 最终只有 13.8%。16 个任务里约一半所有方法都接近 0（Tab. 2）。"约 3 倍提升"的说法建立在很低的基数上。
• 每个任务只测 50 个场景，没有报告多个随机种子或置信区间。AdaRSI 和 Always train 的差距是 110/800 对 101/800 次成功，很可能不显著。所以"略高且更省"中，"更省"站得住，"略高"不一定。
• 单任务波动很大。例如 CuttingToolSelection 加上权重轮后从 50% 降到 36%，说明验证集上的选择不够稳健。

2. 归因依赖 LLM 的判断，缺乏定量评估

• 一个子步骤是否 “executor-limited”，由智能体判断："找不到任何让 π₀ 成功的 harness"。这本质上是有限尝试后的启发式结论，没有给出归因准确率（比如假阳性、假阴性）的分析。
• 作者也承认开发集上的收益到测试集不一定成立（OpenDrawer、CuttingToolSelection），验证场景数量有限，存在过拟合风险。

3. 严重依赖仿真特权信息，迁移到真机的难度被低估

• 快照回滚、成功检测器、物体位姿和铰接状态都来自仿真。归因（反事实重执行）和数据采集（脚本专家）这两个核心环节都依赖它们。
• 在真机上，"从同一状态重试"几乎做不到。作者在 Limitations 里说真机上成本更高，"只会更支持按需训练"。但更关键的问题是，归因机制本身在真机上可能无法成立。目前也没有任何真机实验。
• "自采演示"中的脚本专家，实际上是 LLM 编写的、使用真值位姿的规划器，相当于特权蒸馏。说"无人类演示"没错，但它对仿真的依赖不能轻描淡写。

4. 推理和改进成本很高，对实时部署不友好

• 每个任务的改进阶段要消耗约 154M 输入 token。部署时每个 episode要 4.2M 输入 token（虽然 97% 是缓存命中），而且依赖前沿闭源模型 GPT-6.1-sol。
• 文中的"成本"主要比较的是 GPU 时间。和纯 VLA 相比，部署时的延迟和 API 成本没有被充分讨论。固定流程只有 6.9%，说明性能很大程度上依赖在线的大模型智能体。

5. 泛化性验证不足

• 只测了一个执行器（GR00T N1.5）、一个基准（RoboCasa365）、一个编码智能体。在其他 VLA（π₀.5、OpenVLA）或其他 LLM 上能否成立，结论未知。
• 没有和同期的具身 RSI 方法直接对比，例如 EmbodiedRSI、HarnessPAI、ENPIRE、Self-evolving coding agents。所有比较都是作者自己的变体。

6. "递归"的程度有限

• 实际只有 2 轮 harness 改进加 1 轮权重改进。跨任务递归也只是 pilot 任务产出的一份经验文档和一条预算规则。
• 没有展示随轮数增加的改进曲线，也没有说明多轮下会收敛还是退化。"Recursive" 这个说法有些超出实验所支撑的范围。

7. 策略库的可扩展性

• 每个子步骤训练一个独立的微调策略，库会随任务数线性增长，没有讨论如何合并回统一模型。
• 部署时智能体可以绕过推荐策略、自行调用其他策略，这也带来了不确定性，作者自己也提到了这一点。

六、总体评价

这篇论文的核心价值在于提出了一个清晰的原则：先改 harness，再按归因结果有选择地改权重，并且用配对子步骤测试、Lowest first 对照、成本—成功率帕累托分析等设计较有说服力地支持了这个原则。它更像一篇"问题定义加经验规律"的工作，而不是性能突破：

• 绝对成功率仍然很低。
• 关键机制（快照式反事实归因）强依赖仿真。
• 统计稳健性和外部基线对比都不够。