企业官网建设流程全解析

AutoAgent‑Bench：面向自主演进智能体的端到端评测基准

原文网页：https://arxiv.org/html/2610.18813v1
PDF链接：https://arxiv.org/pdf/2610.18813v1
arXiv编号：arXiv:2610.18813v1 [cs.AI]

摘要
自主演进智能体可以在没有人工干预的条件下，修改自身提示、工具逻辑、记忆模块，迭代提升任务性能。现有绝大多数智能体评测基准面向固定配置智能体，无法评估智能体自我修改、自我迭代演进的能力。本文提出AutoAgent‑Bench端到端评测基准，专门用于评估自主演进智能体。基准包含42个真实世界难度任务，横跨软件开发、数据分析、网页研究、硬件配置四大领域；任务提供初始基础智能体配置，智能体可以自由修改提示、工具调用逻辑、记忆策略，在有限资源预算下迭代优化自身，最终完成目标任务。
评测定义两套互补指标：①演进增益指标：对比演进前后的任务性能；②演进过程指标：迭代效率、修改稳定性、无效修改占比、资源消耗。对7套主流自主演进智能体方案开展评测，实验结果表明：现有自主演进智能体平均演进增益有限，部分任务出现负向退化；频繁产生无效修改，存在过拟合训练任务、修改之后破坏原有能力等问题。消融实验验证任务领域、初始配置质量、迭代预算对演进效果的影响。全部数据集、评测环境、运行脚本开源，为后续自主演进智能体研究提供统一测试床。

关键词
自主演进智能体；自我改进智能体；智能体评测；智能体Harness；自我修改；迭代优化

目录

1. 引言
2. 相关工作
3. AutoAgent‑Bench基准设计
   • 3.1 任务设计原则
   • 3.2 任务数据集总览
   • 3.3 仿真执行环境
   • 3.4 评测指标体系
4. 实验设置
   • 4.1 被测演进智能体方案
   • 4.2 实验约束与超参数
5. 实验结果
   • 5.1 整体演进增益结果
   • 5.2 演进过程行为统计
   • 5.3 不同任务领域性能差异
   • 5.4 消融实验
6. 讨论与局限性
7. 结论
8. 附录简要说明
   

1 引言

大模型智能体借助提示、工具、记忆完成复杂任务。新一代自主演进智能体不需要人工介入，可以读取自身运行轨迹，自主修改系统提示、工具选择逻辑、记忆读写策略，迭代改进自身，追求更高任务成功率。
现有的GAIA、SWE‑bench、BrowseComp‑Plus等基准，全部面向配置固定不变的智能体；只能评测给定Harness下的任务完成效果，无法衡量智能体“自我修改迭代”这项核心能力。

自主演进智能体的评测需要回答一系列新问题：

1. 智能体经过多轮自我修改之后，任务性能是否真正得到提升？
2. 迭代过程会不会出现负向退化，修改之后破坏原有能力？
3. 是否大量产出无效、无收益的自我修改？
4. 迭代资源预算与演进收益之间的权衡关系。

为此本文构建AutoAgent‑Bench，专门针对自主演进智能体的端到端评测基准。

• 数据集包含42个真实难度任务，分为软件开发、数据分析、网页研究、硬件配置四大领域；
• 每个任务提供一套初始基础智能体配置（提示+工具集+记忆策略），这套初始配置往往不足以直接解决任务；
• 智能体被允许在预算限制内，自主修改自身提示、工具逻辑、记忆策略，反复迭代演进，直到完成任务或者耗尽预算；
• 指标分为两类：演进增益指标（演进前后任务成功率变化）；演进过程指标（迭代效率、修改稳定性、无效修改占比、资源开销）。

本文主要贡献

1. 提出AutoAgent‑Bench，面向自主演进智能体的端到端评测基准；42项跨领域任务，配套初始智能体配置，支持智能体自我修改迭代。
2. 设计双层评测指标体系：既评估最终演进增益，也评估迭代过程行为，捕捉退化、无效修改等现象。
3. 系统评测7套主流自主演进智能体方案；实验表明现有方案平均演进增益有限，部分任务出现性能退化，存在大量无效修改；消融验证任务领域、初始配置、迭代预算的影响。
4. 数据集、仿真环境、全部运行脚本开源，推动自主演进智能体方向研究。

2 相关工作

2.1 大模型智能体评测基准

GAIA、OSWorld、SWE‑bench、BrowseComp‑Plus：全部使用固定智能体配置，智能体不能修改自身Harness、提示、记忆逻辑。不支持评估自我演进能力。

2.2 自主/自演进智能体

EvolveMem、MemPro、M‑star、AEVO、Meta‑Harness Engineering这类自演进智能体，依靠执行轨迹反馈修改记忆程序、提示、编排逻辑。现有工作大多在自研小规模内部测试集验证，缺少统一公开基准横向对比。

2.3 自改进大模型评测

大部分自改进评测聚焦模型权重微调；AutoAgent‑Bench聚焦不改动基座权重，只修改上层智能体Harness（提示、工具、记忆策略）的自主演进。

3 AutoAgent‑Bench基准设计

3.1 任务设计原则

1. 初始配置非最优：每个任务提供一套可用但是不足的初始智能体Harness；直接使用初始配置任务成功率较低，留给演进空间。
2. 真实世界任务难度：避免玩具样例；任务来自真实工作流，包含多步骤工具调用。
3. 可自我修改空间明确：允许修改对象分为三类：系统提示、工具调用选择逻辑、记忆读写/检索策略。基座大模型权重全程固定，不可修改。
4. 可复现与可判定：任务具备明确的客观成功判定标准；沙盒环境可复现执行。
5. 领域多样性：覆盖软件开发、数据分析、网页研究、硬件配置，测试不同场景下演进泛化能力。

任务流程：
输入：任务描述 + 初始智能体配置（提示、工具集、记忆策略）
智能体循环：运行智能体执行任务 → 读取轨迹反馈 → 自主修改自身Harness配置 → 再次运行；
终止条件：任务成功 / 迭代耗尽最大演进轮次预算。

3.2 任务数据集总览

全部42项任务，初始配置整体成功率仅23.8%，存在充足演进提升空间。
每个任务配套：

1. 任务目标描述；
2. 初始智能体Harness（系统提示、工具列表、记忆策略模板）；
3. 沙盒环境镜像；
4. 客观任务成功判定脚本。

3.3 仿真执行环境

基于Docker隔离沙盒；提供文件读写、Bash shell、网页检索、Python执行工具。
演进智能体可调用自我修改工具：

1. edit_system_prompt：编辑系统提示词；
2. edit_tool_logic：修改工具选择、调用前置校验逻辑；
3. edit_memory_strategy：修改记忆写入、检索、淘汰策略。

约束：禁止修改基座模型权重；不允许新增外部工具，仅可修改已有三套模块的内部逻辑。
完整执行日志保存每一轮演进：Harness快照、执行轨迹、任务结果。

3.4 评测指标体系

分为演进增益指标、演进过程指标两大类。

第一类：演进增益指标

1. S R i n i t SR_{init}SRinit​：初始Harness直接运行的任务成功率；
2. S R e v o SR_{evo}SRevo​：经过多轮自主演进之后，最终版本Harness的任务成功率；
3. Δ S R = S R e v o − S R i n i t \Delta SR = SR_{evo}-SR_{init}ΔSR=SRevo​−SRinit​：绝对演进增益；Δ S R > 0 \Delta SR>0ΔSR>0代表获得提升；Δ S R < 0 \Delta SR<0ΔSR<0代表演进后性能退化；
4. Max‑SR：演进全部轮次中，曾经达到过的最高成功率（不要求最终轮保留）。

第二类：演进过程指标

1. 迭代效率：达到最优版本平均消耗演进轮次；
2. 有效修改率：所有自我修改动作中，真正带来任务性能提升的修改占比；
3. 退化修改占比：修改之后，任务性能相比修改前下降的修改占比；
4. 无效修改占比：修改完成，但是任务性能没有发生可观测变化的修改占比；
5. 资源开销：平均每任务消耗的模型调用次数、token开销。

注意：同一个修改，可能在A任务带来提升，在B任务带来退化；指标统计在全部42个任务上做聚合。

4 实验设置

4.1 被测演进智能体方案

7套主流自主演进智能体方案，全部使用同一基座GPT‑5.6‑Luna，基座权重固定。

1. Baseline‑NoEvo：无演进，直接使用初始Harness运行，不允许自我修改；
2. EvolvePrompt：仅支持修改系统提示的演进智能体；
3. EvolveTool：仅修改工具调用选择逻辑；
4. EvolveMem：仅修改记忆读写检索策略；
5. AEVO：同时修改提示+工具+记忆，基于轨迹反馈做进化式搜索；
6. Meta‑Harness：元提示引导，迭代重写整套Harness编排逻辑；
7. AutoEvo‑Full：完整自主演进，允许自由修改三类模块，多轮反思迭代。

4.2 实验约束与超参数

• 每任务最大演进轮次：N e v o = 8 N_{evo}=8Nevo​=8轮；每一轮演进内部任务执行最大工具调用步数50步；
• 沙盒：Docker隔离，环境镜像统一；
• 每个任务每个方案重复运行3次，报告均值；
• 成功判定：使用内置客观脚本判定任务成功/失败，不使用LLM裁判。

5 实验结果

5.1 整体演进增益结果

关键现象：

1. 现有演进智能体可以带来正向增益，但整体增益幅度有限；最优AutoEvo‑Full最终增益仅+11.9%。
2. Max‑SR显著高于S R e v o SR_{evo}SRevo​：很多任务在某一轮迭代得到较好Harness，但是后续迭代又发生退化，无法把好的修改保留到最后版本。
3. 部分任务出现负向退化：全部7套演进方案，都存在若干任务，演进结束后比初始配置效果更差。

5.2 演进过程行为统计

核心观测：

1. 无效修改占比很高，接近60‑75%：大量自我修改完成之后，任务性能没有发生变化；
2. 退化修改占比16‑27%，不少修改反而会降低任务性能；
3. 真正带来正向收益的有效修改占比普遍低于20%。

5.3 不同任务领域性能差异（AutoEvo‑Full）

硬件配置任务几乎没有演进收益；Shell、环境依赖类任务，Harness层面修改很难弥补底层环境复杂性带来的难点。软件开发任务演进收益最高。

5.4 消融实验

消融1：最大演进轮次预算影响（AutoEvo‑Full）

提升迭代预算，可以继续提升增益，但边际收益递减；轮次变多同时，退化修改的绝对数量也随之上涨。

消融2：初始Harness质量

• 高质量初始配置（S R i n i t = 40.5 % SR_{init}=40.5\%SRinit​=40.5%）：Δ S R \Delta SRΔSR仅+5.3%，提升空间小；
• 较差初始配置（S R i n i t = 11.9 % SR_{init}=11.9\%SRinit​=11.9%）：Δ S R \Delta SRΔSR达到+17.8%；

初始配置越差，演进可获得的增益越大；初始本身很强，演进收益被压缩。

消融3：可修改模块约束

• 仅允许修改提示：Δ S R = + 4.8 % \Delta SR=+4.8\%ΔSR=+4.8%
• 提示+工具：Δ S R = + 8.3 % \Delta SR=+8.3\%ΔSR=+8.3%
• 提示+工具+记忆全部开放修改：Δ S R = + 11.9 % \Delta SR=+11.9\%ΔSR=+11.9%

开放更多可修改模块，整体增益上升，但无效、退化修改的概率同步上升。

6 讨论与局限性

主要发现总结

1. 当前自主演进智能体可以带来正向收益，但增益有限；大量自我修改属于无效修改，还会出现性能退化；很多好的中间版本不能被保留到最终迭代。
2. 演进收益高度依赖任务领域：软件开发收益最高，硬件配置几乎无收益；初始Harness质量、迭代预算显著影响最终效果。
3. 仅仅看最终演进后成功率是不够的；必须观测迭代过程指标，捕捉退化、无效修改这类行为。

局限性

1. 本基准只针对上层Harness演进，基座模型权重固定；不评估权重微调式自改进。
2. 任务数量42，规模有限；未来可以扩充更多任务、更多领域。
3. 自我修改空间限定在提示、工具逻辑、记忆策略；不允许新增工具。
4. 实验使用固定基座GPT‑5.6‑Luna；更换基座模型，演进行为会发生变化。

启示

自主演进智能体研究不能只报告最终任务成功率；需要关注迭代过程：无效修改、退化、中间版本无法保留等问题是现实瓶颈。AutoAgent‑Bench提供一套同时衡量增益与过程行为的评测环境。

7 结论

本文提出AutoAgent‑Bench，面向自主演进智能体的端到端评测基准。数据集包含42项跨领域真实任务，每个任务提供初始不足的智能体Harness，允许智能体在预算约束下自主修改提示、工具逻辑、记忆策略迭代演进。
构建双层指标体系，同时衡量演进增益与迭代过程行为。对7套主流自主演进智能体开展评测，实验表明现有方案演进增益有限，存在大量无效修改，部分迭代发生性能退化；软件开发任务演进收益最高，硬件配置任务几乎无提升；消融实验证实迭代预算、初始配置质量、可修改模块范围会显著影响演进效果。
数据集、沙盒仿真环境、全部运行脚本开源，为后续自主演进智能体方向提供统一评测测试床。

附录简要说明

• 附录A：全部42项任务完整描述、初始Harness配置样例。
• 附录B：自我修改工具接口定义、沙盒Docker镜像配置。
• 附录C：7套被测演进智能体完整Prompt、超参数。
• 附录D：完整细分实验数据表，分任务、分轮次统计结果。
• 附录E：失败样例分析，退化修改典型案例。