企业官网建设流程全解析

AutoResearch是让 AI 编程智能体自动"提出假设 → 实验 → 保留或回滚"的自进化优化方法。awesome-autoresearch 是一个精心整理的开源合集，收录了16 个真实落地案例，并且每个案例都附带优化轨迹（optimization trace）——你能看到智能体每一步尝试了什么，而不只是最终结果。这份指南将带你快速理解 AutoResearch 的核心循环，并带你逐一逛完全部 16 个案例。

一、什么是 AutoResearch？5 分钟看懂核心循环

AutoResearch 的本质其实非常简单：它就是一份提示词（prompt）。Karpathy 最初以单个program.md文件发布，指导 Coding Agent（如 Claude Code、Codex）执行如下工作流：

1. 编辑一个文件（原版是训练语言模型的train.py）
2. 在 GPU 上固定训练 5 分钟
3. 检查指标是否提升
4. 提升则git commit，否则git reset回滚
5. 无限循环 🔄

上图来自 autoresearch-loop.png，完整展示了 AutoResearch 的 keep/revert 循环结构。

虽然原始program.md只针对"训练 GPT"这一个任务，但这个结构——针对评估指标迭代优化一个文件，配合丢弃/保留循环——被证明高度可移植。社区已将其扩展到 GPU 内核优化、模板引擎加速、表格机器学习等场景。每个场景的program.md写法不同，但循环完全一致。

二、16 个真实案例全收集 📊

以下 16 个案例均收录于 README.md 的 Use Cases 表格中，全部带有可验证的进度图或公开仓库。

1. AI 模型训练与推理优化（5 例）

2. 工程与软件性能加速（3 例）

• Shopify 模板引擎提速：Shopify CEO Tobi Lutke 用 93 次自动提交，让 Liquid 引擎解析+渲染提速 53%，内存分配减少 61%
• 生物信息学软件加速（AutoZyme）：9 个科学领域 45 个任务，中位加速16.7 倍，单细胞场景最高1482 倍，且输出一致性与峰值内存均经上游基线验证
• 地球系统模型优化：LLM 提出公式结构 + TPE 优化参数的混合策略，火灾相关性从 0.09 提升到0.65

3. 数据科学与预测建模（3 例）

• 棒球投球速度预测：基于生物力学数据建模，R² 从 0.44 提升到0.78
• 网球比赛预测（XGBoost）：预测 ATP/WTA 比赛结果，过程中还发现并记录了 reward hacking 现象——这是研究评估陷阱的绝佳教材
• 比特币价格公式发现：自主搜索 328 次实验，RMSE 相比幂律基线改善50.5%，并采用滚动前向 OOS 评估 + bootstrap 显著性检验

4. 创意探索与自进化（5 例）

• 语音 Agent 提示工程：自动化评估驱动 prompt 优化，得分 0.728 →0.969
• Flappy Bird 游戏 AI：100 轮迭代，平均分 2.76 →20.9（6.6 倍），总成本约 $12，全程无人工指导
• 古代卷轴墨迹检测：Vesuvius Challenge 部署 4 个 agent 全天候运行，跨卷轴泛化能力接近翻倍
• AutoResearch 优化自身：100 次外循环步骤跨越 8 天，改进后的 agent 能泛化到留出基准，KernelBench 上 reward hacking 从 63% 降至34%
• OpenAI Parameter Golf 挑战赛：16 MB 产物、8×H100 上 10 分钟运行，22 天完成 1,243 次实验，斩获47 条合入榜单记录中的 7 条（最强人类仅 3 条）🏆

三、主流开源实现与衍生项目 🛠️

如果你不想从零搭框架，README 的 Implementations & Forks 表格收录了 12 个可直接使用的开源项目，重点推荐：

• autoresearch：原版，单 GPU + 630 行 Python，门槛最低
• pi-autoresearch：通用化改造，任何优化目标都能跑——测试速度、包体积、构建时间、Lighthouse 评分
• autoresearch-mlx：Apple Silicon 移植版，无需 PyTorch，使用统一内存
• autoresearch-win-rtx：Windows + 消费级 RTX 显卡移植（RTX 2060 至 4090）
• autoresearch-at-home：SETI@home 式分布式多 agent 群体协作
• CORAL：多 agent 共享进化架构，在隔离的 git worktree 中并行运行并共享经验库
• auto-agent：面向 AI Agent 本身的自动改进循环，支持 hypothesis 驱动的失败分析与自动回滚

四、配套基准测试：如何评估你的 AutoResearch？

README 的 Benchmarks 部分收录了两个值得关注的评测基准：

1. ResearchClawBench（InternScience）：端到端科研智能体基准——agent 读取原始数据与论文、写代码、画图、生成出版级报告，并按专家清单打分
2. FML-bench（NUS）：18 个 ML 研究任务的对照研究，将搜索策略与执行基础设施解耦。核心发现：简单的贪心爬山法几乎能追平最佳树搜索 agent，性能取决于早期收敛与聚焦探索，而非多样性或算力

五、三步上手：AutoResearch 入门实操指南

第 1 步：克隆仓库，浏览案例

git clone https://gitcode.com/gh_mirrors/awe/awesome-autoresearch

打开 README.md，每个案例都附有优化轨迹（progress chart / 交互式 trace / 博客），先挑 1~2 个你最熟悉的领域精读。

第 2 步：理解循环，搭建自己的 program.md

核心公式只有一句话：一个可评估的目标文件 + 一个明确的指标 + 一个固定预算的评估 + commit/revert 循环。你可以从原版train.py出发，也可以把它套到自己的测试耗时、Bundle 体积、提示词评分上。

第 3 步：验证与提交你的案例

README 的 Contributing 部分给出了清晰的投稿标准：

• 最低要求：一张进度图，标注每次实验的分数与突破点
• 理想要求：公开仓库，包含每个方案的代码与分数（完整探索轨迹）

项目采用 CC0 1.0 许可（见 LICENSE），可自由使用。

六、常见问题 FAQ

❓ 需要昂贵的 GPU 吗？不需要。原版虽针对单 GPU，但社区已有 Apple Silicon（MLX）与 Windows + 消费级 RTX 的移植版本，甚至 Flappy Bird 案例全程成本仅约 $12。

❓ AutoResearch 安全吗？需要警惕reward hacking（指标作弊）：网球预测案例中就记录到 agent"钻评估空子"的行为。建议：评估指标多维度设计、保留留出集、人工抽查轨迹——这正是合集里每个案例都公开 trace 的原因。

❓ 适合谁用？想要自动化性能调优的工程师、做模型训练的研究者，以及想观察"AI 自主科研如何工作"的 curious minds 👀

总结：AutoResearch 用一份 markdown 提示词实现了"永不停歇的实验循环"，而 awesome-autoresearch 的价值在于：它不只给你清单，更给你每个案例的完整优化轨迹。从 187 TFLOPS 的 GPU 内核到一夜 20 次改进的 LLM 训练，16 个真实案例证明了这个循环的巨大潜力。现在就克隆仓库，从一张 progress chart 开始你的第一次实验吧！🚀