- 人工智能
- 基础模型
- AI Agent
- 科研
【免费下载链接】RSI-Anything
RSI-Anything 是一个面向递归自我改进(Recursive Self-Improvement)的开源**世界模型(World Model)**项目,核心机制是一条"预测 · 决策 · 改进"闭环:智能体先提出候选动作,世界模型预测每个动作的后果,被选中的动作执行后获得外部反馈,反馈再驱动下一轮更优决策。本文将带你快速看懂 RSI-Anything 如何在代码修复、GUI 交互、实验室规划、反应优化、免疫科学 5 个领域落地这一闭环。
一、RSI-Anything 是什么?
传统 AI Agent 往往是"试错了才知道结果",而 RSI-Anything 借鉴 JEPA-Anything 框架,让智能体在行动之前先"脑内模拟":
- **政策模型(Policy)**负责提出候选动作(写一版新代码、点一个按钮、排一条实验流程……)
- **世界模型(World Model)**负责预测这些候选动作各自的后果与成败概率
- 外部反馈(运行结果、界面变化、实验读数)回填给智能体,支撑跨轮次保留的持续改进
这个"预测 → 决策 → 改进"的过程会递归迭代,智能体的决策质量随反馈不断累积提升。项目当前覆盖五大领域(详见 README.md):
| 领域 | 任务重点 | 闭环入口 |
|---|---|---|
| 🔧 代码修复 Code repair | 根据任务要求与执行反馈生成正确程序 | code_repair/infer.py |
| 🖱️ GUI 交互 GUI interaction | 把自然语言指令转成成功的界面操作序列 | gui_interaction/infer.py |
| 🔬 实验室规划 Laboratory planning | 把实验操作组合成满足目标与约束的方案 | laboratory_planning/infer.py |
| ⚗️ 反应优化 Reaction optimization | 从分子输入预测化学反应的期望产率 | reaction_optimization/infer.py |
| 🛡️ 免疫科学 Immune science | 预测干预对免疫状态的影响并排序科学假设 | 规划中,见 immune_science/README.md |
各领域到检查点、入口文件的完整映射见 MODEL_INDEX.json。
二、闭环三步走:预测、决策、改进如何衔接?
🔄第一步:预测(Predict)。政策模型给出若干候选动作后,世界模型逐一预测其"未来"。以代码修复为例,世界模型会输出每个候选程序在公开测试上的通过状态分布(AC / WA / RE / TLE / CE)与耗时估计,核心逻辑在 code_repair/codecontests/src/world.py。
🎯第二步:决策(Decide)。用预测结果给候选打分并选出最优者执行。实验室规划域最为典型:世界模型对 4 个候选方案同时给出四项预测——质量分predicted_Final、相对提升predicted_gain、变差风险predicted_risk、不确定性uncertainty_proxy,加权合成后只在结构合法的候选中选择,若无合法候选则回退到基准方案a1。打分与选择过程见 laboratory_planning/src/world.py。
📈第三步:改进(Improve)。执行产生的真实反馈(测试结果、新界面状态、实验读数)回到上下文,指导下一轮修订;多轮迭代中保留下来的改进构成"递归自我改进"。
三、世界模型凭什么"算得准"?
各域的世界模型共享 JEPA-Anything 的架构思想:不在像素/文本层面硬生成结果,而是先在隐空间(latent state)预测下一步状态,再映射回可解释的量化结论。
- 编码端把任务文本编码为向量(代码与 GUI 域基于 Qwen2.5-Coder-3B-Instruct 编码器 + LoRA 适配)
- 预测器产出潜在状态,经 OPF(正交因子投影)分解重组,保证各预测维度相互独立、可组合
- 读出层把潜在状态映射为具体数值:测试通过概率、产率、方案质量分等
例如反应优化域中,JEPA 预测器生成 8 组 96 维隐坐标,经 OPF 矩阵组合成 768 维反应状态,再由 yield 读出层预测产率,实现见 reaction_optimization/src/yield_predictor.py。实验室规划的隐空间结构定义可参考 laboratory_planning/src/world.py。
四、五大领域的闭环实践
1️⃣ 代码修复:先用预测挑选要运行的程序
智能体拿到题目、当前实现与执行反馈后生成候选修订,世界模型预测每个候选的测试行为,选中者才真正运行;运行结果(错误输出、运行时异常)再驱动下一轮修订。检查点覆盖 CodeContests(codecontests_final)以及 APPS Introductory / LiveCodeBench(transfer_final),使用指南见 code_repair/README.md。
2️⃣ GUI 交互:点之前先"预演"界面变化
智能体读取指令与当前界面状态,政策模型提出点击、选择、提交等候选动作,世界模型预测每个动作后的界面状态与任务完成可能性,浏览器反馈则提供下一步决策所需的更新状态(基准任务为 MiniWoB 的click-checkboxes)。政策与世界的最终检查点位于 gui_interaction/checkpoints/final/,任务协议见 gui_interaction/protocol.json,指南见 gui_interaction/README.md。
3️⃣ 实验室规划:给候选方案做"质量体检"
输入实验目标、可用材料、约束与动作库加上 4 个候选方案,世界模型(5 个 JEPA 预测器组成的集成)输出上文提到的质量、增益、风险、不确定性四组预测,用于在结构合法的方案中择优。三个随机种子的检查点如 seed1401 等,CPU 即可运行,指南见 laboratory_planning/README.md。该域还附带 LabHorizon 3D 资产感知数据集(3000 训练 + 200 测试样本)。
4️⃣ 反应优化:实验前先"算"产率
世界模型接收反应物、试剂、催化剂与目标产物,预测期望产率,让研究者无需逐一试验即可横向比较候选反应条件。检查点(含编码器、预测器、OPF 矩阵与 yield 读出层)位于 reaction_optimization/checkpoints/reactiont5_jepa_yield/world.safetensors,指南见 reaction_optimization/README.md。
5️⃣ 免疫科学:用预测干预效应来排序假设
该域将免疫状态预测、干预分析与假设生成长在一起:动作条件世界模型预测细胞因子变化、基因扰动等干预对免疫状态的影响,分析智能体结合实验证据比较干预并优先化科学假设。该领域正在开发中,见 immune_science/README.md。
五、快速跑通闭环的入门路径
🚀 代码修复与 GUI 交互需要 Linux + CUDA 环境,实验室规划与反应优化可直接用 CPU。在仓库根目录设置好输入输出路径与基座模型目录(基座下载见 _base_models/README.md):
export RSI_BASE_MODELS_DIR="$HOME/.cache/rsi_anything/base_models" export INPUT_DIR=/path/to/inputs export OUTPUT_DIR=/path/to/outputs以代码修复为例,一条命令即可运行完整闭环:
CUDA_VISIBLE_DEVICES=0 python code_repair/infer.py \ --protocol codecontests \ --input "$INPUT_DIR/codecontests.jsonl" \ --output "$OUTPUT_DIR/codecontests_predictions.jsonl" \ --seed 0其余领域的运行参数与各检查点的组件构成,均可在对应域 README 中查到;模型与组件的许可说明见 THIRD_PARTY_NOTICES.md。
六、总结:为什么说这套闭环值得关注?
RSI-Anything 的价值在于把"预测 · 决策 · 改进"抽象成了跨领域通用流程:不同的观测、动作与评测标准之下,政策模型与世界模型的角色分工始终一致。对新手而言,可以从最轻量的实验室规划或反应优化域入手(CPU 即可),直观感受"先预测、再行动"与"直接试错"的差异;再深入代码修复与 GUI 交互,观察多轮反馈如何驱动智能体递归变强。
| 想了解什么 | 去哪里 |
|---|---|
| 领域总览与快速上手 | README.md |
| 各领域推理用法与检查点 | 各域README.md(如 code_repair/README.md) |
| 检查点与入口文件映射 | MODEL_INDEX.json |
| 基座模型下载 | _base_models/README.md |
- 人工智能
- 基础模型
- AI Agent
- 科研
【免费下载链接】RSI-Anything
相关推荐
如何用OPF几何构建JEPA世界模型?RSI-Anything预测架构5步完全指南
如何用OPF几何构建JEPA世界模型?RSI Anything预测架构5步完全指南 RSI Anything 是一个跨领域世界模型开源项目:策略模型提出候选动作
人工智能基础模型AI Agent科研为什么递归自我改进(RSI)是AI智能体的下一步进化?从RSI-Anything说起
为什么递归自我改进(RSI)是AI智能体的下一步进化?从RSI Anything说起 递归自我改进(Recursive Self Improvement, RS
人工智能基础模型AI Agent科研让AI决策不再黑箱:Stagehand动作预览功能深度解析
让AI决策不再黑箱:Stagehand动作预览功能深度解析 在AI自动化网页操作领域,开发者常面临一个棘手问题:如何验证AI的决策过程是否符合预期?当AI在浏览
人工智能AI Agent浏览器控制GUI 自动化AI 应用
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考