千笔-AIWritePaper · https://www.aiwritepaper.com
把「假设→设计实验→自动化执行→读结果→更新假设概率」写成脚本,听起来就已经是自驱动科学。真正决定论文能不能站得住的,是闭环有没有被闸门钉死:假设版本中途换了没有、seed 与配置记全没有、判别阈值有没有事后下调救场、失败轮有没有从日志里删掉还标 success、模型打的判别分有没有直接灌进结果表。缺任何一道,闭环只是自动化粉饰。
本文依据 AI1Science 频道 webinarRoss D King - The Automation of Science(讲者 Ross D. King,2025-04-24,约 63 分钟)整理。讲者关于 Robot Scientist、Adam/Eve 酵母基因功能实验、逻辑假设与可重复性等论述均为视频口述,未经第三方核实。实验部分是我构造的 8 轮迷你闭环与五道闸门故障注入,输出为本地可复现,不代表讲者实验室或任何商业机器人系统(_w/autonomous-science-gate/)。
图:上排为假设-实验-执行-更新-再循环;中排为金标准与五类故障;底部为 G1至G5 种植路径均 FAIL。
目标说明
读完你应能独立完成四件事。
- 说清 Robot Scientist 闭环里「形成假设、选高效实验、执行、更新概率、再循环」各步在工程上要锁什么。
- 为自驱动实验设置五道闸门,并写出每道失败含义。
- 在 8 轮迷你闭环上注入版本漂移、缺配置、事后改阈、删失败轮、直写结果表,观察闸门是否拦住。
- 当天跑完最小实验,把日志与 CSV 留下,禁止把未过闸的模型判别写进结果表。
视频要点:自动化科学与闭环(经验未经第三方核实)
讲者从科学方法的历史价值讲起,再落到 21 世纪挑战与 AI 自动化科研。核心定义是Robot Scientist:系统持有可形式化的科学知识(逻辑或网络),能自主提出新假设,选择信息增益高的实验,编程实验室自动化去执行,读取结果后按一致性上调或下调假设概率,然后重复该循环。他强调机器人在描述实验细节与动机上可更完整,从而有助于可重复性;并回顾 Adam(酵母基因功能一类问题)与后续 Eve 等系统。边界很清楚:自动化提高通量与记录粒度,并不自动等于结论可信:若假设标识漂移、配置不可复现、判别规则可事后改写,闭环记录反而会放大错误叙事。
| 环节 | 视频描述 | 工程含义 |
|---|---|---|
| 假设 | 自主形成可检验假设 | 假设版本与文本必须锁定 |
| 实验选择 | 选高效(信息量大)的检验 | 选择策略与随机种子要可复现 |
| 执行 | 编程实验室自动化 | 执行日志与原始读数保留 |
| 判别/更新 | 结果一致则概率升,否则降 | 判别阈值开跑前锁定,禁止事后改 |
| 再循环 | 闭环重复直至充分判别 | 失败轮必须入日志,不得粉饰成功率 |
失败含义:跑通流水线 ≠ 可发表的自驱动结论;缺闸门的「全自动成功」往往是日志被裁剪或规则被改写的结果。
五道闸门与失败含义
| 闸门 | 检查什么 | 失败含义 |
|---|---|---|
| G1 假设版本锁定 | 各轮 hypothesis_version 是否等于锁定版 | 同一闭环编号下结论不可归属原假设 |
| G2 种子与配置 | seed、model_version、config_hash 是否齐全 | 无法重复提交闭环条件,轮次不可比 |
| G3 判别阈值事前锁 | 阈值是否在 round_0 锁定且全程一致 | 事后下调阈值使失败轮变「支持」 |
| G4 失败轮完整入日志 | 未过阈轮次是否仍写入且不得标 success | 成功率被粉饰,元分析失真 |
| G5 禁止模型判别直写 | 结果表是否来自过闸判别而非 model_disc_raw | 模型分数绕过闭环变成论文表 |
对应选题禁区:假设漂移、配置不可复现、事后改阈、删失败轮、模型判别直写结果。闸门只钉实验记录纪律,不扩展到投稿平台策略。
当天最小实验:8 轮闭环 + 五类故障
金标准:假设H-v3、seed=7、判别阈 0.72,共 8 轮;第 3、6 轮分数低于阈值,如实记为 reject。种植五类故障后闸门输出原样:
G1 假设版本漂移 中途改 H-v4 未重锁 FAIL locked=H-v3 drifted_rounds=[5,6,7,8] ≠ 锁定假设版本 G1 假设版本漂移 金标准轮次对照 PASS all_rounds=H-v3 G2 种子配置未记录 缺 seed/版本/哈希 FAIL 缺失字段=['seed', 'model_version', 'config_hash'] G2 种子配置未记录 锁定配置对照 PASS seed=7 model_version=disc-v1.2 config_hash=c0a8b376974374c9 G3 判别阈值事后改动 失败后下调阈值救场 FAIL locked_th=0.72 used_th=0.5 rescued_rounds=[3,6] G3 判别阈值事后改动 金标准阈值对照 PASS threshold=0.72 locked_at=round_0 G4 失败轮次省略仍标成功 日志删失败轮 FAIL omitted=[3, 6] claimed_success_rate=1.0 true_fail_rounds=[3, 6] G4 失败轮次省略仍标成功 金标准完整日志 PASS logged_fail_rounds=[3, 6] G5 模型判别直写结果表 results←model_disc_raw FAIL rows=8 全部来自 model_disc_raw;含实际未过阈轮次仍标 discriminated=True 合计检查=9 FAIL=5 PASS=4 轮次=8 金标准失败轮=[3, 6] 闸门终裁: 假设版本须锁定 | seed/配置须可复现 | 判别阈值禁止事后改 | 失败轮必须入日志 | 模型判别禁止直写结果表 | 讲者闭环经验未经本脚本核实逐条读法:
- G1:第 5至8 轮偷偷换成
H-v4却沿用原闭环编号 → FAIL;金标准全程H-v3→ PASS。 - G2:临时运行缺 seed、model_version、config_hash → FAIL;锁定文件三项齐全 → PASS。
- G3:看见第 3、6 轮失败后把阈值从 0.72 改到 0.5「救场」→ FAIL;金标准阈值保持锁定 → PASS。
- G4:日志删掉失败轮却标
success、宣称成功率 1.0 → FAIL;金标准失败轮 [3,6] 仍在日志 → PASS。 - G5:8 行结果全部来自
model_disc_raw,实际未过阈也标discriminated=True→ FAIL。
与讲者边界同向:闭环可自动化,但假设标识、配置、判别规则与完整日志必须由人类闸门守住。
选型终裁表(可抄走)
| 能力宣传 | 是否采纳 | 人类必做 | 失败含义 |
|---|---|---|---|
| 自动提出并检验假设 | 可作加速 | 锁定假设版本与文本 | 漂移后结论错挂 |
| 自动宣称闭环成功率 | 不采纳无闸门数字 | 核对失败轮是否入日志 | 粉饰成功率 |
| 事后优化判别阈再报结果 | 不采纳 | 阈值在 round_0 锁死 | 规则被结果反向改写 |
| 模型判别分直接进论文表 | 不采纳 | 仅写入过闸记录 | 绕过实验闭环 |
| 缺 seed/配置仍可复现 | 不采纳 | 三项齐全可校验 | 条件不可重复提交 |
常见误判
- 「自动化执行了就是可重复」:G2 表明缺 seed 与配置哈希时,轮次无法对齐重跑。
- 「最后调一下阈值更合理」:G3 专拦事后救场;合理调整必须开新锁定实验编号。
- 「失败轮不影响主结论所以可删」:G4 显示删失败轮会把成功率做成 1.0。
- 「模型和实验室读数都是数,直接进表」:G5 要求结果表来源只能是过闸判别。
验收清单
- 开跑前写入
experiment_lock.json(假设版本、seed、模型版本、config_hash、判别阈)。 - 每轮日志含 hypothesis_version、score、threshold、outcome;失败轮不得省略。
- 改假设或改阈值必须新实验编号,禁止原地覆盖。
- 结果表拒绝
source=model_disc_raw直写。 - CI 跑
autonomous_science_gate.py,五类种植路径保持 FAIL,对照路径保持 PASS。
跑闸门前先确认夹具与 lock 同目录:缺文件时脚本应直接报错,而不是静默当成全 PASS。把 smoke_output.txt 与 CSV 一并归档,便于换机器后做字节级对照。
当天 30 分钟落地
- 5 分钟:复制
_w/autonomous-science-gate/,确认 lock 与 8 轮金标准。 - 10 分钟:分别加载 version_drift、norepro、threshold_posthoc、omit_failures、model_disc 五份夹具。
- 10 分钟:跑闸门脚本,核对 smoke 与 CSV 的 FAIL/PASS。
- 5 分钟:把五道失败含义贴进自己的实验 SOP,开真下一次闭环前先填 lock。
与馆员式终裁的分工类比
检索策略需要人终裁主题词;自驱动闭环需要人终裁记录纪律。机器人可以提出假设并跑液体处理,但假设标识、配置哈希、阈值锁定、失败入日志、结果表来源这五件事,默认由人类闸门否决权守门。换模型或换实验平台时,复跑同一份 CSV,而不是重写叙事。
闭环编号与改规则的边界
允许改规则,但不允许偷换编号。若必须调整判别阈或改写假设文本,应新开experiment_id,把旧 lock 冻结为只读,并在新 lock 里写明「继承自哪一次闭环、变更了哪一项」。旧闭环的失败轮仍保留在旧日志里,不得回写为 pass。这样读者才能区分「规则演进」与「对历史结果的事后粉饰」。迷你实验里 G3 与 G1 专拦后一种行为:同一编号下改阈或改假设版本,一律 FAIL。
踩坑
- 闭环中途改假设文本却不换版本号。
- 只保存「最终成功」截图,不保存原始 8 轮分数。
- 用测试集调完阈值再回头标全历史轮次为 pass。
- 把聊天模型口头「该假设成立」写进结果表当判别分。
- 把可重复性理解成「代码能跑」,忽略 seed 与配置哈希。
伪成功日志怎么对照金标准
对照时先固定金标准:锁定假设版本、seed、模型版本、config_hash、判别阈,以及每一轮真实分数与 outcome。伪成功侧故意做出「看起来全绿」的叙事:中途换假设仍用旧编号、缺配置却声称可复现、失败后改阈、日志只留 pass 轮、把模型口头判别灌进结果表。验收脚本只做文件级检查,不调用真实实验室设备,也不替你跑湿实验。这样设计是为了让闸门讨论可复现:换机器人平台时换夹具即可,人类必做列不变。
实践上建议把终裁拆成三道门。第一道:开跑前 lock 是否写全。第二道:每轮日志是否含失败。第三道:结果表来源是否为过闸记录。三道都过,才允许把闭环摘要写进方法节。任何一道失败,输出退回草稿区,禁止用「全自动已跑通」作结案理由。
总结
自驱动科学实验的价值在闭环:假设、高效实验、自动化执行、按结果更新概率、再循环。价值落地的前提是五道闸门:假设版本锁定、种子配置可复现、判别阈值事前锁、失败轮完整入日志、禁止模型判别直写结果表。8 轮迷你实验里,五类种植故障全部 FAIL,四条对照路径 PASS。选型终裁应写清人类必做与失败含义,并在换平台时复跑同一脚本。讲者关于 Robot Scientist 与可重复记录的判断,与本实验闸门方向一致,但其实验室细节未经本脚本核实。
闭环闸门日志与禁区归档可用千笔-AIWritePaper 整理;分层骨架与脚本不依赖产品名。