- AI 技能
- AI 写作
- 人工智能
- 深度研究
- AI 应用
【免费下载链接】PaperSpine
PaperSpine5 — local-first, evidence-bound paper research, writing, figures, review and delivery. Download: https://wubing2023.github.io/PaperSpine/v5/
本文以 PaperSpine 开源仓库中的 Method Reviewer Agent 角色定义文档(
src/skill/agents/reviewer-method.md,发布版位于dist/codex/skills/paper-spine/agents/reviewer-method.md)为骨架,结合其底层的审稿策略、证据落地协议、机器契约 Schema 与对应脚本/测试实现,讲解如何从"方法 / 技术正确性"视角独立审查一篇论文手稿。读完本文,你将掌握 Method Reviewer 的四大发现维度、证据边界判定规则、图表专项审查方法、发现可追溯性的机器约束,以及它与balanced/strict审稿策略和后续 reviewer-audit 的衔接方式。
一、Method Reviewer 是什么:角色定位与审查目标
Method Reviewer(方法审稿 Agent)是 PaperSpine 审稿体系中的一个独立角色,其职责被精确定义为:
Goal:Review the manuscript from a methods / technical correctness perspective.
也就是说,它不负责文风润色(那是 Writing Reviewer 的职责),也不负责引文与证据银行核对(那是 Evidence Reviewer 的职责),而是专门从方法有效性(method validity)、假设合理性、证据与论断的映射、对照组/比较项是否缺失、可复现性这几个技术角度审查手稿。该角色定义文档的核心工作上下文(Context)为三份材料:
- manuscript text—— 当前手稿正文(含
.tex源文件与渲染产物); writing_rationale_matrix.md—— 写作论证矩阵,记录每个写作单元的动机、证据锚点与贡献承诺;evidence_bank.md—— 证据银行,存放支撑论断的实测结果与来源。
在开源仓库中,该角色与另外两个平行审稿角色共同构成完整的独立审查面:
- reviewer-evidence.md —— 证据 / 引文质量视角(claim support quality、citation relevance、source traceability、文献覆盖缺口);
- reviewer-writing.md —— 写作 / 结构 / 修辞视角(argument flow、段落连贯性、register、非科学叙事混杂等)。
三者共用同一份保存的任务配置(saved target、article type、research scope)与当前文件,各自写出独立的 review 文件,互不引用对方未提交的意见。
二、工作前提与范围边界:不臆造目标规则,不做范围外分析
角色定义文档在一开始就划定了两条硬边界:
- Use the same public task's saved target, article type, research scope and current files—— Method Reviewer 必须沿用同一公开任务中已保存的目标期刊/会议、文章类型、研究范围与当前文件,不得捏造目标规则(Do not fabricate target rules),也不得要求开展已保存范围之外的新分析。
- The historical
references/audit.mdreceipt chain is not a prerequisite—— 历史 Runner 时代的审计收据链不是本角色运行的前提。这一点在 audit.md 与 SKILL.md 中反复出现:当前宿主工作流不需要旧的 Runner 契约、JSON attestation 或审核收据链来"解锁"审稿。
这一边界与 research.md 中定义的research_mode直接相关。尤其当任务处于materials_only模式时,用户提供的分析、表格、图像和已报告结果被视为权威输入:不得为制造复现性证据而重跑用户脚本、运行新的 EDA、统计检验、实验、模型拟合或数据挖掘。Method Reviewer 的作用是"检查这些已提供结果是否支撑论断、是否存在具体矛盾",而不是"替用户补做实验"。
三、证据边界判定:区分"具体科学矛盾"与"已提供但未独立复现"
这是 Method Reviewer 最核心的判别规则,值得单独展开:
Missing historical filenames or complete raw arrays alone do not invalidate the user's reported work. Distinguish a specific scientific contradiction from a result that was supplied but not independently reproduced.
- 缺失历史文件名、缺失完整原始数据数组,本身不足以否定用户报告的工作。用户提供了消融结果、motif、保守性分析或机制图,即使没有附上全部原始数组,也不应仅因此就丢弃该结果;
- 审稿人必须区分两种情况:具体的科学矛盾(例如图与表数字对不上、单位混乱、统计量与正文宣称不一致)与**"结果已提供但审稿方未独立复现"**。后者只是一个证据强度问题,不是造假或错误证据;
- 反向约束同样明确:Do not claim methods were independently reproduced when only their description was reviewed—— 如果只审阅了方法描述而并未复现,就不能声称"方法已被独立复现"。
这一原则在 scientific-figure-workflow.md 中也有呼应:审稿人应"Preserve valid supplied analyses and rich figures without demanding raw arrays",materials_only只禁止新分析,不禁止重组与重绘已有结果。对"读者可见标签如 supplied / confirmation",只有当其标识了有意义的研究设计时才可使用,而不是用来描述助手如何收到或检查了一个文件。
四、四大发现维度:Method Reviewer 的输出骨架
角色定义文档明确要求产出独立审查报告(independent review),发现按以下四个维度组织:
| 发现维度 | 审查内容 | 对应的典型问题 |
|---|---|---|
| Method validity and assumptions | 方法本身是否正确、假设是否被陈述并得到辩护 | "i.i.d. 假设未加论证""停止准则未定义""该方法在此数据分布下是否适用" |
| Evidence-to-claim mapping | 每个论断是否有对应证据支撑,证据强度是否匹配论断强度 | "摘要宣称的普适性实验并未展示""图 2 的统计量无法支撑正文结论" |
| Missing controls or comparisons | 缺失的对照实验、基线方法、比较组 | "为何没有对比标准基线""缺少消融实验回答'但你是否试过…'" |
| Reproducibility concerns | 从方法描述能否复现,脚本/数据/训练配置是否完整 | "训练/评测设置未记录""随机种子与预处理变换未保留" |
这四个维度与该角色在strict策略下使用的 rubric 一致。在 structured_review.py 中,Methods & Reproducibility Reviewer 的 rubric 维度为:Method description completeness(1=不足以复现,5=完全可复现)、Assumption justification(1=未陈述,5=明确且有理据)、Experimental design(1=有缺陷,5=严谨)、Limitations acknowledgment(1=无,5=含影响分析)。脚本还会根据writing_rationale_matrix.md中命中 "method / experiment / model / design" 关键词的行自动生成MET-{row_id}发现模板,并据evidence_bank.md是否存在内容将evidence_status置为 supported 或 missing —— 但正如脚本 docstring 所言,"LLM fills findings",这些模板只是结构准备,不是审稿结论本身。
五、发现要求:定位、科学后果与相称的修改建议
角色定义文档对每条发现提出了三层输出要求:
Give located findings, their scientific consequence and a proportionate revision.
- located:发现必须精确定位到手稿位置(页/行/段/图/表/公式/附录坐标),并附短引文;
- scientific consequence:说明该问题导致的科学后果(例如"该假设不成立会使主结论失效");
- proportionate revision:给出与严重程度相称的具体修改建议,而不是空泛的"improve this"。
这与 evidence-grounded-review.md 的"控制性规则"完全对齐:每一条可执行的审稿发现必须携带四类链接——①精确的手稿定位符 + 短引文(或针对"要求内容缺失"的穷尽性缺席扫描收据);②提出该发现的 reviewer/persona 及该轮审查的 receipt;③到达该发现所用的读/搜/注工具收据(含 token 与 wall time,不可得时写telemetry_status=unavailable,绝不把未知量记为测量到的 0);④具体建议、置信度、严重级别与处置状态。规则明确:"未定位的意见只是 advisory note,不是科学/编辑层面的 blocker"。
机器层面的约束由 evidence-review.schema.json 定义,语义执行在 evidence_grounded_review.py 中实现。Schema 中 finding 对象强制要求finding_id、reviewer_id、criterion、severity(CRITICAL / MAJOR / MINOR / OBSERVATION)、summary、recommendation、confidence(0–1)、disposition(open / resolved / advisory / dismissed / needs_author)、至少一条paper_evidence(kind 可为 quote / figure / table / equation / absence_scan,且必须带 locator 与 source_sha256)以及非空的tool_receipt_ids。测试 test_evidence_grounded_review.py 验证了三条关键行为:
- locator 过粗(如仅写 "Methods section")无法通过校验;
provider_failure(文献提供商故障)不能支撑 novelty 类 MAJOR blocker,它只是降级覆盖;no_hit必须记录result_count=0,零结果查询只是搜索收据,不能证明"不存在相关工作"。
六、独立性与审稿流程:先形成发现,再读平行意见
角色定义文档对独立性提出明确要求:
Form this round's findings independently before reading parallel reviewers' unsubmitted opinions. Prior user-provided reviews, responses and revision diffs remain valid inputs when checking a revision. Write your own review file.
- 先独立形成本轮发现,再读其他平行 reviewer 未提交的意见;
- 检查修订稿时,用户此前提供的 reviews、responses 和 revision diffs 仍是有效输入(即修订检查可以基于历史反馈,但结论必须独立得出);
- 写出自己的 review 文件,不继承他人修订版的"通过"状态,也不把空发现列表当作"未检质量"的证据。
源码层面对独立性的机器保障在 structured_review.py 中体现:--dispatch模式会为 Methods / Contribution / Clarity 三个 reviewer 分别生成互不引用的 prompt 文件(methods_reviewer.md、contribution_reviewer.md、clarity_reviewer.md),并在 prompt 中明确要求 "Do NOT read or reference the other reviewers' work"。validate_independence()则计算三份 review 的两两文本相似度(阈值 0.3)并检查交叉污染(一份 review 是否提及另一 reviewer 的角色名),输出independence_score。对应行为由 test_structured_review.py 的test_dispatch_generates_three_prompt_files与test_validate_independence_detects_similarity覆盖。
Strict 模式下独立审查流程的命令为:
python scripts/structured_review.py paper_rewriting_output --dispatch生成的review_prompts/review_plan.json由write_review_plan()写入,其中携带手稿的 SHA-256 哈希与预算上限(budget ceiling),确保每个 reviewer 都针对同一份手稿内容审稿。
七、图表审查的专项方法:读像素、数据源与参照图
角色定义文档特别为图表审查指定了方法文档:
For figures, read
references/scientific-figure-workflow.mdand inspect the current pixels, data/relationship sources and relevant reference figures.
即 Method Reviewer 审查图表时,不能只看文件名或渲染通过与否,而要:
- 阅读 scientific-figure-workflow.md 的完整方法;
- 检查当前像素(实际导出的图形,而非缓存预览或"曾经存在"的文件);
- 核对数据/关系来源(图中的计数、坐标、映射关系必须与源结果一致);
- 对照相关参照图(对机制图/概念图必须有真实的 mechanism reference,统计图则对照统计参照图)。
该工作流强调:摘要、引文、caption、已保存文件名或引用计数都不是视觉检查。例如"当可计数的标记声称表示某个分数时,必须对照源数据核对计数、分母、保留的总量与类别含义";标签属于其所描述的对象,线条不得穿过有意义文字;导出分辨率应按"像素 ÷ 印刷宽度(英寸)"计算有效分辨率,放大一个小图不会增加细节。
配套的本地工具可直接复用:scripts/figure_comparison.py可将参考图/旧版图/候选图并排渲染为对比 PDF,供审稿人按点坐标(1/72 英寸)裁剪导出视图;scripts/preserve_figure_revision.py --paper-root <paper> --revision <id> --file <paper-relative-file> ...可在修改前将既有导出、可编辑源、必要资产与 caption 保留为命名修订版。审稿时应"先陈述与选定参照例的最大差距,判断其是由证据决定还是可修复的设计弱点",而不是用分数或表单替代这一对比。
八、与审稿策略的衔接:balanced 与 strict 下 Method Reviewer 的激活规则
Method Reviewer 是否被激活、以多深的方式运行,由 review-policy.md 中定义的review_policy配置决定(缺失或未知值时解析为balanced):
- balanced(默认):编辑上进取、流程上轻量。一位 Editor 通读手稿与渲染产物,只在出现具体风险时才激活额外专家。此时不需要三个 reviewer persona、逐段论证矩阵或重复收据;发现按严重级别处理:CRITICAL 科学缺陷阻断,MAJOR 仅当影响主论断、图文身份、引文真实性或交付可用性时才阻断,MINOR/style 仅作建议。
- strict:当用户明确要求严格审计、投稿认证、监管/合规审查或高利害最终包时启用。此时 Methods、Contribution、Clarity 三个核心角色独立运行,再加 Editor 综合。
在代码层面,structured_review.py 根据paper_spine_config.json中的scene(journal / conference / report_review / competition)为三个 reviewer 加载场景化默认 persona;reviewer-persona-registry.json 则是"可替换的注册表,而非总是运行的固定角色清单"——methodspersona 的 activation 为strict。审查预算同样是天花板而非配额:build_review_plan()按策略给出默认预算(balanced 为 max_input_tokens 30000 / max_search_queries 8,strict 为 90000 / 20,可由review_budget覆盖),并明确 stop rules:"当声明的覆盖问题已得到回答或达到预算上限即停止,不为凑够最小 agent 数/搜索数/标注数而消耗 token"。
九、审稿产物的去向:从 Method 发现到 Reviewer Objection Register
Method Reviewer 写出的独立 review 文件是后续 reviewer-audit 的直接输入。reviewer-audit.md 明确说明:Objection Register 的每一行必须追溯到具体的 finding ID、精确的手稿定位符与 reviewer/tool receipt,其核心映射为:
- Methods & Reproducibility Reviewer → 技术稳健性、证据充分性、可复现性、缺失消融/基线的异议;
- Contribution Reviewer → 新颖性、显著性、与既往工作的区分、引文可信度;
- Clarity Reviewer → 结构、论断清晰度、图表可读性、违反目标刊例的异议。
例如模板中MET-002 — Missing baseline / ablation(p. 7, Table 2, severity MAJOR)与MET-003 — Unjustified assumption(p. 4, lines 112–118, severity MAJOR)正是 Method Reviewer 四个维度中"Missing controls or comparisons"与"Method validity and assumptions"的直接落地。对应的检查器脚本 reviewer_audit_check.py 会校验reviewer_audit.md是否包含完整的 Reviewer Value Map 六个准则行、Objection Register 是否同时携带 Severity 与 Preemptive fix 列等。
同时要重申角色文档的底线约束:
Do not impose new experiments merely to fit a preferred story...
Method Reviewer 不得为了迎合某个更"好看"的故事而强加新实验,也不得把"只审阅了描述"说成"已独立复现"。它产出的是一份只读的、证据可追溯的独立审查报告;手稿的实际修改与修复由已获授权的写作宿主在其保存范围内实施,审稿本身不授予任何外部行为权限。
十、核心规则速查与进一步阅读
Method Reviewer 的运转可浓缩为以下可执行要点:
- 沿用同一任务的 saved target / article type / research scope 与当前文件,不臆造目标规则,不做范围外新分析;
- 以
writing_rationale_matrix.md与evidence_bank.md为上下文,结合实际 methods/results、scripts、figures 与手稿段落审查; - 缺失历史文件名或完整原始数组不否定用户已报告的工作;区分"具体科学矛盾"与"已提供但未独立复现";
- 发现按 Method validity and assumptions / Evidence-to-claim mapping / Missing controls or comparisons / Reproducibility concerns 四维组织;
- 每条发现给出定位、科学后果与相称修改建议,并满足 evidence-grounded 四类链接约束;
- 先独立形成发现,再读平行意见;检查修订稿时历史反馈仍有效,但结论必须独立;
- 图表审查必须实际读像素、数据/关系源与参照图,遵循 scientific-figure-workflow;
- 不新造实验以贴合故事,不把"仅审阅描述"说成"独立复现"。
若要在当前仓库中继续深入,建议按以下路径阅读:角色定义 reviewer-method.md → 审稿策略 review-policy.md → 证据落地协议 evidence-grounded-review.md → 机器契约 evidence-review.schema.json → 实现 structured_review.py 与 evidence_grounded_review.py → 测试 test_structured_review.py 与 test_evidence_grounded_review.py。发布版同名文件位于 dist/codex/skills/paper-spine/agents/reviewer-method.md 及其 references 目录,二者内容一致。
- AI 技能
- AI 写作
- 人工智能
- 深度研究
- AI 应用
【免费下载链接】PaperSpine
PaperSpine5 — local-first, evidence-bound paper research, writing, figures, review and delivery. Download: https://wubing2023.github.io/PaperSpine/v5/
相关推荐
PaperSpine 方法审查 Agent(Method Reviewer)深度解析:面向方法有效性与可复现性的独立审稿机制
PaperSpine 方法审查 Agent(Method Reviewer)深度解析:面向方法有效性与可复现性的独立审稿机制 PaperSpine 的审稿体系中
AI 技能AI 写作人工智能深度研究AI 应用PaperSpine 方法审稿 Agent 完全解析:从方法有效性审查到可复现性判定的独立审稿实践
PaperSpine 方法审稿 Agent 完全解析:从方法有效性审查到可复现性判定的独立审稿实践 导读 本文深入解读 PaperSpine 5 论文生产工作流
AI 技能AI 写作人工智能深度研究AI 应用PaperSpine 方法审稿人(Method Reviewer Agent):基于方法与技术正确性视角的独立审稿实践指南
PaperSpine 方法审稿人(Method Reviewer Agent):基于方法与技术正确性视角的独立审稿实践指南 导读 本文聚焦 PaperSpine
AI 技能AI 写作人工智能深度研究AI 应用
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考