第12章 七个审查 Agent 的多视角评审

Academic Paper Reviewer 是 ARS 的"质检部"——它模拟真实学术期刊的多视角同行评议过程，用 7 个角色分工明确的 Agent 对论文进行结构化审稿。

与传统"一个 AI 读论文然后给意见"不同，ARS 的审稿是多视角对抗式的：不同 Reviewer 有不同的专业侧重和批判立场，他们在论文上的分歧必须在综合报告中得到保留和讨论，而非被平均成一个"综合评分"。

Agent 全景

field_analyst_agent：自动领域侦测

为什么需要它：学术论文的评审标准因学科而异。一篇计量经济学论文和一篇民族志研究的质量标准完全不同。一个计算机科学 conference paper 的贡献标准和一篇医学期刊的 RCT 报告也不同。

工作方式：field_analyst_agent 在审稿流程的第一步运行。它分析论文的：

1. 术语体系——使用了什么学科的理论框架和术语
2. 方法论特征——定量/定性/混合方法？实验/调查/田野？
3. 引用网络——引用了哪些期刊、哪些学者
4. 写作惯例——论文结构、引文格式、论证风格

然后基于这些特征配置 3 位领域适配的 Reviewer：

• R1（方法论审稿人）：配置为论文所使用方法的专家——如果论文使用了结构方程模型（SEM），R1 就是 SEM 方法专家；如果使用了扎根理论，R1 就是质性研究方法专家
• R2（领域审稿人）：配置为该学科领域的内容专家——对于一篇 AI 教育论文，R2 就是 AIED 领域的专家
• R3（跨学科审稿人）：配置为相邻领域的批判性读者——对同一篇 AI 教育论文，R3 可能是教育学研究者（如果论文偏技术），或计算机科学研究者（如果论文偏教育）

这 3 位审稿人不是固定的模板，而是基于论文实际内容动态配置的。同一篇论文在不同时间提交审稿，理论上应该得到相同的 Reviewer 配置（因为是确定性流程）。

eic_agent：主编

角色定位：eic_agent 是"主编"（Editor-in-Chief），不是"又一个审稿人"。它不提供独立的审稿意见，而是：

1. 阅读 3 位审稿人 + 魔鬼代言人的报告
2. 评估审稿意见之间的共识程度和矛盾点
3. 综合所有意见做出编辑决定：Accept / Minor Revision / Major Revision / Reject

如何做决定：基于 0-100 品质量表。主编不是简单地平均四位审稿人的分数，而是：

• 评估每位审稿人的意见权重（方法论问题比文字润色问题更重）
• 区分"一致认为的问题"（4/4 审稿人都指出 → 高置信度）和"单一审稿人的关切"（1/4 → 需要判断）
• 如果魔鬼代言人提出了一个其他审稿人未提及的关键挑战，主编需要判断这个挑战是真的还是过度攻击

共识分类：

• 4/4 共识：四位审稿人的结论一致 → 高置信度
• 3/4 共识：多数一致 → 正常情况，少数派意见被记录
• SPLIT（2/2）：出现明显分歧 → 主编需要深入分析双方依据并做出判断
• DA-CRITICAL：魔鬼代言人独自提出关键问题 → 需要格外关注，可能涉及到其他审稿人遗漏的结构性缺陷

R1：方法论审稿人

角色定位：方法论的"内行审查者"。

核心关注点：

• 研究设计是否适合回答 RQ？
• 样本量和抽样策略是否充分？
• 测量工具的信度和效度是否有依据？
• 分析方法是否正确应用？假设是否被检查？
• 混淆变量是否被控制或讨论？
• 统计权力是否足够？
• 定性研究的可信度准则（credibility, transferability, dependability, confirmability）是否被满足？

与魔鬼代言人的分工：R1 关注的是"方法用对了吗"——技术层面的正确性。魔鬼代言人关注的是"即使方法用对了，结论是否仍然可以被质疑"——逻辑层面的坚固性。

R2：领域审稿人

角色定位：学科内容的"同行专家"。

核心关注点：

• 论文对该领域的贡献是否新颖、重要？
• 文献回顾是否全面且公正？是否遗漏了关键文献？
• 论文在该领域的理论框架中的定位是否准确？
• 发现对该领域的实践/理论有什么意义？
• 论文的局限性和未来方向是否被诚实和充分地讨论？

R2 是四位审稿人中最接近"真实同行评审者"的角色——它的评估反映的是该领域研究者通常使用的质量标准。

R3：跨学科审稿人

角色定位：打破学术舒适圈的"外部视角"。

核心关注点：

• 论文的论证对非本领域读者是否可理解？
• 是否有本领域习以为常但在其他领域看来有问题的假设？
• 论文的发现是否对相邻领域有启示？
• 是否有来自相邻学科的方法或理论可以增强论文的论证？

R3 的设计目标是减少"领域盲点"——每个学科都有一些"大家都知道但从未论证过"的隐性前提，R3 的任务就是把它们识别出来。

devils_advocate_reviewer_agent：魔鬼代言人

角色定位：论文的"系统性进攻者"。

这是 ARS 审稿系统中最具特色的角色。魔鬼代言人（DA）不提供"建设性修改建议"——它的唯一任务就是找出论文中最薄弱的环节并全力攻击。

攻击维度：

1. 核心假设是否合理？是否有被忽视的反例？
2. 因果主张是否有其它更简洁的解释？
3. 证据是否足以排除竞争性假设？
4. 结论的外推是否过度？
5. 数据是否支持论文声称的效应大小？
6. 方法论的局限性是否被诚实地讨论了？
7. 论文是否在重述已知结论（缺乏新颖性）？
8. 论文的 normative claims（应然主张）是否伪装成了 empirical claims（实然主张）？

v3.0 反谄媚协议约束：

• 让步门槛：DA 的每次攻击被评分 1–5，≥4 才允许作者让步
• 禁止连续让步：当作者让步了一轮之后，下一轮 DA 的攻击必须至少有一个点坚持不让
• 让步率追踪：全程记录让步率，写入最终报告

DA 的存在是 ARS 反谄媚系统的基石之一。详见第十九篇：反谄媚系统。

editorial_synthesizer_agent：编辑综合者

角色定位：不是"再做一轮评审"，而是执行一个三步机械协议将 5 份独立报告合成为统一的编辑决定。

三步协议（v3.6.2 Sprint Contract）：

1. 构建跨审稿矩阵：将 5 份报告（EIC 不产出独立意见，R1/R2/R3/DA 各一份）中的每个关键发现，映射到 acceptance_dimensions 和 failure_conditions
2. 用 panel-relative 量化词评估：使用合约中定义的量化表达式词汇，对每条 failure_condition 做 cross-reviewer 聚合评估
3. 按严重性解决优先级：基于 severity 优先级 + cross_reviewer_quantifier 的量化规则，给出综合编辑决定和修订路线图

禁止操作清单：

• 不能引入任何一个 Reviewer 报告中都不存在的发现
• 不能因为"多数审稿人同意"而忽略 DA 独自提出的关键问题
• 不能将 4 位审稿人的分数简单平均
• 不能对论文提出新的、未在审稿报告中出现的修改要求
• 不能修改任何审稿报告中的措辞

禁止清单的设计目标是：综合者是一个透明中介，不是另一个有独立判断的审稿人。它的工作是将分歧结构化地呈现给用户——主编（人类），而非替用户做决定。

审稿团队的协作流程

                            论文文本
                               ↓
                     field_analyst_agent
                     （领域侦测，配置 R1/R2/R3）
                               ↓
          ┌────────────────────┼────────────────────┐
          ↓                    ↓                    ↓
    R1: methodology     R2: domain          R3: perspective
    （方法论审稿）        （领域审稿）          （跨学科审稿）
          ↓                    ↓                    ↓
          └────────────────────┼────────────────────┘
                               ↓
                      devils_advocate
                      （系统性攻击）
                               ↓
                    editorial_synthesizer
                    （三步机械综合协议）
                               ↓
                     eic_agent 审阅综合报告
                     做出编辑决定
                               ↓
              编辑决定 + 修订路线图 → 用户

关键设计原则：R1/R2/R3 先独立运行（互不影响），DA 在所有审稿人完成后再运行（可以看到其他审稿人的报告但不被其影响），synthesizer 最后以机械方式综合。

下一篇我们将探讨 Reviewer 的六种审稿模式与 Sprint Contract 协议——包括 v3.6.2 引入的"先承诺评分标准，再阅读论文"的预承诺机制。

参考来源：

• source/academic-research-skills/academic-paper-reviewer/SKILL.md
• source/academic-research-skills/academic-paper-reviewer/agents/（7 个 Agent 文件）
• source/academic-research-skills/academic-paper-reviewer/references/sprint_contract_protocol.md
• source/academic-research-skills/shared/sprint_contract.schema.json