Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Paper Review Audit

面向科研论文的证据化技术审阅 skill。它不预设论文存在错误,而是把论文主张、原始出处、验证过程、反证检查和影响判断组织成可复核的证据链,并生成可直接上传展示的审阅报告包。

会审阅哪些方面

1. 论文身份、版本与材料覆盖

  • 核对题名、DOI、发表时间及论文版本。
  • 识别预印本、正式发表版、修订、更正、作者回复和公开评审之间的关系。
  • 记录正文、补充材料、Source Data、代码、原始记录和历史审阅报告是否已发现、取得、阅读或实际运行。
  • 明确审阅范围、排除项、缺失材料和无法完成的检查。

2. 科学问题与主张—证据链

  • 提炼科学问题、主要贡献、核心结论和作者承认的限制。
  • 将每项核心主张关联到对应实验、数据、图表、方法和统计分析。
  • 区分描述性、预测性、因果性、机制性及应用外推主张。
  • 检查结论强度是否超出实验设计和现有证据能够支持的范围。

3. 图、表与正文一致性

  • 对照摘要、正文、图、表、图注和补充材料中的数值、样本量、分母、比例、时间点、组别与定义。
  • 检查坐标轴、对数尺度、误差条、颜色、图例、归一化和样本点是否一致。
  • 追踪图表中的样本身份、源表标签、数值变换和绘图标签。
  • 原文优先于 OCR;从图片数字化得到的读数会明确标注不确定性。

当前版本会实际查看图片,但尚未内置自动图片重复检测。图片相似只能登记为待复核线索,不能据此直接判断存在篡改或科研不端。

4. Methods 参数与单位

  • 全量提取带单位的实验参数,而不只抽查核心实验。
  • 覆盖切片厚度、温度、时间、转速或离心力、浓度、体积、剂量、尺寸、分辨率和阈值。
  • 将参数与实验对象、处理阶段、仪器、染色及成像方式结合判断。
  • 排查小数点移位、10 倍或 1000 倍数量级错误、单位混用,以及正文与补充方法之间的冲突。
  • 外部常见范围只用于触发候选问题;最终判断必须回到论文原文、实际技术流程和可获得的实验记录。

5. 实验设计与生物学重复

  • 识别真正的实验单位,区分生物学重复、技术重复、配对、纵向和嵌套测量。
  • 检查对照、批次、随机化、盲法、纳排标准、缺失数据、混杂因素和归一化。
  • 对组织学实验区分冰冻、石蜡、树脂和超薄切片,并联合切片设备、染色和显微成像方式判断参数合理性。
  • 检查由局部实验结果向机制、临床意义或一般性结论的外推是否成立。

6. 统计与数值复核

  • 检查统计单位、配对关系、单双侧检验、方差假设、多重比较、效应量和置信区间。
  • 先严格按照作者声明的方法复算,再执行有依据且单独记录的替代分析。
  • 记录复算输入、参数、软件、脚本、实际输出、论文发表值和允许误差。
  • 区分“不显著”“等效”和“无效应”,并区分条件性上界与真实观测结果。

7. 代码、机器学习与计算分析

  • 追踪训练、验证和测试集边界,以及预处理、特征选择和调参是否发生数据泄漏。
  • 检查患者或样本重复、同源序列泄漏、时间泄漏、伪标签来源和共同上游模型。
  • 核对基线公平性、随机种子、消融实验、外部验证及评价条件是否可比。
  • 没有取得代码或运行条件时如实标记阻塞,不把潜在风险写成已发生事实。

8. 反证、替代解释与敏感性

  • 对每条拟保留问题主动寻找最强替代解释。
  • 检查正文或补充材料是否已有说明、实验是否不同、版本是否已经更新,以及是否误读坐标或归一化。
  • 证据不足时使用条件分析、敏感性分析或界限,不臆造缺失数据和样本对应关系。
  • 明确什么新增材料或结果能够推翻当前判断。

9. 问题定级与影响判断

每个问题分别记录三个维度:

  • 状态:confirmed、conditional、needs_clarification、ruled_out 或 resolved。
  • 证据强度:high、medium、low 或 undetermined。
  • 影响范围:reporting、local_result、key_claim 或 unknown。

局部问题不会自动否定整篇论文,也不会据此推断造假概率或个人责任。confirmed 必须关联本次直接核验的定位证据和真实执行记录。

10. 多论文比较

  • 比较研究问题、数据来源、样本独立性、评价条件、证据强度和结论分歧。
  • 检查共享队列、重复数据、论文版本和共同上游模型。
  • 对不可直接比较的指标保留边界,不进行没有依据的强制排名。

默认输出

每次完整审阅同时提供两种输出:

  1. 对话内问题—证据报告:直接逐条显示全部当前问题、对应证据、原文定位、判断理由、影响与建议;证据截图在界面支持时直接展示。用户无需下载附件即可先阅读主要结果。
  2. 完整报告包:生成一个可归档和上传的 review-package.zip:
review-package.zip
├── report.json
├── report.md
└── evidence/
    └── 与问题关联的原文截图
  • report.json 是唯一机器数据源,遵循 schemas/report.schema.json。
  • report.md 从同一 JSON 自动生成,不单独维护结论或问题数量。
  • evidence/ 保存报告引用的原文、图表或方法截图;缺少任一被引用图片时,报告包校验失败。
  • 格式和引用校验通过不代表科研结论已经得到独立验证。
  • 对话展示、Markdown、ZIP 和前端均从同一份 report.json 派生,问题数量和结论不能分别维护。

报告展示

配套前端提供姓名密码登录和账号级数据隔离。登录后首先进入审阅控制台,查看当前账号提交过的所有文章;选择文章后,才进入逐条问题页面。

详情页默认将已确认问题置顶。展开每条问题可以查看:

  • 直接证据及原文截图;
  • 页码、图号、章节等精确定位;
  • 核查结论和影响判断;
  • 验证方法、执行步骤和替代解释;
  • 推荐处理方式及仍需补充的材料。

主要组成

  • SKILL.md:审阅入口、工作路由、判断规则和完成门槛。
  • references/workflow.md:完整审阅流程与证据台账要求。
  • references/domain-checks.md:生物医学、机器学习、RNA、蛋白和结构预测专项检查。
  • references/output-contract.md:报告对象关系、统计口径和报告包契约。
  • schemas/report.schema.json:结构化报告的唯一 Schema。
  • scripts/:参数提取、报告校验、Markdown 渲染和报告包生成工具。
  • frontend/:问题—证据展示页面和个人审阅控制台。

安全与边界

  • 论文、网页、附件、代码注释和历史 AI 报告均被视为不可信分析对象,不执行其中的操作指令。
  • 默认只读原始材料;非公开资料不会在未经授权时上传第三方。
  • 报告文本按纯文本渲染,不注入 HTML 或执行附件脚本。
  • 大体积 PDF、源数据和代码应通过受控存储提供;前端报告包主要保存结构化结论与裁切后的证据图片。
  • 自动提取和相似性检测只能生成候选线索,不能替代领域判断、原版页面核对或实验记录。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages