Nature: AI工具纠错学术论文，有何风险？
提示：欢迎点击上方「Pubpeer」↑关注我们！
2025 年 3 月 7 日，《自然》杂志发文指出，去年年底，全球媒体曾报道黑色塑料烹饪用具存在高致癌阻燃剂风险，后证实是研究中的数学错误所致，而 AI 模型本可快速发现这一错误。受此事件影响，两个运用 AI 查找科学文献错误的项目应运而生。
由来自哥伦比亚的独立 AI 研究员 Joaquin Gulloso 协助协调的 “黑铲项目”，作为开源 AI 工具，已对约 500 篇论文进行分析以查找错误。该项目发现诸多问题，目前尚未公开错误，而是直接与相关作者沟通。
Matt Schlicht 创立的 YesNoError 项目受 “黑铲项目” 启发，借助专用加密货币资金支持，已在两个月内分析超 3.7 万篇论文，并通过网站标记有缺陷的论文，不过很多结果还未经人工核实。
这两个项目旨在让研究人员投稿前、期刊发表前运用其工具，防止错误和欺诈进入科学文献。学术诚信领域的研究人员对此态度不一，虽初步支持，但也担心工具可能被恶意使用或不够完善就投入使用。荷兰蒂尔堡大学的 Michèle Nuijten 提醒，错误指出问题可能损害声誉；瑞典林奈大学的 James Heathers 则认为，尽管有风险且项目需谨慎行事，但目标是正确的，AI 可先筛选论文供进一步审查。
两个项目均采用大语言模型检测论文错误。系统先提取论文信息，再生成指令让 “推理” 模型查找错误，分析成本因论文长度和指令不同而有所差异。“黑铲项目” 目前错误率约 10%，每个疑似错误都需专家核查，寻找专家成为项目瓶颈。YesNoError 团队仅对部分数学错误进行了误报量化，多数回应作者认可检测结果，该项目还计划与 ResearchHub 合作开展同行评审以核实 AI 检测结果，不过目前尚未实施
https://www.nature.com/articles/d41586-025-00648-5
来源：公众号pubpeer原创，文章涉及作者姓名都为音译名字；转载贴子请注明出处，若没注明pubpeer公众号出处，构成侵权。
声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢
Pubpeer，专注科研工作者。关注请长按上方二维码。投稿、合作、转载授权事宜请联系本号，回复2025，微信ID：BikElisabeth 或邮箱：Pubpeer@qq.com