大多数研究人员有充分的理由对同行评审发牢骚：这既耗时又容易出错，并且工作负载分布不均，只有20％的科学家进行了大多数评审。
现在，人工智能（AI）的同行评审有望改善流程，提高发表论文的质量，并节省评审者的时间。
少数学术出版商正在试用AI工具，以执行从选择审稿人到检查统计数据以及总结论文发现等任何事情。
六月，名为StatReviewer的软件被Aries Systems所采用，该软件检查手稿中的统计数据和方法是否健全，Aries Systems是总部位于阿姆斯特丹的出版业巨头Elsevier拥有的同行评审管理系统。
众多期刊使用的同行评审平台ScholarOne正在与丹麦奥尔胡斯的UNSILO合作，该组织使用自然语言处理和机器学习来分析手稿。UNSILO会自动提取关键概念以总结论文的内容。
至关重要的是，在所有情况下，决定如何处理手稿的工作仍由编辑负责。
总部位于英国的出版顾问戴维·沃洛克（David Worlock）说：“并不能取代编辑判断，但上帝保佑，这使一切变得更容易。”戴维•沃洛克（David Worlock）上个月在德国法兰克福书展上观看了UNSILO示威游行。
发号施令
UNSILO使用手稿文本的语义分析来提取其标识为主要陈述的内容。UNSILO销售总监Neil Christensen说，这比一般作者提交的关键字更好地概述了论文。他说：“在他们实际写的文章中找到重要的短语，而不是仅仅拿出他们在提交前五分钟想出的东西。” / p>
然后，UNSILO会确定最有可能是这些关键短语中的哪些是主张或调查结果，从而使编辑者可以快速了解研究结果。它还强调了这些主张是否与先前发表的论文的主张相似，这些主张可以用于发现窃行为，或者只是将手稿与更广泛的文献中的相关工作联系起来。
克里斯滕森说：“他没有做出决定的工具。”只是说：比较此手稿与之前发表的所有内容时，有一些与众不同的地方。您是法官。
UNSILO原型从PubMed Central学术数据库中获取信息，该数据库可以将新手稿与170万篇已发表的生物医学研究论文的全文进行比较，后者是一个庞大而有限的数据集。该公司表示，不久将再增加超过2000万篇PubMed论文。它与宾夕法尼亚州费城Clarivate Analytics拥有的ScholarOne的合作将使它再次获得更多访问权限，包括Clarivate Web of Science数据库中的访问权限。
英国剑桥eLife期刊的创新团队负责人Giuliano Maciocci表示，UNSILO是解决同行评审中某些头痛问题的有趣解决方案，但eLife不会考虑采用。他说：“我并不完全相信，在像我们这样的期刊的背景下，这将特别有用，因为在这种期刊中，手动，专家管理非常重要。”
Worlock指出，出现了几种类似的工具。他是伦敦Wizdom.ai的董事会成员，该公司是出版商Taylor＆Francis旗下的一家新兴公司，该公司正在开发可挖掘纸质数据库并提取不同学科和概念之间的联系的软件。他说，这种工具不仅可以用于同行评审，还可以用于编写赠款申请书或文献综述之类的任务。
从窃到p值
许多平台，包括ScholarOne，已经具有自动窃检查器。包括Penelope.ai在内的服务将检查手稿的参考文献和结构是否满足期刊要求。
有些人也可以标记研究质量的问题。statcheck工具由荷兰蒂尔堡大学（Tilburg University）的方法学家Mich猫le Nuijten及其同事开发，用于评估作者统计报告的一致性，重点是p值。《心理科学》杂志通过该工具运行其所有论文，Nuijten说，其他出版商都希望将其整合到他们的审阅过程中。
当Nuijten的团队分析心理学期刊上发表的论文时，他们发现1大约50％的统计差异至少是一种。在八分之一的论文中，错误严重到足以改变已发表结果的统计意义。
她说：“真令人担忧。”但是，对于审稿人错过这样的错误，她并不感到惊讶。每个人都有时间讨论所有数字。您专注于主要发现或一般情况。？/ p>
目前，statcheck仅限于分析使用美国心理学会报告风格进行统计的手稿。
相比之下，StatReviewer的创建者，北卡罗来纳州的韦克森林大学医学院的Timothy Houle和威斯康星州的科技初创公司NEX7的首席执行官Chadwick DeVoss声称，该工具可以评估多种科学形式的标准格式和呈现方式的统计数据领域。为此，它检查纸张是否正确包含诸如样本量，有关主题盲目信息和基线数据之类的内容。
DeVoss说，StatReviewer还可以识别欺诈行为的标志。像是他们在玩一些统计规则，还是在整理数据呢？如果风险高于期刊所看到的风险，则他们可以调查详细信息。
试用算法
DeVoss说，StatReviewer正在接受许多发布者的测试。伦敦的开放获取出版商BioMed Central在2017年进行的试验尚无定论，因为该工具无法分析足够多的手稿，但仍提供了一些见识（BioMed Central现在正计划采取后续行动）。
拥有生物医学中心并出版《自然》（自然界的新闻团队独立于斯普林格·自然）的Springer Nature的开放研究传播总监艾米·伯克-怀特（Amy Bourke-Waite）说，StatReviewer发现了人类评论家所错过的东西。例如，它擅长捕捉不符合要求标准的论文，例如遵循CONSORT（许多出版商使用的手稿格式）。
伯克·韦特（Bourke-Waite）还报告说，与会的作者说，他们对StatReviewer报告的答复与对人类审阅者的答复一样高兴。
她说，有时候，StatReviewer弄错了东西-“但有时它的失误引起了作者的注意-注意稿件中的报告不清楚。
自动化限制
即使试验证明是成功的，DeVoss预计只有部分期刊愿意为扫描所有稿件付费。因此，他和他的同事们也以作者为目标，希望他们能够在提交之前使用该工具检查稿件。
通常，在同行评审中，人工智能存在潜在的陷阱。一个问题是，在先前发表的论文上训练过的机器学习工具可能会加剧同行评议中的现有偏见。沃洛克说：“如果您根据期刊过去接受的文章来建立决策系统，那将会有内在的偏见。”
DeVoss说，如果一种算法在评估论文后能提供一个单一的总体评分（如StatReviewer一样），则编辑可能会倾向于偷工减料，而仅仅依靠该评分来决定拒绝论文。
新西兰同行评审追踪初创企业Publons的联合创始人安德鲁·普雷斯顿（Andrew Preston）说，算法还不够智能，不足以允许编辑仅根据他们提取的信息来接受或拒绝论文。由Clarivate Analytics使用机器学习开发推荐推荐者的工具。“这些工具可以确保手稿符合要求，但绝不能取代审稿人在评估方面的工作。” / p>
Nuijten同意：“算法将需要一些时间来完善，但是使很多事情自动化是有意义的，因为同行评审中的很多事情都是标准的”？
自然563，609-610（2018）
