乔伊尔·派诺（Joelle Pineau）不想让科学可再现性危机进入人工智能（AI）。

麦考尔大学（McGill University）和加拿大蒙特利尔的Facebook的机器学习科学家皮诺（Pineau）感到沮丧，因为她难以从其他研究团队那里获得结果，现在正在率先发起一项运动，要求人工智能研究人员开放其方法和代码进行审查。

人工智能先驱“虐待的危险非常真实”？/ h1>
与McGill的博士生Koustuv Sinha一起，Pineau在神经信息处理系统会议（NeurIPS）的组织委员会上担任着两个致力于再现性的新角色之一，这是AI的重要会议，今年吸引了大约13,000名研究人员。在今年12月8日至14日在加拿大温哥华举行的会议召开之前，委员会要求科学家提供代码，并为提交的每篇论文填写方法学细节清单。他们还进行了一项竞赛，挑战研究人员重新创造彼此的作品。
皮诺（Pineau）向《自然》杂志讲述了这些措施及其与社区的关系。

很难想象为什么对自然界的科学研究可能难以复制。但是，为什么有些算法无法重现？

的确，使用代码，您可以按开始键，并且在大多数情况下，每次都应执行相同的操作。挑战可能是试图从纸上复制机器代码中的一组精确指令。还有一个问题是，论文总是没有给出所有细节，或者给出了误导性细节。有时是无意的，有时是为了使结果看起来更有利。那是个大问题。

是什么让您对可重复性感兴趣？

我偶然地陷入了可复制性。我的学生一遍又一遍地会说“业”可以得到这些结果吗？或者他们发现，要获得结果，他们必须从方法上做我认为正确的事情。因此，对我而言，重要的是在它成为常态之前将其停止。这对于更广泛的社区来说也是非常及时的，因为有很多人涌入该领域，并且确定什么是方法学规范是很重要的。

这种做法有什么例子？

例如，在强化学习中，如果使用不同的初始随机设置对某些算法进行两次运行，则可以获得非常不同的结果。而且，如果您进行大量跑步，则只能报告最佳跑步。具有更多计算能力的人进行更多运行的结果将看起来更好。论文总是不说执行了多少次。但这对您得出的结论有很大的不同。

今年NeurIPS采取了哪些可重复性措施？

分为三个部分：我们鼓励人们提交其代码；我们正在面临可再现性挑战；我们介绍了一份提交论文的清单。例如，清单会询问您是否明确标记了度量标准的类型和所使用的度量，是否提供了误差线，模型的详细信息以及如何设置模型的某些方面来改变结果很多。

研究人员的接待情况如何？

很好。我与其他科学界的人们进行了讨论，他们感到非常惊讶，因为我有这么多平台谈论可重复性。感觉就像在他们的领域中，如果您开始质疑可重复性，那么就会有一个非常强大的机构想要阻止该消息。提交代码是我印象最深刻的元素之一。一年前，接受的NeurIPS论文中有50％包含代码链接。今年，我们达到了75％。

我们已经与两名信息科学家合作，他们正在分析响应并绘制出数据中有用的模式。我们已经可以说，有34％的会议论文审阅者表示清单是有用的，并且代码的存在对审阅者评分具有显着的积极影响。但是，在得出结论之前，我们需要进一步研究。

可再现性挑战意味着什么？

我们在全球73个机构中有173名参与者。他们选择要复制的纸张-“在NeurIPS上接受的任何纸张都是公平竞赛”，并生成一份报告，其中记录了他们验证的部分，方法和发现的内容。这些报告在OpenReview（一个促进科学交流开放性的网站）上共享。我们将收集一些非常好的示例，并将它们发布在ReScience C杂志的特刊上。