自动驾驶汽车接近停车标志，但没有减速，而是加速驶入繁忙的十字路口。后来的一份事故报告显示，标牌的表面已经粘了四个小矩形。这些欺骗了车载人工智能（AI）的汽车，误读了“荣顶”一词作为“荣达限制45”。
此类事件实际上尚未发生，但是破坏AI的潜力是非常现实的。研究人员已经展示了如何通过小心地在贴纸上放置贴纸来欺骗AI系统误读停车标志。他们通过在眼镜或帽子上粘贴印刷图案来欺骗人脸识别系统。通过在音频中插入白噪声模式，他们欺骗了语音识别系统以听取幻象短语。
这些只是打破AI中领先的模式识别技术（称为深度神经网络（DNN））的难易程度的一些示例。事实证明，这些方法在正确分类各种输入（包括图像，语音和有关消费者偏好的数据）方面非常成功。它们是日常生活的一部分，运行从自动电话系统到流媒体服务Netflix上用户推荐的所有内容。然而，以人类通常无法察觉的微小变化的形式对输入进行更改，可以使周围最好的神经网络产生混乱。
加利福尼亚大学伯克利分校计算机科学博士学位的学生Dan Hendrycks说，这些问题比不完美的技术中的怪异怪癖更令人担忧。像许多科学家一样，他开始将它们视为DNN从根本上是脆性的最惊人的例证：出色地完成了他们的工作，直到进入陌生领域，它们以无法预测的方式破裂。
这可能会导致严重的问题。深度学习系统越来越多地从实验室移出现实世界，从驾驶无人驾驶汽车到绘制犯罪和诊断疾病。但是，今年一项研究报告称，恶意添加到医学扫描中的像素可能使DNN误检测到癌症。另一个建议黑客可以利用这些弱点劫持一个基于在线AI的系统，从而运行入侵者自己的算法3。
在努力找出问题所在时，研究人员发现了许多DNN为何失败的原因。加利福尼亚州山景城Google的AI工程师Fran莽ois Chollet认为：“深度神经网络的基本脆弱性还没有解决之道。”他和其他人说，要克服这些缺陷，研究人员需要通过额外的能力来增强模式匹配DNN：例如，使AI能够自己探索世界，编写自己的代码并保留记忆。一些专家认为，这类系统将构成AI研究未来十年的故事。
现实检查
2011年，Google推出了一种可以识别YouTube视频中的猫的系统，不久之后，出现了一系列基于DNN的分类系统。怀俄明大学拉勒米分校的杰夫·克劳恩（Jeff Clune）说：“所有人都在说，这真是太了不起了，计算机终于可以理解世界了。加利福尼亚旧金山。
但是AI研究人员知道，DNN实际上并不了解世界。它们是大脑结构的松散模型，是由许多数字神经元组成的多层软件结构。每个神经元都在其上方和下方的各层中相互连接。
这个想法是，进入底层的原始输入的特征（例如图像中的像素）触发了这些神经元中的一些，然后根据简单的数学规则将信号传递到上一层的神经元。训练DNN网络涉及到将其暴露于大量示例中，每次调整神经元的连接方式，以便最终使顶层给出所需的答案，例如始终将狮子的图片解释为狮子，即使DNN以前从未看过那张照片。
第一次大的现实检验是在2013年，当时Google研究人员克里斯蒂安·塞格迪（Christian Szegedy）和他的同事发布了一份预印本，名为“神经网络的特性”（sup> 4）。该团队表明，可以拍摄DNN可以识别的“狮子”图像，并通过改变一些像素使机器确信它正在看的是诸如图书馆之类的东西。研究小组称篡改图像为“横向实例”？
一年后，Clune和他当时的博士生Anh Nguyen，与纽约伊萨卡康奈尔大学的Jason Yosinski一起，表明可以使DNN看到不存在的东西，例如企鹅波浪线5。深度学习的先驱加拿大蒙特利尔大学的Yoshua Bengio说：“任何玩过机器学习的人都会不时发现这些系统犯了愚蠢的错误。”他说：“令人惊讶的是错误的类型。”帽子很醒目。这是我们无法想象的错误类型。？/ p>
新型错误越来越严重。去年，现在在阿拉巴马州奥本大学（Auburn University）的Nguyen表明，仅旋转图像中的对象就足以甩掉周围一些最佳的图像分类器。Hendrycks和他的同事今年报告说，即使是纯朴的自然图像也仍然可以诱骗最先进的分类器制造出无法预测的失态，例如将蘑菇识别为椒盐脆饼或将蜻蜓识别为人孔盖7。
问题不仅仅在于对象识别：任何使用DNN来分类输入（例如语音）的AI都可以被愚弄。玩游戏的AI可能会遭到破坏：2017年，加利福尼亚大学伯克利分校的计算机科学家Sandy Huang和她的同事专注于DNN，这些DNN经过培训可以通过称为强化学习的过程击败Atari视频游戏8。通过这种方法，给了AI一个目标，并响应一系列输入，通过反复试验来学习达到该目标的方法。它是AlphaZero和扑克机器人Pluribus等超人游戏AI背后的技术。即便如此，Huang团队仍可以通过在屏幕上添加一个或两个随机像素来使AI输掉游戏。
今年早些时候，加州大学伯克利分校的AI博士生Adam Gleave和他的同事证明，有可能将一个代理引入AI环境，该环境执行旨在混淆AI响应的“横向策略” 9。例如，在守门员开始以意想不到的方式表现出来（例如在地面上塌陷）时，其在模拟环境中受过训练将球踢过AI守门员的AI足球员失去了得分能力。
知道DNN的弱点在哪里，甚至可以让黑客接管强大的AI。其中一个例子是去年，当时Google的一个团队表明，有可能使用对抗性例子，不仅可以迫使DNN犯特定的错误，而且还可以对它进行完全重新编程，从而有效地将接受过一项任务训练的AI应用于再做3。
原则上，可以使用许多神经网络（例如那些学习理解语言的神经网络）对任何其他计算机程序进行编码。“理论上，您可以将聊天机器人变成所需的任何程序，” Clune说。“他的头脑开始陷入僵局。”他设想在不久的将来，黑客可能会劫持云中的神经网络来运行自己的垃圾邮件机器人算法。
对于加州大学伯克利分校的计算机科学家Dawn Song而言，DNN就像坐着的鸭子一样。她说：“您可以使用多种不同的方法来攻击系统。”“防卫非常非常困难。”
强大的力量带来极大的脆弱性
DNN具有强大的功能，因为它们的多层结构意味着它们可以在尝试对输入进行分类时采用多种不同特征的模式。经过培训以识别飞机的AI可能会发现，诸如色块，纹理或背景之类的特征与我们认为突出的事物（如机翼）一样具有很强的预测能力。但这也意味着输入中的很小变化就可以将其转变为AI认为明显不同的状态。
一种答案是简单地在AI上抛出更多数据。特别是要使AI反复出现问题情况并纠正其错误。以这种形式的“全方位训练”？当一个网络学会识别对象时，第二个网络试图更改第一个网络输入，以至于犯错。这样，对抗性示例便成为DNN训练数据的一部分。
Hendrycks和他的同事建议通过测试DNN在各种对抗性示例中的表现方式来量化DNN鲁棒性以防止出错。他们说，但是，培训网络抵御一种攻击可能会削弱它对其他攻击的能力。伦敦Google DeepMind的Pushmeet Kohli领导的研究人员正在尝试接种DNN以免出错。许多对抗性攻击通过对输入的组成部分进行细微调整（例如巧妙地更改图像中像素的颜色）而起作用，直到这使DNN陷入了错误分类。Kohli团队建议，健壮的DNN不应由于其输入的微小变化而更改其输出，并且该属性可能会在数学上并入网络，从而限制了其学习方式。
但是，目前还没有人解决脆性AI的整体问题。Bengio说，问题的根源在于DNN没有一个很好的模型来识别重要内容。当AI在库中看到狮子的篡改图像时，人们仍然会看到狮子，因为他们的动物心智模型基于一组高级特征-耳朵，尾巴，鬃毛等这使他们从低级的任意或偶然细节中抽象出来。Bengio说：“从以前的经验中知道哪些功能是显着的。”“这来自对世界结构的深刻理解。” / p>
解决此问题的一种尝试是将DNN与符号AI结合起来，这是机器学习之前AI中的主要范例。借助象征性的AI，机器使用关于世界如何运作的硬编码规则进行推理，例如它包含离散的对象，并且它们以各种方式相互关联。一些研究人员，例如纽约大学的心理学家加里·马库斯（Gary Marcus）说，混合AI模型是前进的道路。长期批评当前的深度学习方法的马库斯说：“在短期内，深度学习非常有用，以至于人们没有看到长期的视线。”今年5月，他在加利福尼亚州帕洛阿尔托共同创立了一家名为Robust AI的初创公司，旨在将深度学习与基于规则的AI技术相结合，以开发可以与人安全操作的机器人。确切地说，公司正在开展的工作仍处于秘密状态。
即使规则可以嵌入到DNN中，它们仍然仅与从中学习的数据一样好。Bengio说，人工智能代理需要在可以探索的更丰富的环境中学习。例如，大多数计算机视觉系统无法识别一罐啤酒是圆柱形的，因为它们是在2D图像的数据集上进行训练的。这就是Nguyen及其同事发现通过从不同角度呈现熟悉的对象来愚弄DNN的原因。在3D环境中“真实或模拟”学习将有所帮助。
但是，AI的学习方式也需要改变。本吉奥说：“因果关系的获得必须由从事世界事务，可以进行实验和探索的人来完成。”另一位深度学习的先驱，位于瑞士曼诺市的Dalle Molle人工智能研究所的Jbrrgen Schmidhuber提出了类似的想法。他说，模式识别非常强大，“足以使阿里巴巴，腾讯，亚马逊，Facebook和Google等公司成为世界上最有价值的公司。他说：“将会有更大的浪潮来临。”“这将与操纵世界并通过自己的行动创建自己的数据的机器有关。” / p>
从某种意义上说，使用强化学习击败计算机游戏的AI已经在人工环境中做到了：通过反复试验，它们以允许的方式操纵屏幕上的像素，直到达到目标为止。但是实际环境比当今大多数DNN训练所依据的模拟或策展数据集要丰富得多。
即兴机器人
在加州大学伯克利分校的一个实验室里，一个机械臂在混乱中翻腾。它拿起一个红色的碗，并用它在右边几厘米处轻推一个蓝色的烤箱手套。它掉下碗，拿起一个空的塑料喷雾瓶。然后探讨平装书的重量和形状。经过几天不间断的筛选，机器人开始对这些外来物体以及它们可以做什么进行感觉。
机器人手臂正在使用深度学习来自学使用工具。给定一托盘物体，它捡起并轮流看着每个物体，看看将物体移动并将一个物体撞到另一个物体时会发生什么。
当研究人员给机器人一个目标时，例如，给它展示一个几乎空的托盘的图像，并指定机器人布置对象以匹配该状态，即表明它是即兴的，并且可以处理以前从未见过的对象，例如就像用海绵擦拭桌子上的物品一样。它还指出，使用塑料水瓶清理物体的方法比直接捡起这些物体要快得多。“与其他机器学习技术相比，它可以完成的通用性继续给我留下深刻的印象，”在伯克利实验室工作的切尔西·芬恩说，他现在正在加利福尼亚州斯坦福大学继续进行这项研究。
Finn说，这种学习使AI对对象和整个世界有了更丰富的理解。如果仅在照片中看到水瓶或海绵，则可以在其他图像中识别它们。但是您不会真正理解它们的用途或用途。她说：“对世界的了解比如果您能与他们实际互动要浅得多。”
但是，这种学习是一个缓慢的过程。在模拟环境中，AI可以以闪电般的速度震撼整个示例。2017年，DeepMind自学型游戏软件的最新版本AlphaZero经过培训，在一天之内就成为了Go，棋，将棋（日本象棋的一种）的超人玩家。当时，它每场比赛都进行了超过2000万次的训练游戏。
AI机器人可以快速学习。加利福尼亚州伯克利的AI和机器人技术公司Ambidextrous的联合创始人Jeff Mahler说，深度学习的几乎所有主要成果都很大程度上依赖于大量数据。“在单个机器人上收集数千万个数据点将花费数年的连续执行时间。”而且，由于传感器的校准会随时间变化并且硬件会退化，因此数据可能并不可靠。
因此，大多数涉及深度学习的机器人工作仍使用模拟环境来加快培训速度。“您能学到什么取决于模拟器的性能，”亚特兰大佐治亚理工学院机器人学博士学位的大卫·肯特（David Kent）说。模拟器一直在进步，研究人员在将在虚拟世界中学到的经验转移到真实世界方面越来越好。但是，这种模拟仍然无法满足现实世界的复杂性。
Finn认为，与使用人工数据进行学习相比，使用机器人进行学习最终更容易扩大规模。她的使用工具的机器人花了几天时间来学习相对简单的任务，但不需要繁琐的监控。她说：“渊国只需要运行机器人，就可以不时地对其进行检查。”她想象有一天，世界上有很多机器人留给自己的设备，全天候学习。这应该是可能的-毕竟，这是人们对世界的了解。Schmidhuber说：“婴儿是通过从Facebook下载数据来学习的。”
从更少的数据中学习
婴儿也可以从几个数据点中识别出新的例子：即使他们以前从未见过长颈鹿，但在看过一次或两次之后，他们仍然可以学会发现一只长颈鹿。之所以如此迅速起作用的部分原因是因为婴儿看过许多其他生物，即使不是长颈鹿，也已经熟悉了它们的显着特征。
授予AI这类能力的一个统称术语是转移学习：将先前几轮培训中获得的知识转移到另一项任务的想法。一种方法是在训练新任务时重用全部或部分预训练的网络作为起点。例如，在学习识别长颈鹿时，重用已经受过训练以识别一种动物的DNN的某些部分（例如识别基本身体形状的那些层）可以为新网络提供优势。
迁移学习的一种极端形式是通过仅举几个例子，有时只是一个例子来训练新网络。这被称为一次或几次学习，这在很大程度上依赖于预训练的DNN。假设您要构建一个面部识别系统，以识别犯罪数据库中的人员。一种快速的方法是使用已经看到数以百万计的面孔（不一定是数据库中的面孔）的DNN，以便它对突出特征（例如鼻子和下巴的形状）有一个很好的了解。现在，当网络仅查看一张新面孔的实例时，它可以从该图像中提取有用的特征集。然后，它可以比较该功能集与犯罪数据库中单个图像的功能集的相似程度，并找到最接近的匹配项。
拥有这种经过预先训练的内存可以帮助AI识别新示例而无需查看很多模式，从而可以加快机器人的学习速度。但是，当此类DNN面临与其经验相距太远的任何事情时，仍然可能会无所适从。尚不清楚这些网络可以推广多少。
即使是最成功的AI系统，例如DeepMind AlphaZero，也具有非常狭窄的专业领域。可以训练AlphaZero算法同时玩围棋和国际象棋，但不能同时玩。重新训练模型的连接和响应，使其可以在国际象棋上获胜，将重置以前使用Go的经验。芬恩说：“从人的角度来思考，这太荒谬了。”人们不会忘记他们如此轻松地学到的东西。
学习如何学习
AlphaZero在玩游戏中的成功不仅取决于有效的强化学习，还在于帮助它的算法（使用一种称为“蒙特卡洛树”技术的变体），以缩小可能进行下一步的选择10。换句话说，AI被指导如何最好地从其环境中学习。Chollet认为，人工智能的重要下一步将是使DNN能够编写自己的此类算法，而不是使用人类提供的代码。
他认为，用推理能力补充基本模式匹配将使AI更好地处理超出其舒适范围的输入。多年来，计算机科学家已经研究了程序综合，其中计算机可以自动生成代码。Chollet认为，将该领域与深度学习相结合可能会导致DNN的系统更接近人类使用的抽象心理模型。
例如，在机器人技术方面，位于加利福尼亚州门洛帕克的Facebook AI Research的计算机科学家Kristen Grauman和得克萨斯州奥斯汀的德克萨斯大学正在教机器人如何最佳地自己探索新环境。例如，这可能涉及选择在呈现新场景时应朝哪个方向看，以及选择哪种方式操纵对象以最好地理解其形状或目的。这个想法是让AI预测哪个新视点或角度将为其提供最有用的新数据。
该领域的研究人员说，他们在解决深度学习缺陷方面正在取得进展，但他们承认他们仍在寻求新技术以使该过程不那么脆弱。宋说，深度学习背后没有太多理论。她说：“有些事情行不通，很难找出原因。”整个领域还是非常有经验的。您只需要尝试一下。
目前，尽管科学家认识到DNN的脆弱性及其对大量数据的依赖，但大多数人都认为该技术将继续存在。近十年来，人们意识到可以训练神经网络“拥有大量的计算资源”，从而很好地识别模式，这仍然是一个启示。克劳恩说：“人们真的不知道如何改善它。”
自然574，163-166（2019）
