聪明的演讲者可以被声音打断,说研究人员要阻止它

$config[ads_kvadrat] not found

Французский язык Цифры от 11 до 20 на французском Урок французского языка от Элизабет Sisters Like

Французский язык Цифры от 11 до 20 на французском Урок французского языка от Элизабет Sisters Like
Anonim

如果我们告诉您黑客可以在没有您注意的情况下给您的Amazon Echo发送命令 - 或者甚至像我们通常想到的那样进行任何黑客行为,该怎么办?

Moustafa Alzantot,计算机科学博士。加利福尼亚大学洛杉矶分校的候选人表示,从理论上讲,恶意演员可能会发送特定的声音或信号,而这些声音或信号通常会被人类完全忽视,但会导致A.I.的深度学习算法失败。

“攻击的一个例子就是控制你的家用设备,而不知道发生了什么,”Alzantot告诉 逆 。 “如果你在收音机里播放一些音乐,你就有一个Echo坐在你的房间里。如果恶意行为者能够广播制作的音频或音乐信号,以便Echo将其解释为命令,这将允许攻击者说出,解锁门或购买某些东西。“

这是一种被称为对抗性示例的攻击,正如他们最近在NIPS 2017机器欺骗研讨会上发表的论文所描述的那样,Alzantot和他的团队的其他成员都希望停止这种攻击。

A.I.与创造它的人类智慧没有什么不同:它有它的缺陷。计算机科学研究人员已经找到了通过稍微改变照片中的像素或为音频文件添加微弱噪声来彻底欺骗这些系统的方法。人类完全无法察觉这些微小的调整,但完全改变了A.I.听到或看到。

加州大学洛杉矶分校的计算机科学家Mani Srivastava告诉“这些算法的目的是试图对所说的内容进行分类,以便它们可以对其进行操作。” 逆 。 “我们试图以一种人类附近听到'不'的方式操纵输入来颠覆这个过程,但机器听到'是'。所以你可以强制算法以不同的方式解释命令。“

最常见的对抗性示例是与图像分类算法有关的那些,或者稍微调整一只狗的照片以制作A.I.认为这是完全不同的东西。 Alzantot和Srivastava的研究指出,语音识别算法也容易受到这些类型的攻击。

在该论文中,该小组使用了谷歌的开源库TensorFlow中的标准语音分类系统。他们的系统负责对单字命令进行分类,因此它会监听音频文件,并尝试用文件中所说的单词对其进行标记。

然后,他们编写了另一种算法来尝试使用对抗性示例欺骗TensorFlow系统。这个系统能够欺骗语音分类A.I. 87%的时间使用所谓的黑匣子攻击,其中算法甚至不需要知道任何有关攻击设计的信息。

“有两种方法可以发起这类攻击,”Srivastava解释道。 “一个是什么时候,我作为对手知道接收系统的一切,所以我现在可以制定一个利用这些知识的策略,这是一个白盒攻击。我们的算法不需要知道受害者模型的架构,使其成为黑盒攻击。“

显然黑盒攻击效果较差,但它们也是最有可能用于真实攻击的东西。加州大学洛杉矶分校的小组成功率达到了87%,即使他们没有根据模型中的弱点定制攻击。在处理这种类型的A.I.时,白盒攻击会更有效。但是,亚马逊的Alexa等虚拟助手并不是唯一可以利用对抗性示例来利用的东西。

斯里瓦斯塔瓦说:“依靠从声音中做出某种推断的机器可能被愚弄了。” “显然,亚马逊Echo就是这样的一个例子,但是还有许多其他的东西用声音来推断世界。您的传感器与报警系统相连,可以接收声音。“

认识到采用音频线索的人工智能系统也容易受到对抗性的影响,这是实现这些攻击有多强大的一步。虽然该组织无法像Alzantot所描述的那样完成广播攻击,但他们未来的工作将围绕着看看它的可行性。

虽然这项研究只测试了有限的语音命令和攻击形式,但它强调了大部分消费者技术的可能性。这是进一步研究防御对抗性例子和教学的第一步。如何区分他们。

$config[ads_kvadrat] not found