今天为大家推荐的是来自密歇根州立大学计算机系Qiben Yan老师研究团队投稿的关于语音识别攻击的最新研究SpecPatch: Human-in-the-Loop Adversarial Audio Spectrogram Patch Attack on Speech Recognition，该研究成果发表于CCS 2022。
自动语音识别技术利用机器学习来识别用户的语音指令，近年来越来越受到人们的关注。科技公司大规模部署这项技术用以丰富人机互联的方式，提升交互的便捷性。例如：谷歌，亚马逊，IBM，微软都推出了基于自己模型的语音识别接口，供开发者使用。同时，一些智能语音助手如Google Home, Siri 等也都嵌入了这种技术为用户提供便捷的语音控制服务。然而，越来越多的研究发现，这类语音识别模型有很多潜在的风险，特别是受到恶意攻击后会执行有害的指令，从而导致隐私泄露、财产损失以及带来家庭安全隐患。在这项工作中，作者首次提出一种新型的攻击方式SpecPatch，通过在频谱上插入对抗性的补丁(Patch)，从而攻击语音识别的AI模型。相较于先前的研究，SpecPatch工作的主要贡献和科研亮点是：通过对频谱的修改，实现了即使在用户在场时对语音识别模型的强效且持续的攻击。
对抗攻击通过添加微小的扰动来改变语音识别模型的输出。以往基于音频的对抗攻击会在原始音频中搜索和添加微弱的噪声，或者把噪声隐藏在环境中，从而使得语音识别模型误判出攻击者的命令。然而，当有用户出现在攻击场景时，几乎所有的对抗攻击都会在以下3种情境中失效。
当用户和攻击者同时下达指令时，语音识别设备会倾向于听从用户的指令，使得攻击者的音频对抗样本受到用户指令的干扰，从而失效。
当攻击者通过循环播放对抗音频例如歌曲来进行攻击时，由于攻击音频能被听到且是持续性的，用户会注意到这种声音来源并且试图找到声音的发出点，从而对攻击进行破坏。
当用户注意到自己的语音识别设备被异常启动或者操控时，可以通过下达新的指令来与语音识别设备进行交互，从而重新获得设备的控制权，因此来阻止攻击者的攻击企图。
和以往基于音频的对抗攻击不同的是，SpecPatch通过给频谱添加补丁来进行攻击。如下图所示，通过在频谱上添加补丁，把原始音频的释义转换为攻击者的目标（红色字体）。
-
频谱的补丁适用于任何背景音频，使得这样的攻击具有普适性；
-
补丁长度短，频率范围可控，可以极大地降低被用户察觉的可能性；
-
补丁可以规避用户的交互指令，通过改变全局的释义来屏蔽用户的纠错指令，从而增强攻击的鲁棒性。
为了达到这样的攻击效果，作者采用了四种特别的设计。
相对于直接设置目标标签，SpecPatch在生成补丁时会提供部分标签用于对齐原始标签，从而使优化的梯度更新集中在补丁范围内，从而延长补丁的影响长度。
2）通过引入 “静音”补丁(”Mute”)来抵消用户的交互行为；
相较于在全局插入对抗扰动，“静音”补丁使扰动集中在特定周期的脉冲信号中，从而有效地影响整个窗口的输出，并且通过优化设计，尽可能减少插入的扰动数量，使用户难以察觉。
作者在优化目标中添加了受频率影响的用户感知函数，在生成对抗补丁的同时，抑制用户的感知程度。
作者在tensorflow上实现了SpecPatch，用来攻击DeepSpeech2模型。可视化的攻击效果如下：
通过添加对抗性补丁，作者把“关闭窗户和窗帘”的命令改变为“打开门”。补丁的音量与背景噪声相仿，不容易被察觉。
作者还通过一系列实验验证了SpecPatch的以下特性：例如延长补丁的影响长度和鲁棒性：
在此基础上，作者测试了SpecPatch在真实世界中的攻击表现：
通过播放SpecPatch生成的对抗样本，受攻击者的语音识别系统会改变识别结果以形成目标标签，或者导致用户的命令被错误识别。
项目网站和演示视频：https://specpatch.github.io/
论文下载：https://specpatch.github.io/assets/paper.pdf
SEIT Lab (Secure and Intelligent Things Lab)
密歇根州立大学计算机系SEIT Lab 目前专注于物联网安全，人工智能，自动驾驶，分布式计算（区块链）安全领域的研究。实验室曾获得IEEE SECON 2021， ACM SenSys 2021 最佳论文奖,以及多项发明专利，最新研究成果多次被BBC，Scientific America, Forbes，新浪，腾讯科技等媒体广泛报道。目前招收2023春季秋季入学的研究生，提供全奖，免GRE，欢迎申请！
实验室主页：https://seit.egr.msu.edu/
原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
