G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

AI 2个月前 admin
110 0 0

大家好,今天给大家推荐的是一篇来自CISPA Helmholtz Center for Information Security张阳研究组,NetApp和清华大学网络与信息安全实验室互联网和云安全研究组联合投稿的关于基于cell的神经架构搜索(Neural Architecture Search, NAS)的隐私威胁分析的文章——“On the Privacy Risks of Cell-Based NAS Architectures”,目前该工作已发表于ACM CCS 2022。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

近年来深度神经网络(Deep Neural Network, DNN)迅速发展,已在多项现实世界任务中取得了优异的性能表现。随着算力资源的提升,运行和部署更加庞大与复杂的DNN模型也成为了可能,越来越多的DNN使用日趋复杂的模型结构以追求更好的效果。然而,手动设计这些复杂网络结构经常需要较高的专家知识以及工程技巧,与此同时,反复手动调试模型的过程也非常费时费力。

为了应对上述挑战,研究人员提出了一种在给定数据集上自动搜索最优模型结构的方法——神经架构搜索(Neural Architecture Search, NAS)。NAS的核心思想是使用自定义的搜索策略(search strategy)在给定搜索空间(search space)内选取可能的结构,并使用特定的性能评估策略去测试当前结构的性能表现从而为搜索过程提供指引。通常情况下,NAS的搜索空间非常巨大,为了减少计算开销加快搜索速度,主流的基于cell的NAS方法将整个模型网络结构看作多个相同的小模块(这些模块被称作cell)的组合。典型的基于cell的NAS结构如下图所示。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

在基于cell的NAS方法的搜索过程中,我们只需搜索单个cell的最优结构,最终将得到的最优cell重复若干次即可得到最终的模型结构,从而大大减小了搜索空间。一般来说,这类NAS结构中含有两类cell——normal cell以及reduction cell,模型结构主体由normal cell组成,而reduction cell则分布在模型深度的1/3及2/3处(仅2个),模型的性能也主要由normal cell决定。

目前针对NAS的研究主要集中在提升NAS搜索效率与模型性能,以及提升NAS结构对于对抗样本(adversarial examples)的鲁棒性。然而,NAS模型结构面临的隐私威胁却没有得到全面系统的分析。在本文中,作者首先系统性地评估和对比了基于cell的NAS结构与传统手动设计的模型的性能以及对于成员推理攻击(membership inference attack, MIA)的鲁棒性,接着深入NAS内部cell结构,提取并分析了与MIA鲁棒性相关的cell pattern,从而给出提升NAS隐私鲁棒性的一般化建议。接下来,我们将分别介绍这些内容。

隐私评估

作者在4个数据集上对10种基于cell的NAS结构以及10种人工设计的传统模型结构进行了比较。首先,作者对比了不同模型结构在测试集上的性能表现,实验结果如下表所示。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

可以看出,相比于人工设计的结构,NAS搜索得到的结构具有相近甚至更高的测试准确率(accuracy)并拥有更低的过拟合度(overfitting level,训练准确率与测试准确率的差值),这表明NAS搜索得到的模型结构拥有更好的泛化性能。

与此同时,作者也测试了成员推理攻击(membership inference attack,MIA)在各模型上的攻击效果。该类攻击的目的是推测当前所给样本是否存在于目标模型的训练集中。根据攻击者拥有的不同知识背景,作者将攻击设置划分为了5种情况——依据攻击者是否对目标模型拥有白盒(white-box)权限以及是否知晓部分(partial)样本的成员归属信息,作者将攻击设置划分为<White-box, Partial>,<White-box, Shadow>,<Black-box, Partial>,<Black-box, Shadow> 4种类型,而在黑盒情况下,有时目标模型仅仅提供最终预测的标签信息,对应< label-only >的攻击设置。显然,<White-box, Partial>与< label-only >分别是最强与最弱的攻击设置。作者在4个数据集上对以上全部5种攻击设置都进行了评估,并用AUC指标来量化攻击结果,该指标数值越大表示攻击效果越好。在其中3个数据集上的<Black-box, Shadow>与<White-box, Shadow>两种攻击设置下的实验结果如下图所示。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

可以看出,一般情况下,白盒攻击的攻击效果要好于黑盒攻击,并且NAS结构的攻击效果要低于人工设计的模型,说明前者对于MIA具有更好的鲁棒性。作者的发现与已有的MIA研究工作一致,也即一般情况下,过拟合度越低的模型越倾向于对MIA拥有较高的鲁棒性。然而,不同NAS结构的鲁棒性仍然表现出较大差异,作者希望进一步深入NAS结构内部,探索结构模式与MIA攻击效果之间的关系。

隐私Cell Pattern提取与分析

作者设计了一个探索基于cell的NAS结构与MIA攻击效果之间关系的一般性框架,如下图所示。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

首先,作者准备NAS结构以及对应的MIA评估结果以做进一步分析。接着,作者对已有的NAS结构进行统计分析,并利用现有NAS结构和对应MIA攻击结果训练一个回归模型来预测任意给定NAS结构的MIA攻击结果,在该回归模型的帮助下,作者可以较快提取出对于提升或者降低MIA攻击效果最有帮助的cell模式(pattern)。最后,根据提取的cell pattern,作者修改当前给定cell结构,最终评估修改后的NAS结构的MIA攻击效果。

作者在实验中使用了NAS-Bench-301数据集,该数据集包含了多个在CIFAR10数据集上由多种典型基于cell的NAS方法搜索得到的模型结构以及对应的性能评估结果。作者选取了原数据集中测试准确度在前5%的NAS结构,评估了每个NAS结构在最强的MIA攻击设置下的攻击结果,由此得到了一个包含NAS结构与对应MIA攻击效果的数据集。我们依据MIA攻击效果的高低,在该数据集中定义了两类NAS结构——一类具有较高的MIA攻击效果,另一类具有较低的MIA攻击效果。作者分别对这两类NAS结构的运算(operation)分布进行了统计分析,发现两类NAS结构的normal cell中的运算分布没有显著差异,都有较多的卷积(convolution)运算,而对于reduction cell,具有较高MIA攻击效果(也即较低MIA鲁棒性)的NAS结构中包含较多卷积(convolution)运算,具有较低MIA攻击效果(也即较高MIA鲁棒性)的NAS结构的reduction cell中却包含更多的池化(pooling)运算。据此作者推断卷积运算与池化运算分别对MIA的攻击效果有促进和抑制作用,而卷积运算对模型性能有较大影响且NAS结构的性能主要取决于normal cell,因此两类NAS结构的normal cell中都包含了较多的卷积运算。

此外,作者利用上述数据集拟合了一个能够直接预测给定NAS结构的攻击效果的回归模型,进而可以快速分析修改NAS结构会对整个模型的MIA攻击效果产生的影响,并基于此量化了数据集中所有cell结构中每条边的拓扑结构以及运算会对MIA攻击效果造成的影响。作者设计了启发式算法分别对normal cell和reduction cell提取了对MIA攻击效果有促进和抑制作用的cell pattern,得到的完整cell pattern如下图所示。图中的序号表示优先级顺序,序号越小的边越优先被选取。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

从提取的cell pattern中,作者得出了一些重要发现。首先,对于normal cell上的cell pattern,不管是为了提升(promote)还是降低(demote)MIA攻击效果,都包含了较多的卷积运算,这也印证了前面的推断。然而,有所不同的是,用于提升MIA攻击效果的cell pattern中,更多的卷积运算与输入节点直接相连,而相反地,用于降低MIA攻击效果的cell pattern中,很少有卷积运算直接与输入节点直接相连。另外,对于reduction cell上的cell pattern,为了提升MIA攻击效果的cell pattern中包含较多的卷积运算,而为了降低MIA攻击效果的cell pattern中包含较多的池化操作,这也与之前的推断相符。

接下来作者对提取的cell pattern的效果进行了评估。在修改NAS结构时,作者先比对NAS结构与提取的normal cell或者reduction cell上的cell pattern的结构差异,如果有差异则用cell pattern中的对应边来替换,其余边则保留。实验中变化了cell pattern的边的限制条数(也即最多可以使用cell pattern中的几条边),得到的实验结果如下图所示,其中“None”表示未对原NAS结构进行任何修改,“Only-Reduction”表示仅依据reduction cell上的cell pattern进行修改,“Only-Normal”表示仅依据normal cell上的cell pattern进行修改,“Dual”则表示同时对NAS结构的normal cell和reduction cell依据对应cell pattern进行修改。从图中可以看出,提取的cell pattern在所有情况下都有效,且用于降低MIA攻击效果的cell pattern作用更为显著。此外,cell pattern能够使用的边数越多,cell pattern的作用也倾向于变大。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

与此同时,作者也分析了修改NAS结构对模型性能产生的影响,实验结果如下图所示。可以看出,模型性能受到的影响较小,在为降低MIA攻击效果而做的修改后,模型性能甚至得到了提升,这也是安全维护人员所期望的结果。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

此外,作者还对这些修改导致的NAS模型在训练集上的损失函数轮廓(loss contour)进行了分析,也探究了不同cell节点数目、不同NAS模型深度对cell pattern效果的影响。实验结果表明,深度越深的模型越倾向于对MIA有较高的鲁棒性,而宽度越大的模型越倾向于对MIA有较低的鲁棒性。另外,作者还将提取的cell pattern在不同攻击设置、不同数据集以及不同搜索空间上都进行了迁移性测试,实验结果表明,文中的cell pattern能够在绝大多数情况下达到预期效果,说明这些cell pattern具有较好的迁移性。

另一方面,已有的针对MIA的防御手段主要集中在隐藏模型预测置信度、正则化、差分隐私等,并没有从模型结构设计层面考虑提升模型对MIA的鲁棒性,因此,本文中的工作事实上可以与已有防御手段互补,共同提升防御效果。作者测试了几种在黑盒与白盒攻击设置下均可以使用的典型防御方法,将reduction cell上用于降低MIA攻击效果的cell pattern与之结合,在最强的白盒攻击设置下的实验结果如下图所示。

G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

可以看出,本文的用于降低MIA攻击效果的cell pattern可以进一步提升这些防御方法的防御效果,并且对模型性能具有较小的影响。此外,作者也测试了其他4种攻击设置下的迁移防御效果,实验结果与上图类似,进一步验证了文中cell pattern的有效性。

最后,基于文中的分析与实验结果,作者给出了几个提升NAS模型鲁棒性的建议:

  • 卷积运算对于模型性能有重要作用,但包含较多卷积运算可能会导致模型对MIA的鲁棒性降低。因此,实际中应使用合理数目的卷积运算以实现模型有效性和隐私保护的均衡。

  • 使用卷积运算时,避免直接与输入节点相连。

  • 如果确实需要更多卷积运算,参考上一条建议,并且推荐使用更深的网络结构。

  • 限制cell的宽度,在实际应用中可以通过限制NAS算法的中间节点的数目来实现。

论文链接:
https://arxiv.org/pdf/2209.01688.pdf
代码链接:
https://github.com/MiracleHH/nas_privacy


投稿作者介绍:
黄海 德国亥姆霍兹信息安全中心(CISPA)
德国亥姆霍兹信息安全中心在读博士生,主要研究方向为机器学习的安全与隐私,相关研究成果以论文的形式发表在国际安全顶级会议NDSS 2021与ACM CCS 2022上。


原文始发于微信公众号(安全研究GoSSIP):G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy

版权声明:admin 发表于 2022年11月29日 下午7:32。
转载请注明:G.O.S.S.I.P 阅读推荐 2022-11-29 NAS Privacy | CTF导航

相关文章

暂无评论

暂无评论...