【假一罚四】AI安全：技术与实战腾讯安全朱雀实验室

●序●

如果说，早期人们对AI技术的能力还抱有些许质疑的话，那么2016年Google公司AlphaGo的横空出世，则让普罗大众对AI技术的看法有了耳目一新的变化，越来越多的AI技术被应用到各行各业中，带来商业繁荣的同时也带来了人们更多的担忧。

在AI技术的加持之下，我们的生活在不知不觉中不断发生着“从量变到质变”的迭代。我们通过AI技术赋能的内容平台可以更深入地了解世界和自己，同时也承担着“信息茧房”之伤害。我们通过AI技术赋能的商业平台获得更多的便捷性，同时也被“大数据杀熟”等副作用包围。

我们被AI“计算”，同时也被AI“算计”。

随着AI技术在各类商业、业务模式中的广泛应用，身为安全从业者的我们不得不对这一古老而又新鲜的技术模式加以重视。到底AI 技术会给安全行业带来哪些“巨变”？

多年以前，我和我的团队在安全工作中遇到过一个特殊的黑产团伙，该团伙让我们“青睐有加”的原因在于，其在相关的攻防场景里，用了当时颇为流行的Caffe深度学习框架和卷积神经网络，这使得他们同其他竞争者相比攻击效率有了数倍的提升。

尽管这个黑产团伙后来被及时打掉，但这也让我们意识到一个事实——在未来的日子里，AI技术必将是安全战场攻防两端的兵家必争之地。

从那时候起，我的团队就开始在AI安全方面做大量细致、深入的探索研究工作，我们的尝试和实践主要覆盖以下几个方面。

（1）AI技术本身的安全性。

（2）AI技术为攻击提效。

（3）AI技术为防守助力。

（4）AI技术之以攻促防，攻防联动。

我们走过一些弯路，也有过一些收获。我们参考了很多前辈和行业专家的经验成果，也分享过一些小小的发现。而正是在这个探索过程中，我们意识到，前辈们的探索经验和研究成果，为我们所进行的安全研究工作带来了诸多的便捷性。

所以，本着继承和发扬前辈们的开放、协作和共享精神，我们也将工作中的点滴进行了总结与归纳，把研究历程中的一些经验沉淀下来形成本书。

本书的重点将锚定在AI安全发展的通用技术上，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型中的风险与防御、AI数据隐私窃取攻击，以及AI 应用失控等方面。本书对各类攻击方法及其技术原理进行了分析，并详细介绍了基于不同算法和数据实验的实现过程和案例总结，基本保持了原汁原味，以便志同道合的读者朋友们进行参考，这也算是我和我的团队为AI安全工作尽的一些绵薄之力。

我们深知，一方面，安全和技术的发展都日新月异、持续更新和迭代，本书中一些内容和知识点随着时间的推移都会逐渐过时、落伍，所以我们也会继续不断探索、保持更新。另一方面，也希望通过我们的管中窥豹来“抛砖引玉“，通过本书结识更多志同道合的朋友。

我始终相信，科技的力量会让人类文明更加美好，虽“道阻且长”，但“行则将至，行而不辍，未来可期”。我和团队的小伙伴们会继续努力，也欢迎有兴趣的读者朋友们一起探讨、共同研究，携手体验AI安全探索的奇妙之旅。

——杨勇 腾讯安全平台部负责人

腾讯安全朱雀实验室于2019年开始着手AI安全的研究工作，涉及对抗样本攻击、模型安全、AI应用失控等多个领域。在技术研究和实践过程中，我们走过许多弯路，也尝过成功的喜悦，这在一定程度上凝结成了此书的大部分内容，特与读者分享。

回顾最初的探索，我们是从对抗样本开始的，在多个场景中实现通过轻微篡改来欺骗AI 模型，并尝试将技术成果在腾讯业务场景中找到落脚点。然而，在实践过程中，多次实验表明对抗样本的迁移性有限，即基于A模型生成的对抗样本很难在B模型上发挥作用。2019年年底，我们转而研究如何生成迁移性更好的对抗样本，并在一些学术会议和安全会议上分享了我们的研究成果及经验，如ECCV、CanSecWest等。和大多数AI 研究遇到的问题一样，实验室的研究成果在产业落地上往往力不从心。

2020年以来，朱雀实验室在相关技术积累的基础上，拓宽AI 安全研究领域，涉及模型安全、AI滥用、AI伦理等，同时构建和完善AI安全蓝图，进一步探索技术的应用落地。

在模型安全研究方面，我们分别在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI领域会议上分享非数据投毒式的模型后门攻击研究成果，验证了攻击在掌握少量模型信息的情况下，通过对网络参数的精准修改重建出模型后门的可能性，这进一步揭示了算法模型的脆弱性。

在AI应用失控方面，我们围绕深度伪造带来的潜在安全风险问题，一方面，从攻击的角度出发，去揭露一些安全风险问题；另一方面，从防御的角度出发，去落地一些用于深度伪造检测的工具，并连续两年在安全会议上分享工作成果。除此之外，我们在语音攻击、文本攻击等不同的领域也做了大量的实验工作。

在同AI算法打交道的过程中，我们发现，现阶段基于深度学习的系统是较容易遭到对抗样本攻击的。一方面，业务侧以功能需求为第一要务，安全防御方面的工作相对滞后，通常在出现攻击案例后才会进行分析和调整，而且这种修补过程并不像传统网络安全漏洞修补的过程，需要不断调整训练数据和优化训练过程，实施过程的成本较高；另一方面，AI算法的建立过程并没有引入安全环节把控，理论上攻击方法非常丰富，即使AI系统仅提供API级别的交互服务，攻击者也可以通过模型窃取攻击方式来拟合线上模型决策结果，建立一个本地的白盒模型，再在白盒模型的基础上进行迁移攻击，进而影响线上模型。

总体来看，当前阶段攻击方法走在了防御方法的前面，我们可以通过总结各种攻击方法来寻找有效的防御手段，同时可以把网络安全领域的防御思想加到AI系统的建设上来，在系统的研发过程中引入SDL规范，如增加敏感数据检测、适当进行对抗样本训练、进行软件层面的库和框架及时更新等。

AI安全是一项新技术，在多个层面都需要考虑安全问题。本书第1章是对AI安全发展的概要性介绍；第2～3章从数据层面讨论对抗样本、数据样本的安全问题；第4～5章从模型层面讨论模型后门和预训练模型的安全问题；第6～7章从应用角度讨论隐私窃取和应用失控问题。同时，在阐述过程中我们精选多个实战案例，力求把数据、算法、模型、应用等层面的安全问题向读者展示出来。

AI安全的发展在未来势必会迎来更加严峻的挑战，我们将自己的研究成果在本书中进行分享，敬请读者批评指正。希望能借此书，与同行共同推动AI安全的发展和进步。最后衷心感谢电子工业出版社所给予的支持。感谢付出了大量时间和精力完成本书的同事，他们是杨勇、朱季峰、唐梦云、徐京徽、宋军帅、李兆达、骆克云。

——腾讯安全朱雀实验室

● 第3章 数据投毒攻击●

近些年，随着深度学习技术进一步发展与应用，深度学习模型的脆弱性被众多领域专业人员发现并指出。对抗样本相关技术即体现模型脆弱性一个十分重要的方面。不同于对抗样本攻击，数据投毒攻击是另一种通过污染模型训练阶段数据来实现攻击目的的手段，其利用深度学习模型数据驱动（Data-driven）的训练机制，通过构造特定的样本数据影响模型训练，从而实现部分控制模型表现的能力。考虑到众多AI 产品都存在广泛的数据收集入口，因此数据投毒攻击同样为深度学习模型在工业产品中的应用带来了巨大的隐患。

本章首先对数据投毒攻击原理进行介绍，然后对其技术发展进行较为系统的总结，最后通过在图像分类和异常检测任务中进行的投毒实战案例帮助大家进一步理解数据投毒攻击的潜在影响与危害。

很早之前人们就已经发现了数据的魅力，很多成功的工业产品都使用基于数据分析获得的专家经验策略或基于数据训练的算法系统来为人们提供更好的服务，其中数据起着十分核心的作用。例如，20 世纪90 年代在美国超市中发生的“啤酒与尿布”的故事。超市管理人员在进行数据分析时发现，“啤酒”与“尿布”两个看似毫不相关的产品总是会出现在不同人的同一笔订单中。后续调查发现，美国有孩子的家庭往往是年轻父亲出门购买孩子用品的，而在购买“尿布”的同时，他们往往会为自己购买一些“啤酒”。基于这个发现，超市尝试将“啤酒”与“尿布”安排在较近的位置，从而为用户提供了更好的购物体验，也提升了超市销售量。类似地，在异常检测领域，有专家通过对数据进行分析，设计不同规则（或算法）来辅助异常检测。

近些年，随着深度学习技术的发展，深度学习模型对不同对象，包括图像、文本等，都有了更强的学习表达能力。基于大量数据，我们可以训练更好的模型为人们生活提供更加智能的服务。这类基于数据进行经验总结或模型学习的方法被统称为数据驱动的方法。基于海量的数据，虽然开发者可以使用数据分析或深度学习技术构建众多高价值的应用，但数据驱动的机制同时为它们埋下了巨大的安全隐患，尤其对于深度学习模型，复杂与不可解释的网络结构使得深度学习模型很容易受到投毒数据攻击的影响，产生无意义或有针对性的结果。这里以图3.1 中展示的4 个场景为例，分别给出不同场景下的数据投毒攻击示例，来帮助读者理解数据投毒攻击的影响与危害。

电商平台中往往存在海量商品，快速展示用户感兴趣并与搜索目标匹配的商品是提升用户好感度、提升平台竞争力的关键。为了实现上述目标，以平台用户历史行为记录数据为基础，研究人员提出了许多不同思想的推荐算法来匹配用户的个人偏好与兴趣。在信息爆炸的今天，这些算法起着越来越重要的作用。然而这类电商平台，早在20 世纪末其产业化的初始阶段，就饱受数据投毒攻击的困扰。

电商领域黑产人员通过“猫池”“雇人刷单”等形式在平台低成本地批量产生虚假数据，影响平台推荐算法的结果。近些年，基于深度学习发展出了更多优秀的推荐算法，可以为平台提供更精准的推荐服务，但同时因为深度学习模型的脆弱性，平台面临着更严重的数据投毒威胁。异常检测同样依赖历史数据进行数据分析或模型构建来实现对样本的区别与分类，包括虚假新闻检测、垃圾邮件检测等。典型的方法包括但不限于基于规则的标签传播方法、基于神经网络的方法等，这类方法同样面临数据投毒攻击的危险。以垃圾邮件检测为例，攻击者构造部分垃圾邮件并通过邮件服务商开放入口将部分垃圾邮件标注为正常，从而影响垃圾邮件检测模型的训练过程，使模型预测结果发生偏移。在后续的服务中，躲避检测的垃圾邮件就可以成功进入其他用户的收件箱。

图像领域以CNN 为基础，发展出了很多不同的经典网络结构，包括AlexNet①、VGGNet②、GoogleNet③、ResNet④等。AlexNet 在2012 年的ImageNet 图像分类比赛中刷新了识别率，是第一个真正意义上的深度学习网络，其提出的卷积和池化堆叠的网络结构获得了当时最优的效果。然而对于这类复杂的深度学习模型，研究人员提出通过在模型训练中注入一些特定的污染数据样本，可以很容易地实现一些预定义的攻击目标。以人脸识别场景为例，通过特定的数据样本注入可以实现“人脸隐蔽”“人员误判”等。“人脸隐蔽”即躲避人脸识别系统检测，使目标人员在检测系统中消失。“人员误判”即人脸识别系统将目标人员识别为预先指定的某位人员。这些“漏洞”为图像领域中深度学习模型的应用埋下了巨大的安全隐患，外部攻击者可能会通过此类“漏洞”成功进入有人脸识别安防系统的重要场地。

人机对话系统（自然语言处理子任务）得益于RNN 与注意力机制等深度学习技术的发展，近些年性能得到了很大的提升，在智能客服、智能家居等不同场景中得到了十分广泛的应用。基于深度学习，人机对话系统可以轻松学习并抽取高层次的语言特征。针对这类系统，有攻击者尝试通过数据投毒攻击影响对话效果。例如，攻击者通过数据投毒攻击使得人机对话系统在服务时，面对不同用户的不同问题全部回答“不知道”；更有针对性地，攻击者通过数据投毒攻击可以实现令人机对话系统主动返回一些“种族歧视”言论的效果。这会使得人机对话系统的服务质量严重下降，同时可能会造成十分不好的社会影响。

总的来说，数据投毒攻击是一种通过控制模型训练数据来主动创造模型漏洞的技术。深度学习技术复杂且难以解释，在带来性能提升的同时，其数据驱动的训练机制为不同领域产品埋下了巨大的安全隐患，一旦被有心者利用，可能会产生巨大的经济损失与社会影响。

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；最后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。