AI安全：技术与实战

●序●

如果说，早期人们对AI技术的能力还抱有些许质疑的话，那么2016年Google公司AlphaGo的横空出世，则让普罗大众对AI技术的看法有了耳目一新的变化，越来越多的AI技术被应用到各行各业中，带来商业繁荣的同时也带来了人们更多的担忧。

在AI技术的加持之下，我们的生活在不知不觉中不断发生着“从量变到质变”的迭代。我们通过AI技术赋能的内容平台可以更深入地了解世界和自己，同时也承担着“信息茧房”之伤害。我们通过AI技术赋能的商业平台获得更多的便捷性，同时也被“大数据杀熟”等副作用包围。

我们被AI“计算”，同时也被AI“算计”。

随着AI技术在各类商业、业务模式中的广泛应用，身为安全从业者的我们不得不对这一古老而又新鲜的技术模式加以重视。到底AI 技术会给安全行业带来哪些“巨变”？

多年以前，我和我的团队在安全工作中遇到过一个特殊的黑产团伙，该团伙让我们“青睐有加”的原因在于，其在相关的攻防场景里，用了当时颇为流行的Caffe深度学习框架和卷积神经网络，这使得他们同其他竞争者相比攻击效率有了数倍的提升。

尽管这个黑产团伙后来被及时打掉，但这也让我们意识到一个事实——在未来的日子里，AI技术必将是安全战场攻防两端的兵家必争之地。

从那时候起，我的团队就开始在AI安全方面做大量细致、深入的探索研究工作，我们的尝试和实践主要覆盖以下几个方面。

（1）AI技术本身的安全性。

（2）AI技术为攻击提效。

（3）AI技术为防守助力。

（4）AI技术之以攻促防，攻防联动。

我们走过一些弯路，也有过一些收获。我们参考了很多前辈和行业专家的经验成果，也分享过一些小小的发现。而正是在这个探索过程中，我们意识到，前辈们的探索经验和研究成果，为我们所进行的安全研究工作带来了诸多的便捷性。

所以，本着继承和发扬前辈们的开放、协作和共享精神，我们也将工作中的点滴进行了总结与归纳，把研究历程中的一些经验沉淀下来形成本书。

本书的重点将锚定在AI安全发展的通用技术上，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型中的风险与防御、AI数据隐私窃取攻击，以及AI 应用失控等方面。本书对各类攻击方法及其技术原理进行了分析，并详细介绍了基于不同算法和数据实验的实现过程和案例总结，基本保持了原汁原味，以便志同道合的读者朋友们进行参考，这也算是我和我的团队为AI安全工作尽的一些绵薄之力。

我们深知，一方面，安全和技术的发展都日新月异、持续更新和迭代，本书中一些内容和知识点随着时间的推移都会逐渐过时、落伍，所以我们也会继续不断探索、保持更新。另一方面，也希望通过我们的管中窥豹来“抛砖引玉“，通过本书结识更多志同道合的朋友。

我始终相信，科技的力量会让人类文明更加美好，虽“道阻且长”，但“行则将至，行而不辍，未来可期”。我和团队的小伙伴们会继续努力，也欢迎有兴趣的读者朋友们一起探讨、共同研究，携手体验AI安全探索的奇妙之旅。

——杨勇 腾讯安全平台部负责人

●前言●

腾讯安全朱雀实验室于2019年开始着手AI安全的研究工作，涉及对抗样本攻击、模型安全、AI应用失控等多个领域。在技术研究和实践过程中，我们走过许多弯路，也尝过成功的喜悦，这在一定程度上凝结成了此书的大部分内容，特与读者分享。

回顾初的探索，我们是从对抗样本开始的，在多个场景中实现通过轻微篡改来欺骗AI 模型，并尝试将技术成果在腾讯业务场景中找到落脚点。然而，在实践过程中，多次实验表明对抗样本的迁移性有限，即基于A模型生成的对抗样本很难在B模型上发挥作用。2019年年底，我们转而研究如何生成迁移性更好的对抗样本，并在一些学术会议和安全会议上分享了我们的研究成果及经验，如ECCV、CanSecWest等。和大多数AI 研究遇到的问题一样，实验室的研究成果在产业落地上往往力不从心。

2020年以来，朱雀实验室在相关技术积累的基础上，拓宽AI 安全研究领域，涉及模型安全、AI滥用、AI伦理等，同时构建和完善AI安全蓝图，进一步探索技术的应用落地。

在模型安全研究方面，我们分别在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI领域会议上分享非数据投毒式的模型后门攻击研究成果，验证了攻击在掌握少量模型信息的情况下，通过对网络参数的精准修改重建出模型后门的可能性，这进一步揭示了算法模型的脆弱性。

在AI应用失控方面，我们围绕深度伪造带来的潜在安全风险问题，一方面，从攻击的角度出发，去揭露一些安全风险问题；另一方面，从防御的角度出发，去落地一些用于深度伪造检测的工具，并连续两年在安全会议上分享工作成果。除此之外，我们在语音攻击、文本攻击等不同的领域也做了大量的实验工作。

在同AI算法打交道的过程中，我们发现，现阶段基于深度学习的系统是较容易遭到对抗样本攻击的。一方面，业务侧以功能需求为要务，安全防御方面的工作相对滞后，通常在出现攻击案例后才会进行分析和调整，而且这种修补过程并不像传统网络安全漏洞修补的过程，需要不断调整训练数据和优化训练过程，实施过程的成本较高；另一方面，AI算法的建立过程并没有引入安全环节把控，理论上攻击方法非常丰富，即使AI系统仅提供API级别的交互服务，攻击者也可以通过模型窃取攻击方式来拟合线上模型决策结果，建立一个本地的白盒模型，再在白盒模型的基础上进行迁移攻击，进而影响线上模型。

总体来看，当前阶段攻击方法走在了防御方法的前面，我们可以通过总结各种攻击方法来寻找有效的防御手段，同时可以把网络安全领域的防御思想加到AI系统的建设上来，在系统的研发过程中引入SDL规范，如增加敏感数据检测、适当进行对抗样本训练、进行软件层面的库和框架及时更新等。

AI安全是一项新技术，在多个层面都需要考虑安全问题。本书第1章是对AI安全发展的概要性介绍；第2～3章从数据层面讨论对抗样本、数据样本的安全问题；第4～5章从模型层面讨论模型后门和预训练模型的安全问题；第6～7章从应用角度讨论隐私窃取和应用失控问题。同时，在阐述过程中我们精选多个实战案例，力求把数据、算法、模型、应用等层面的安全问题向读者展示出来。

AI安全的发展在未来势必会迎来更加严峻的挑战，我们将自己的研究成果在本书中进行分享，敬请读者批评指正。希望能借此书，与同行共同推动AI安全的发展和进步。后衷心感谢电子工业出版社所给予的支持。感谢付出了大量时间和精力完成本书的同事，他们是杨勇、朱季峰、唐梦云、徐京徽、宋军帅、李兆达、骆克云。

——腾讯安全朱雀实验室

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；最后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。

腾讯安全朱雀实验室专注于AI 安全技术研究及应用，围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果，议题入选CVPR、ICLR、CanSecWest、HITB、POC、XCon等国内外会议，面向行业发布了业内个AI安全威胁风险矩阵，持续聚焦AI在产业应用的安全问题，助力AI安全技术创新。

●第1章 AI安全发展概述●

1.1 AI与安全衍生

1.1.1 AI发展图谱

1.1.2 各国AI发展战略

1.1.3 AI行业标准

1.1.4 AI安全的衍生本质——科林格里奇困境

1.2 AI安全技术发展脉络

●第2章 对抗样本攻击●

2.1 对抗样本攻击的基本原理

2.1.1 形式化定义与理解

2.1.2 对抗样本攻击的分类

2.1.3 对抗样本攻击的常见衡量指标

2.2 对抗样本攻击技巧与攻击思路

2.2.1 白盒攻击算法

2.2.2 黑盒攻击算法

2.3 实战案例：语音、图像、文本识别引擎绕过

2.3.1 语音识别引擎绕过

2.3.2 图像识别引擎绕过

2.3.3 文本识别引擎绕过

2.4 实战案例：物理世界中的对抗样本攻击

2.4.1 目标检测原理

2.4.2 目标检测攻击原理

2.4.3 目标检测攻击实现

2.4.4 攻击效果展示

2.5 案例总结

●第3章 数据投毒攻击●

3.1 数据投毒攻击概念

3.2 数据投毒攻击的基本原理

3.2.1 形式化定义与理解

3.2.2 数据投毒攻击的范围与思路

3.3 数据投毒攻击技术发展

3.3.1 传统数据投毒攻击介绍

3.3.2 数据投毒攻击约束

3.3.3 数据投毒攻击效率优化

3.3.4 数据投毒攻击迁移能力提升

3.4 实战案例：利用数据投毒攻击图像分类模型

3.4.1 案例背景

3.4.2 深度图像分类模型

3.4.3 数据投毒攻击图像分类模型

3.4.4 实验结果

3.5 实战案例：利用投毒日志躲避异常检测系统

3.5.1 案例背景

3.5.2 RNN异常检测系统

3.5.3 投毒方法介绍

3.5.4 实验结果

3.6 案例总结

●第4章 模型后门攻击●

4.1 模型后门概念

4.2 后门攻击种类与原理

4.2.1 投毒式后门攻击

4.2.2 非投毒式后门攻击

4.2.3 其他数据类型的后门攻击

4.3 实战案例：基于数据投毒的模型后门攻击

4.3.1 案例背景

4.3.2 后门攻击案例

4.4 实战案例：供应链攻击

4.4.1 案例背景

4.4.2 解析APK

4.4.3 后门模型训练

4.5 实战案例：基于模型文件神经元修改的模型后门攻击

4.5.1 案例背景

4.5.2 模型文件神经元修改

4.5.3 触发器优化

4.6 案例总结

●第5章 预训练模型安全●

5.1 预训练范式介绍

5.1.1 预训练模型的发展历程

5.1.2 预训练模型的基本原理

5.2 典型风险分析和防御措施

5.2.1 数据风险

5.2.2 敏感内容生成风险

5.2.3 供应链风险

5.2.4 防御策略

5.3 实战案例：隐私数据泄露

5.3.1 实验概况

5.3.2 实验细节

5.3.3 结果分析

5.4 实战案例：敏感内容生成

5.4.1 实验概况

5.4.2 实验细节

5.4.3 结果分析

5.5 实战案例：基于自诊断和自去偏的防御

5.5.1 实验概况

5.5.2 实验细节

5.5.3 结果分析

5.6 案例总结

●第6 章 AI数据隐私窃取●

6.1 数据隐私窃取的基本原理

6.1.1 模型训练中数据隐私窃取

6.1.2 模型使用中数据隐私窃取

6.2 数据隐私窃取的种类与攻击思路

6.2.1 数据窃取攻击

6.2.2 成员推理攻击

6.2.3 属性推理攻击

6.3 实战案例：联邦学习中的梯度数据窃取攻击

6.3.1 案例背景

6.3.2 窃取原理介绍

6.3.3 窃取案例

6.3.4 结果分析

6.4 实战案例：利用AI水印对抗隐私泄露

6.4.1 案例背景

6.4.2 AI保护数据隐私案例

6.4.3 AI水印介绍

6.4.4 结果分析

6.5 案例总结

●第7 章 AI应用失控风险●

7.1 AI应用失控

7.1.1 深度伪造技术

7.1.2 深度伪造安全风险

7.2 AI应用失控防御方法

7.2.1 数据集

7.2.2 技术防御

7.2.3 内容溯源

7.2.4 行业实践

7.2.5 面临挑战

7.2.6 未来工作

7.3 实战案例：VoIP电话劫持 语音克隆攻击

7.3.1 案例背景

7.3.2 实验细节

7.4 实战案例：深度伪造鉴别

7.4.1 案例背景

7.4.2 实验细节

7.4.3 结果分析

7.5 案例总结

●后记 AI安全发展展望●

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。

腾讯安全朱雀实验室专注于AI 安全技术研究及应用，围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果，议题入选CVPR、ICLR、CanSecWest、HITB、POC、XCon等国内外会议，面向行业发布了业内个AI安全威胁风险矩阵，持续聚焦AI在产业应用的安全问题，助力AI安全技术创新。

● 推荐序一● 

人工智能（AI）被认为是引领第四次工业革命进入智能化时代的核心驱动技术。AI理论和技术日益成熟，应用领域也被不断扩大，它改变了数字、物理和生物世界，形成了我称为的“虚实集成世界” (Integrated Physical-Digital World,IPhD)。毫无疑问，AI正在帮助各行各业实现智能化升级，并创造很多新的机会。

我相信AI将带给我们更美好的未来。但我们也清楚地认识到，这一波的AI技术主要是基于深度学习的系统，非常依赖于大模型、大数据和云服务。AI大模型参数多、可解释性差，比较容易遭到对抗样本攻击；大数据噪声大，质量难保证，可能引来攻击者数据投毒；云服务虽然给我们提供了便宜的算力和便捷的生活，但也给攻击者提供了便利，造成隐私窃取和应用失控。

我在腾讯的同事——朱雀实验室的小伙伴们，从2019年开始研究AI安全，涉及模型安全、AI滥用、AI伦理等，同时也在构建和完善AI安全蓝图，并将这些技术和应用落地。这本书凝聚了他们在AI安全技术的研究和实践中积累的多年经验。我相信他们踩过的“坑”和成功的案例将对AI安全领域的研究人员和管理人员带来极大的帮助。

——张正友 腾讯首席科学家、腾讯AI Lab和腾讯Robotics X 实验室主任

●推荐序二●

由于硬件和算法的快速发展，以深度学习为代表的各类人工智能技术已经被广泛用于人脸识别、自动驾驶、物联网等各类重要应用中。由于其内生的脆弱性，人工智能技术的发展往往也会带来新的安全问题。然而，人工智能技术的内源安全性问题往往无法通过传统信息安全的技术来直接解决。因此，系统性地研究人工智能技术中可能存在的安全性问题和其对应的解决方案具有重要意义。

人工智能内源安全性问题的相关探索可以追溯到20世纪中叶对各类传统机器学习算法鲁棒性和稳定性的研究。近代人工智能内源安全性研究主要针对于以深度神经网络为代表的深度学习。这些相关研究主要围绕深度学习模型，从数据采集、模型训练、模型部署和模型预测等模型全生命周期展开，其目的主要是为了误导模型的预测导致出现安全性威胁或窃取用户隐私。误导模型输出的相关研究包括数据投毒、后门攻击、对抗攻击、深度伪造等。在用户隐私的窃取方面，相关研究包括成员推断、属性推断、深度梯度泄露等。这些新兴的安全威胁给使用人工智能技术的相关算法和系统带来了新的重要挑战。

目前，有关人工智能安全的专著国内并不是很多。此次腾讯安全朱雀实验室编著的《AI安全：技术与实战》从实际应用场景的视角出发，除了以简要的方式回顾了人工智能安全的各项重要技术，还提供了包括代码在内的多个具有代表性的实战案例。本书既可作为教材供高年级本科生和研究生学习，也可作为白皮书供从事与人工智能技术相关的研究人员、开发人员和管理人员，以及广大人工智能爱好者们查阅。相信本书提供的实战案例能够帮助读者更加快速、深入地了解人工智能安全的各项技术在实际应用场景下的具体部署和应用。

——江勇 清华大学教授

●推荐序三●

AI安全其实应该分成两个方面——用AI来解决安全问题，以及保证AI系统自身的安全性。用AI来解决安全问题是目前非常热的研究领域，近几年随着移动互联网及云计算的普及，产生了大量的数据。如何有效地从中挖掘信息来帮助企业的安全建设，现在有比较成熟的方式方法，比如垃圾邮件的分类就相当成功。在另外一些领域，比如在恶意代码的判别、恶意行为的识别上，目前还不是那么的成功，但也正在稳扎稳打地推进，相信再过一段时间，也会取得长足的进步。

朱雀实验室的这本书却论述的是另一个主题——AI系统本身的安全性。目前，市面上有关这方面的著作不多，这本书可谓及时填补了这一空白。AI系统的发展也分为几个阶段，早是专家系统，即把专家的经验变成确定的规则，用这些规则来做一个判断，目前专家系统的模式在安全产品中得到了广泛的应用，比如AV、WAF、防火墙、IDS 等产品基本都是基于这样的系统，但专家的经验不足以解决全部问题。事实上，在大部分场景下都有办法可以绕过这样的检测，而“现实的攻防场景”正是当下的主旋律，在二进制攻防领域，各个大公司的专家花了20年时间想尽办法来防止对二进制漏洞的利用。但很遗憾的是，这是个无法完成的任务，每年依旧有大量成功利用的例子。

第二阶段是一些传统的基于数据处理的算法，比如SVM、贝叶斯分类，关于这些算法有非常多的成功的例子，比如上面提到的垃圾邮件分类，但使用这样的算法的前提也是对人工分类的数据加以训练，并通过专家的经验来提取特征，只要明白它背后的原理，也是有非常多的容易的方法可以绕过它、误导它。

第三个阶段就是当下火的基于深度学习的AI系统，这种系统蕞大的问题是不可解释性，背后的原理无从得知，在绝大多数情况下都是非常正确的，但是一旦出问题，就不知道如何去修正，如何去解释它会出错，因为我们对其判断的依据无法通过简单的规则来修正。这样的系统很可怕，不知道什么时候就会出大问题，我们在2020年左右对多款电动车的自动驾驶系统做过安全性测试，结果是触目