驯服算法 数字歧视与算法规制

中文版序

此时此刻，由于新冠病毒的迅速蔓延，世界各国正处于一场非同寻常、史无前*的全球卫生突发事件之中。随着整个欧洲死亡人数的持续上升，中国所采取的一系列防控机制似已成功遏制了该病毒的传播。在短短数周内，很多西欧国家也开始对公民流动自由施加非常严格和具有法律执行力的限制。此刻的我，正窝在英国的家中写着序言，截至此时，英国已历经一个多月的强制性封锁，而近新冠病毒死亡率的下降，似乎表明英国已过了疫情拐点。

据报道，中国政府为防控机制采取了诸多措施，其中包括健康码，即通过数字应用程序跟踪中国居民的流动轨迹，汇总相关数据后进行算法分析。其目的在于通过收集人群位置跟踪生成数据，以确定某个人是否可能与感染者接触、是否到过具有一定风险的区域或是否有过一定症状，据此生成三种颜色的健康码：绿色代表可自由通行，黄色代表具有一定风险，须进行一定天数(比如7天)的隔离，而红色则可能意味着需要集中隔离(14天)。尽管这些措施能否成功防止疫情再次暴发有待观察，但关于健康码如何采集数据、依据何种算法规则等方面却存在切实盲区。

彼时之下，英国民众心急火燎，迫切想知道还需封锁多久，什么时候可以放宽管制，政府会采取什么措施遏制疫情并防止其再次暴发。目前，英国政府还没有真正开始监控个人流动轨迹，但在封锁初期，已有一些移动通讯公司与英国政府沟通，讨论共享个人用户位置数据的可能性。人权组织对此表示抗议，担心这种侵犯隐私的措施在疫情结束后会趋于常态化。但英国政府刚刚宣布，国家医疗服务局(National Health Service)将很快推出一款数字应用程序，个人可以自愿下载，以便于追踪接触者。英国政府希望该应用程序有助于遏制疫情，进而为放松封锁、恢复自由和重启经济铺平道路。然而，包括民权组织在内的诸多评论人士群起攻之，认为该程序是对隐私的赤裸裸侵犯。以此看来，英国民众陷入两难境地，他们只能用一种对基本权利的严重干预换取另一种基本权利的保有：以对隐私权和数据权的干预置换一定的行动自由。随着“封锁疲劳”压力的日积月累，即便这一应用程序在减少病毒传播方面的有效性悬而未决，人们也很可能会心甘情愿地接受这一交易，以换得行动自由，尽管这可能意味着隐私和数据保护会具有较高的长期成本。

诚然，对隐私和数据保护的潜在威胁之担忧可能有一定道理。但如果通过算法规则对大规模数据进行连续、实时的收集和分析能够行之有效地控制疫情，那么公众也会认可这是一种合理的取舍和平衡。简而言之，使用接触者应用程序来控制疫情传播所带来的算法规制问题，既彰显了算法内生性潜在力量，也使其双刃性特征暴露无遗。因为算法既能造福全人类，也会对基本权利构成威胁。

目前来看，新冠病毒疫情何时结束、如何结束，可谓无人能知。但后疫情时代的世界将与之前截然不同，这可谓毋庸置疑。此次疫情已使得我们的生活发生了史无前*的变革，也引发全球范围内的政策应对，这在以前难以想象，至少对于西方国家而言，尤其如此。

本书在新冠病毒疫情暴发之前业已出版，因此，读者如以后疫情的视角阅读，可能会认为本书忽视了某些领域或视角。尽管如此，笔者仍然相信，本书各位作者所提供的见解仍具有相当重要的价值。毋庸置疑，算法规制的角色将会继续扩大和深化。如果算法终证明其在控制和减少新冠病毒传播方面能够发挥重要而宝贵的作用，则这些算法工具将会在政府部门和企业组织中更加炙手可热。但这种趋势究竟值得普天同庆还是不祥之兆，不无疑问。这也从另一侧面映射出本书的价值，即读者诸君可以在批判性阅读本书各章观点的基础上，进一步深化算法规制的相关研究。

很荣幸本书可以在中国出版，我要特别感谢林少伟和唐林垚承担此项翻译工作，使本书得以面向更多的读者。林少伟此前翻译过我两篇论文并在中国的期刊上发表，本书的翻译和出版将进一步加深我们之间的友谊和合作。

凯伦·杨

2020年4月30日

英国伯明翰

算法规制的目标无他：其一，警惕本来应当是中立的智能应用，被用来掩饰未取得“多数人同意”的少数人集权；其二，建立利益相关者对话和商谈的场域，避免法律沦为“技术寡头”的帮凶。本书从凯伦•杨“跳出‘数据道德’或‘AI道德’窠臼”以寻求“数据驱动机器时代正义、民主和自由”的主张开始，以李•拜格雷夫“将数据保护法的价值观贯彻进信息系统架构之中”的倡导结束，中间穿插着马丁•洛奇等学者对“风险导向监管路径”的反思与改进；这背后是“自然人正义观”与“算法正义观”从排斥到融合、“个人数据保护”与“技术公共利益”从对立到统一的艰苦历程。本书英文版虽出版于新冠疫情爆发之前，但作者们从不同角度对“算法规制”的路径探寻，无不包含着从“个人健康”促进“社会健康”的现实隐喻，以及人本主义“责有攸归”的道德哲学，对我国“国家治理体系和治理能力现代化”以及疫情常态化下慎终如始“科学防治、精准施策”的稳步推进有着深刻的启发和借鉴意义。

凯伦•杨：英国牛津大学法学博士，英国伯明翰大学法学院和计算机学院的跨学科教授，墨尔本大学法学院杰出访问研究员，欧盟人工智能高级别专家组成员、欧洲犯罪问题委员会（CDPC）人工智能和刑法专家工作组特别顾问。曾担任纳菲尔德生物伦理委员会基因组编辑和人类生殖工作组主席（2016-2018）、世界经济论坛全球未来生物技术理事会成员。出版有《法律、规制和技术牛津手册》《法律与规制简介》等著作，在《Modern Law Review》《Legal Studies》等发表多篇论文。

马丁•洛奇：伦敦政治经济学院教授，研究方向为政治学和公共政策，兼任风险和监管分析中心主任。

林少伟：西南政法大学民商法学院副教授，商法教研室副主任。英国爱丁堡大学法学博士、伦敦国王学院商法硕士、西南政法大学法学学士；重庆市青年拔尖人才计划入选者、霍英东教育基金奖获得者。

唐林垚：中国社会科学院法学研究所助理研究员、博士后。清华大学民商法博士、日本東北大学法政理论博士、美国哥伦比亚大学硕士；王保树优秀博士论文奖、国家优秀自费留学生奖学金获得者。

主编序/1

中文版序/1

章   算法规制：述略

1. 引言/1

2. 何为算法规制？/4

3. 是否有新发现？/6

4. 理解作为一种复杂“社会—技术”系统的算法规制/8

5. 本书的结构和内容/13

部分规范性问题

第二章   自动化决策，何忧之有？

1. 引言/21

2. 自动化决策系统之忧/23

3. 数据导向型预测和个性化信息服务/32

4. 应对之法：聚焦正义、权利、过错、危害/36

5. 结论/40

第三章  自动化决策及其对人类的影响

1. 引言/50

2. 自动化决策：科技/53

3. 刑事司法领域的机器学习/58

4. 结论/74

第四章  数字歧视

1. 引言/89

2. 数字歧视样例/94

3. 数据歧视解决方案之研究/96

4. 数字歧视未解之患/99

5. 结论/102

第五章   日常生活中算法外包的伦理

1. 引言/106

2. 了解算法工具/108

3. 算法工具会削弱自主性吗？/111

4. 但这一回有何不同？/119

5. 我们该如何应对？/123

6. 结论/125

第二部分公共部门应用

第六章   算法行政？公共管理与机器学习

1. 引言/133

2. 自动化系统/135

3. 增强系统/137

4. 算法社会化的学术讨论/139

5. 管理公共管理部门的机器学习应用/140

6. 结论/154

第七章   公共服务中算法规制的实际挑战

1. 引言/166

2. 数据在监管中的作用/168

3. 风险评估/170

4. 案例一：“智能监管”与护理质量委员会/176

5. 案例二：英国教育质量保证局的监管实践/179

6. 算法评定的必要条件/188

7. 结论/190

第八章    公共服务中算法规制的反思

1. 引言/198

2. 监管能力与算法规制/201

3. 用算法规范公共服务/205

4. 谁来监管算法？/214

5. 结论/216

第三部分管理算法系统

第九章   算法、规则和治理准备

1. 引言/225

2. 政府准备/228

3. 算法的危害和它们的治理挑战/232

4. 评估治理准备/236

5. 结论/239

第十章  法律从业者视角下的人工智能风险规制

1. 引言/250

2. 机器学习带来的法律挑战/251

3. 数据的作用/258

4. 人工智能风险规制：合同的进路/261

5. 促进合规的合同条款/264

6. 公司治理依赖自然人决策/267

7. 监管模型/268

8. 结论/273

第十一章  关注机器2.0时代：

欧盟《通用数据保护条例》和自动化决策

1. 引言/277

2. 关注机器1.0时代/278

3. 《通用数据保护条例》第22条/280

4. 复盘机器1.0时代/285

5. 驯服机器？/288

参考文献/298

立法索引/339

关键词索引/342

译后记/353

算法规制的目标无他：其一，警惕本来应当是中立的智能应用，被用来掩饰未取得“多数人同意”的少数人集权；其二，建立利益相关者对话和商谈的场域，避免法律沦为“技术寡头”的帮凶。本书从凯伦•杨“跳出‘数据道德’或‘AI道德’窠臼”以寻求“数据驱动机器时代正义、民主和自由”的主张开始，以李•拜格雷夫“将数据保护法的价值观贯彻进信息系统架构之中”的倡导结束，中间穿插着马丁•洛奇等学者对“风险导向监管路径”的反思与改进；这背后是“自然人正义观”与“算法正义观”从排斥到融合、“个人数据保护”与“技术公共利益”从对立到统一的艰苦历程。本书英文版虽出版于新冠疫情爆发之前，但作者们从不同角度对“算法规制”的路径探寻，无不包含着从“个人健康”促进“社会健康”的现实隐喻，以及人本主义“责有攸归”的道德哲学，对我国“国家治理体系和治理能力现代化”以及疫情常态化下慎终如始“科学防治、精准施策”的稳步推进有着深刻的启发和借鉴意义。

凯伦•杨：英国牛津大学法学博士，英国伯明翰大学法学院和计算机学院的跨学科教授，墨尔本大学法学院杰出访问研究员，欧盟人工智能高级别专家组成员、欧洲犯罪问题委员会（CDPC）人工智能和刑法专家工作组特别顾问。曾担任纳菲尔德生物伦理委员会基因组编辑和人类生殖工作组主席（2016-2018）、世界经济论坛全球未来生物技术理事会成员。出版有《法律、规制和技术牛津手册》《法律与规制简介》等著作，在《Modern Law Review》《Legal Studies》等发表多篇论文。

马丁•洛奇：伦敦政治经济学院教授，研究方向为政治学和公共政策，兼任风险和监管分析中心主任。

林少伟：西南政法大学民商法学院副教授，商法教研室副主任。英国爱丁堡大学法学博士、伦敦国王学院商法硕士、西南政法大学法学学士；重庆市青年拔尖人才计划入选者、霍英东教育基金奖获得者。

唐林垚：中国社会科学院法学研究所助理研究员、博士后。清华大学民商法博士、日本東北大学法政理论博士、美国哥伦比亚大学硕士；王保树优秀博士论文奖、国家优秀自费留学生奖学金获得者。