谁为机器人的行为负责？

主编序

一

无论生物学意义上的自然人类(以下简称人类)是否做好准备，人工智能时代正逐步走来，而这恰恰是由人类自身所引起。

初级的人工智能或许能为人类带来便捷，在我国，或许还能带来规则意识，甚至法治理念的真正普及。这是因为，人工智能的本质就是算法，任何算法必然建立在对某项事物认识的共性与常识之上。也正是在此意义上，人工智能能为人类服务，能代替自然人为人类服务。初级的人工智能，如果还没有深度学习能力，或者深度学习能力尚不充分，它就难以进行诸如自然人价值判断与情感判断的活动，比如包含爱的交流与体验，难以对疑难案件作出理性裁判，对案件的漏洞填补与价值补充等。在此意义上，人工智能产品还主要表现为人工智能物，仅在有限的意义上具有自然人的属性。但即便是初级的人工智能，在我国也具有非常重要的意义，主要表现为规则意识与诚信观念的建立。人工智能核心的“大脑”就是算法，算法本身便是规则。初级人工智能对人类的服务就是规则服务；而人类要接受人工智能的服务，就必须接受算法设定的各种规则。人工智能，尤其是结合网络运用的人工智能，会促使与提升自然人的规则意识，因为无论自然人在线下是否遵守规则，也无论规则在线下如何难以推行与实现，只要自然人接受线上服务，就必须遵守线上规则；无论自然人在线下如何不守信，他在线上也必须诚实，否则他就进入不了虚拟世界，便也无从获得特定人工智能的服务。在初级的人工智能时代，人类仍是核心，是世界的主宰，毕竟自然人仍是规则的制定者，是人工智能的服务对象。

而到了高级人工智能时代，即，当人工智能能够进入深度学习与感情交流，可以进行团体合作与共同行动时，换句话说，当人工智能可以改变甚至完全脱离自然人为其设计好的初始算法而创制新的算法时，那时的人工智能物便实实在在地变成了人工智能人。人工智能人如何改变自然社会，甚至如何引导与影响整个自然社会走向，已非自然人所能完全掌控与想象，恐怕也为人工智能人本身所不知。尤其是，当人工智能人可以在虚拟世界制定规则(创制新的算法)，而这种规则又必然会影响到自然世界时，那时自然世界的主宰到底是人工智能人，还是自然人，或许现在的我们(人类)已经难以给出确定答案。那时的人类在自然世界或虚拟世界中处于何种主体地位，现在的我们也不得而知。当人工智能人有了情感交流能力并具有生物生成功能后，在自然人与自然人、人工智能人与人工智能人以及自然人与人工智能人之间的多元关系中，谁来制定规则，为谁制定规则，谁是自然世界或者虚拟世界的主宰或规则主体，以及各种形态主体之间具体的生活样态如何等问题，可能都远远超出了我们当下的想象，或许那时的社会状态本身就不可想象！

正是为了认真面对这些问题，警惕与体味这些问题，以便未来更好地深入研究或应对这些问题，上海人民出版社曹培雷副总编辑、法律与社会读物编辑中心苏贻鸣总监、秦堃编辑等及本人一起探讨决定编译人工智能丛书，帮助我国读者了解既有的人工智能研究，并以此为切入口对人工智能进行深度了解与学习。我们筛选并翻译了国外有关人工智能研究的较有影响力的三部经典著作，推介给中国读者。这三部著作便是意大利学者乌戈·帕加罗所著的《谁为机器人的行为负责？》、美国律师约翰·弗兰克·韦弗所著的《机器人是人吗？》以及美国学者瑞恩·卡洛、迈克尔·弗鲁姆金和加拿大学者伊恩·克尔编辑的文集《人工智能与法律的对话》。

二

《谁为机器人的行为负责？》一书，由张卉林、王黎黎和笔者共同翻译。该书通篇都在试图回答一个问题：“谁来承担责任(Who Pays)”。作者建构了一种分析法律责任模型。他在刑法、合同法和侵权法的框架下讨论了27种假设情况，例如刑法中的机器人士兵、合同法中的外科手术机器人以及侵权法中的人工智能雇员等，目的是分析在不同的情况下设计者、生产者、使用者和机器人之间应当如何分配责任。作者还讨论了机器人对现代法学体系中的若干重要内容带来的挑战，比如刑法中的正义战争理论、合同法中的代理资格以及侵权法中的责任承担。上述问题的讨论建立在作者对法律责任和义务的概念的分析基础上，讨论法律基础是否会受到机器人技术的影响。后，作者讨论了“作为元技术的法律”，即如何通过法律实现对技术发展的控制。

《机器人是人吗？》一书由刘海安、徐铁英和向秦翻译。该书认为，人工智能可以达到如同与真人一样进行语音交流的程度，并自主学习知识和判断问题。作者讨论了人工智能的知识产权享有和责任承担问题。作者认为，面对人工智能承担法律责任，可以通过人工智能保险或储备基金支付赔偿费用。如何规范人工智能？作者以美国各州对自动驾驶汽车的相关立法为例，对未来人工智能统一立法作出合理预测：(1)当产品制造商、开发商和人类都没有过错时，不同体系的机构将会为涉及人工智能的事故受损者建立赔偿或补偿基金；(2)至少在初期，很多形式的人工智能产品的使用将被要求获得执照许可背书；(3)在初期，往往需要对人工智能进行人为监督，但是终，只有那些主要用于改善人类表现的人工智能才需要人为监督；(4)尽管初的立法将会经常把人类作为操作者(行为人)，即使这种标签不适用于人工智能的类型，但终立法会在以确定操作者责任为目的时变得更加细分；(5)立法将始终区分用于测试目的的人工智能和向消费者提供的人工智能；(6)立法将始终要求这样一个机制，允许人类脱离人工智能但很容易重新控制人工智能；(7)立法将始终要求在自动化技术失败时，人工智能产品能向周围的人发出警告；(9)对采集个人信息的担忧将会迫使法律要求披露人工智能运作时所收集的信息。

《人工智能与法律的对话》由陈吉栋、董惠敏和杭颖颖翻译。本书共分讨论起点、责任、社会和道德意义、执法和机器人战争5个部分，共14篇论文。其中，大部分是首次在“We Robot”这一跨学科会议上发布的论文。这些论文探讨了机器人的日益复杂化以及它们在各个领域的广泛部署，重新思考了它所带来的各种哲学和公共政策问题、与现有法律制度不兼容之处，以及因此可能引发的政策和法律上的变化。整本书为我们生动地展现了一场内容广泛、启发深远的对话，如本书第二部分有关机器人行为责任的讲述：F.帕特里克·哈伯德教授《精密机器人所致人身损害的风险分配》一文对普通法应对技术变革的能力提供了一种乐观的评估：“普通法系统包含了内部机制，能够为应对机器人化的世界作出必要的相对较小的变化”；而柯蒂斯·E.A.卡诺法官在《运用传统侵权法理论“迎接”机器人智能》一文中则提出了截然相反的观点：传统的过失和严格责任理论不足以应对真正自主性机器人的挑战。

需要说明的一点是，我们从2017年9月确定翻译书目，10月组建翻译团队，到12月后陆续落实版权并着手翻译，翻译时间可谓十分紧张。丛书译者多为高校或者研究机构的青年科研教学人员，需要克服繁重的教学和科研压力；加之，所译著作内容涉及法律、计算机和伦理等多元且交叉的学科知识，远远超出了多数译者所在的法学学科领域，翻译不当甚至错误恐在所难免，在此我们衷心恳请并接受各位读者、专家批评指正。

三

2017年7月中华人民共和国国务院发布《新一代人工智能发展规划》，强调建立保障人工智能健康发展的法律法规，妥善应对人工智能可能带来的挑战，形成适应人工智能发展的制度安排。《规划》为此要求“开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等”。但正如弗鲁姆金(Froomkin)指出的，也可能是本译丛三本书的作者们皆认可的：“(1)对于机器人和监管问题，现在还为时尚早；(2)技术问题远比律师想象的复杂，法律、伦理和哲学问题比工程师想象的更有争议(有时也更复杂)；(3)我们要彻底解决这些问题的办法就是扩大和深化我们跨学科的努力。让世界为机器人做好准备的同时，使机器人也为世界做好准备，这必须是一个团队项目——否则它可能会变得很糟糕。”由此揭示出，对于人工智能的探讨与研究，即便是对于人工智能的规范性研究，并非法学一个学科所能胜任。人工智能本身就是一个具有综合性、复杂性、前沿性的知识、智识与科学，它需要几乎所有的理工与人文社会科学学科进行交叉性研究，也需要研究者、实体技术者与产业者等各个领域的人配合与对话。法律人在人工智能的研究、开发、规则制定等各个环节中是不可缺少的一环，但也仅仅是一个环节，他只有加入人工智能的整体研究与发展中去，才会发挥更大的价值。我们期待这套译丛的出版有助于人工智能在法学及其他领域展开深入讨论，为跨学科的对话甚至团队合作提供一定程度的助益。

无论未来人工智能时代的社会生活样态如何，无论人工智能时代的社会主体如何多元，多元的主体依然会形成他们自己的存在哲学，也许依然需要他们自己的情感系统。无论未来的人工智能时代多么不可预测，问题的关键还是在于人类的自我与社会认知。就像苹果公司首席执行官蒂姆·库克(Tim Cook)在麻省理工学院(MIT)2017届毕业典礼演讲中指出的，“我并不担心人工智能能够像人一样思考，我更关心的是人们像计算机一样思考，没有价值观，没有同情心，没有对结果的敬畏之心。这就是为什么我们需要你们这样的毕业生，来帮助我们控制技术”。是的，我们或许不知未来的人工智能是否会产生包含同情与敬畏的情感，但我们能够确信的是，即便在人工智能时代，我们需要的依然是人类饱含同情与敬畏的“爱”！未来的人工智能时代无论是初级样态还是高级学习样态，能够让多元的主体存在并和谐相处的，能够把多元主体维系在一起的或许唯有“爱”。这个从古至今在自然世界难以找到确定含义的概念，在虚拟与现实共处的世界中更是难以获得其固定内涵，但我们知道并可以确信的是，如果没有“爱”，那么未来的人工智能时代就真的进入了一个混沌而混乱的世界！

上海交通大学凯原法学院2018年7月10日

主编序/1

前言/1

致谢/1

章导论/1

第二章法律、哲学和技术

一、 法律哲学与机器人/22

二、 责任原则/30

三、 代理和人工智能体的义务/38

四、 谁来承担责任？/44

第三章犯罪

一、 科幻情节/51

二、 思想状态和犯罪行为/54

三、 机器人和正义战争/57

四、 机器人打手(Picciotto Roboto)的现象论/68

五、 无法建立因果关系？/76

第四章合同

一、 契约、条款和风险/87

二、 人造医生/92

三、 机器人交易员/100

四、 现代机器人，古代奴隶/109

五、 无人载具革命/113

第五章侵权

一、 不良意图/126

二、 儿童、宠物及疏忽/129

三、 人工智能雇员和严格责任规则/137

四、 举证责任/142

第六章法律作为元技术

一、 机器人作为法人/158

二、 机器人作为严格代理人/172

三、 善恶之源/177

四、 复杂性的层级/180

第七章结论/189

参考文献/199

译后记/207