人机对齐

如今的“机器学习”系统已具备非凡能力，能够在各种场合代替我们看和听，并代表我们做决定。但是警钟已经敲响。随着机器学习飞速发展，人们的担忧也在与日俱增。如果我们训练的人工智能（AI）做的事情与我们真正的目的不符，就会引发潜在的风险和伦理问题。研究人员称之为对齐问题（the alignment problem）。

畅销书作家布莱恩·克里斯汀用生动的笔调，清晰阐释了AI与我们息息相关的问题。在书中，我们将认识批积极应对对齐问题的学者，了解他们为了避免AI发展的局面失控，付出的卓绝努力和雄心勃勃的计划。克里斯汀不仅精练地描绘了机器学习的发展史，并且亲自深入科研一线同科学家对话，准确呈现了机器学习前沿的进展。读者可以清晰认识到，对齐问题研究的成败，将对人类的未来产生决定性影响。

对齐问题还是一面镜子，将人类自身的偏见和盲点暴露出来，让我们看清自己从未阐明的假设和经常自相矛盾的目标。这是一部精彩纷呈的跨学科史诗，不仅审视了人类的科技，也审视了人类的文化，时而让人沮丧，时而又柳暗花明。

如今的“机器学习”系统已具备非凡能力，能够在各种场合代替我们看和听，并代表我们做决定。但是警钟已经敲响。随着机器学习飞速发展，人们的担忧也在与日俱增。如果我们训练的人工智能（AI）做的事情与我们真正的目的不符，就会引发潜在的风险和伦理问题。研究人员称之为对齐问题（the alignment problem）。

畅销书作家布莱恩·克里斯汀用生动的笔调，清晰阐释了AI与我们息息相关的问题。在书中，我们将认识批积极应对对齐问题的学者，了解他们为了避免AI发展的局面失控，付出的卓绝努力和雄心勃勃的计划。克里斯汀不仅精练地描绘了机器学习的发展史，并且亲自深入科研一线同科学家对话，准确呈现了机器学习前沿的进展。读者可以清晰认识到，对齐问题研究的成败，将对人类的未来产生决定性影响。

对齐问题还是一面镜子，将人类自身的偏见和盲点暴露出来，让我们看清自己从未阐明的假设和经常自相矛盾的目标。这是一部精彩纷呈的跨学科史诗，不仅审视了人类的科技，也审视了人类的文化，时而让人沮丧，时而又柳暗花明。

布莱恩·克里斯汀（Brian Christian）畅销书作家，他的《算法之美》（Algorithms to Live By，与Tom Griffiths合著），入选了亚马逊年度z佳科学书籍和MIT技术评论年度z佳书籍；《人机大战》（The Most Human Human）广受好评，入选了《纽约时报》编辑选书，也是《纽约客》年度z受欢迎书籍。他的作品赢得了多个奖项，入选了《美国科学和自然写作》，被译成了19种语言。克里斯汀拥有布朗大学和华盛顿大学的计算机科学、哲学和诗歌学位，是加州大学伯克利分校的访问学者。

目录
篇序篇 
第二篇导言  
第三篇预警 
1.代表
2.公平
3.透明
第四篇自主
4.强化
5.塑造
6.好奇
第五篇示范
7.模仿
8.推断
9.不定
结语
致谢
注释

如今的“机器学习”系统已具备非凡能力，能够在各种场合代替我们看和听，并代表我们做决定。但是警钟已经敲响。随着机器学习飞速发展，人们的担忧也在与日俱增。如果我们训练的人工智能（AI）做的事情与我们真正的目的不符，就会引发潜在的风险和伦理问题。研究人员称之为对齐问题（the alignment problem）。

畅销书作家布莱恩·克里斯汀用生动的笔调，清晰阐释了AI与我们息息相关的问题。在书中，我们将认识批积极应对对齐问题的学者，了解他们为了避免AI发展的局面失控，付出的卓绝努力和雄心勃勃的计划。克里斯汀不仅精练地描绘了机器学习的发展史，并且亲自深入科研一线同科学家对话，准确呈现了机器学习前沿的进展。读者可以清晰认识到，对齐问题研究的成败，将对人类的未来产生决定性影响。

对齐问题还是一面镜子，将人类自身的偏见和盲点暴露出来，让我们看清自己从未阐明的假设和经常自相矛盾的目标。这是一部精彩纷呈的跨学科史诗，不仅审视了人类的科技，也审视了人类的文化，时而让人沮丧，时而又柳暗花明。

布莱恩·克里斯汀（Brian Christian）畅销书作家，他的《算法之美》（Algorithms to Live By，与Tom Griffiths合著），入选了亚马逊年度z佳科学书籍和MIT技术评论年度z佳书籍；《人机大战》（The Most Human Human）广受好评，入选了《纽约时报》编辑选书，也是《纽约客》年度z受欢迎书籍。他的作品赢得了多个奖项，入选了《美国科学和自然写作》，被译成了19种语言。克里斯汀拥有布朗大学和华盛顿大学的计算机科学、哲学和诗歌学位，是加州大学伯克利分校的访问学者。

2013年夏天，一篇平平常常的帖子出现在谷歌的开源博客上，标题是《学习词汇背后的含义》。帖子中说：“目前计算机还不太擅长理解人类语言，虽然离这个目标还有一段距离，但我们正在利用的机器学习和自然语言处理技术取得重大进展。”谷歌从纸媒和互联网获取了大量人类语言数据，比以前的数据集还大几千倍，将数据集输入一个受生物学启发的“神经网络”，并让系统寻找词语的相关性和联系。借助所谓的“无监督学习”，这个系统开始发现模式。例如，它注意到词语“北京”与“中国”的关系，同“莫斯科”与“俄罗斯”的关系一样，不管词语的意思是什么。能否说计算机“理解”了？这个问题只能让哲学家来回答，但是很显然系统已经抓住了它“阅读”的内容的某种本质。谷歌将这个系统命名为“word2vec”――意思是将词汇转换成数字向量――并将其开源。对数学家来说，向量有各种奇妙的性质，你可以像处理简单的数一样处理它们，进行加、减、乘运算。通过这种方式，研究人员很快发现了一些惊人的意想不到的东西。他们称之为“连续空间词汇表示中的语言规律”，对它的解释没有听起来那么难。word2vec把词汇变成了向量，这样你就能对词汇做数学运算。
例如，如果输入中国 河流，就会得到长江。输入巴黎 - 法国 意大利，就会得到罗马。
输入国王 - 男人 女人，就会得到女王。
结果很惊人。word2vec系统开始应用于谷歌的机器翻译和搜索引擎，业界也将其广泛应用于其他领域，例如招聘，它成了科学和工程界新一代数据驱动的语言学家的工具。
两年过去了，没有人意识到存在问题。

这是一本关于机器学习与人类价值观的书：关于不通过手工编程而是从数据中学习的系统，关于我们如何教它们，以及教什么。 
机器学习主要包括3个领域：无监督学习，机器被直接给予一堆数据，就像word2vec系统一样，目的是理解数据，找到模式、规律、有用的方式来提炼、 表示或可视化数据；监督学习，系统被给予一堆已分类或标记好的例子进行学习，比如假释犯是否再犯，然后用习得的模型对从未见过或尚不清楚基本事实的新例子进行预测；强化学习，系统被置于一个有奖惩的环境中，就像补能和危险并存的赛艇赛道，目的是找出小化惩罚和化奖励的方法。 
越来越多的人意识到，世界正逐渐以各种方式依赖于机器学习领域给出的数学和计算模型。这些或简单或复杂的模型――一些只能算是电子表格，另一些则可被称为AI――正逐步取代人类判断和更传统的显式编程的程序。 
这不仅发生在科技和商业领域，也发生在具有伦理和道德影响的领域。司法体系越来越广泛地使用“风险评估”软件来决定保释和假释。道路上的车辆越来越多地自动驾驶。我们的贷款申请、简历和体检结果逐渐不再由人类负责 评估。进入21世纪，越来越多的人都在致力于让世界――在象征意义上和字面意义上――自动驾驶。 
近年来，两个不同的群体敲响了警钟。个群体关注当前的技术伦理风险。如果面部识别系统对某个族群或性别特别不准确，或者如果有人被未经审核的统计模型判定不得保释，而法庭上的所有人――包括法官、律师和被告――都不理解，这就存在问题。这样的问题无法在传统的学科领域内解决，只能通过计算机科学家、社会学家、律师、政策专家和伦理学家的对话来解决。对话已经开始。 
还有一个群体担忧的则是未来的危险。随着我们的系统越来越能灵活、实时地做决策，无论是在虚拟还是现实世界都面临这种危险。毫无疑问，过去10年见证了AI和机器学习发展令人振奋但也突然令人担忧的进展。与此同时，一种无形的禁忌逐渐被打破，AI研究人员不再避讳讨论安全问题。事实上，过去5年，在这个领域，这种担忧已经从边缘变成了主流。 
虽然对于应优先考虑眼前的问题还是长远问题，目前还存在争议，但这两个群体在大目标上是一致的。随着机器学习系统越来越普遍和强大，我们会发现自己越来越经常地处于“魔法师学徒”的境地：我们召唤出一种力量，给它一组指令，希望它自主但又完全顺从，然后一旦我们意识到指令不准确或不完整，又手忙脚乱地阻止，以免用我们的智慧召唤出某种可怕的东西。 
如何防止这种灾难性的背离――如何确保这些模型捕捉到我们的规范和价值观，理解我们的意思或意图，重要的是，以我们想要的方式行事――已成为计算机科学领域核心、紧迫的问题之一。这个问题被称为对齐问题（the alignment problem）。 
随着研究前沿越来越接近开发出所谓的“通用”智能，现实世界的机器学习系统越来越多地介入个人和大众生活的道德伦理领域，对这一警告产生了一种突然的、充满活力的反应。一个多元化团体正在跨越传统的学科界限。非营利组织、智库和研究所纷纷积极参与。越来越多的工业界和学术界领袖开始大声疾呼，并相应地增加研究经费。代专攻机器学习伦理和安全领域的研究生已经入学。对齐问题的批应对者已到达现场。 
这本书是近100次正式采访和数百次非正式谈话的产物，历时4年，行程数万公里，来自这一年轻领域广阔前沿的研究者和思想家。我发现的是正在一片荒原上开拓的进程，既令人振奋，有时也令人恐惧。我原以为自己对这个故事很熟悉，结果却发现这个故事比我曾认为的更吸引人，更令人担心，也更充满希望。 
机器学习表面上是技术问题，但越来越多地涉及人类问题。人类、社会和公众难题正在变得技术化。技术难题正在变得人性化、社会化和公众化。事实证明，我们在让这些系统“以我们想要的方式行事”方面的成功和失败，为我们审视自我提供了一面真实的、启示性的镜子。 
这个故事由3个不同部分组成。部分探讨对齐问题的前沿：现有的系统已经与我们的根本意图不一致之处，以及在我们觉得有能力监督的系统中尝试掌控这些意图的复杂性。第二部分将重点转向强化学习，我们逐渐开始理解不仅能预测，而且能行动的系统；其中有一些经验可以帮助我们理解进化、人类动机和激励的微妙之处，对商业和育儿都有启发。第三部分将我们带到AI安全研究的前沿，我们将了解目前好的一些想法，如何将复杂的自动系统与过于微妙或复杂、无法明确的规范和价值观相结合。 
不管是好是坏，未来一个世纪的人类故事都很可能是建立并启动各种各样的智能系统。就像魔法师的学徒一样，我们会发现自己也只是在一个充斥着扫帚的世界里的众多自主体之一。 
我们到底该怎么教它们？教什么？