这就是ChatGPT

ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。它能够自动生成一些表面上看起来像人类写的文字，这是一件很厉害且出乎大家意料的事。那么，它是如何做到的呢？又为何能做到呢？本书会大致介绍ChatGPT的内部机制，然后探讨一下为什么它能很好地生成我们认为有意义的文本。

斯蒂芬·沃尔弗拉姆（Stephen Wolfram）
计算机科学家、数学家和理论物理学家，当今科学和技术领域重要的革新者之一。他创造了在世界备受推崇的软件系统——Mathematica、Wolfram|Alpha和Wolfram语言。35年来，他一直担任科技公司Wolfram Research的首席执行官，并取得了基础科学领域的一系列突破性进展，包括最近的Wolfram物理项目（Physics Project）。著有热销书《一种新科学》《这就是ChatGPT》《计算探索者之旅》《创想者》等。

第 一篇
ChatGPT 在做什么？它为何能做到这些？ 1
它只是一次添加一个词 3
概率从何而来 10
什么是模型 16
类人任务（human-like task）的模型 19
神经网络 22
机器学习和神经网络的训练 35
神经网络训练的实践和学问 42
“足够大的神经网络当然无所不能！” 51
“嵌入”的概念 56
ChatGPT 的内部原理 64
ChatGPT 的训练 75
在基础训练之外 79
真正让ChatGPT 发挥作用的是什么 82
意义空间和语义运动定律 89
语义语法和计算语言的力量 96
那么，ChatGPT 到底在做什么？它为什么能做到这些？ 102
致谢 105
第二篇
利用Wolfram|Alpha 为ChatGPT 赋予计算知识超能力 107
ChatGPT 和Wolfram|Alpha 109
一个简单的例子 111
再举几个例子 115
前方的路 129
相关资源 134

ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。它能够自动生成一些表面上看起来像人类写的文字，这是一件很厉害且出乎大家意料的事。那么，它是如何做到的呢？又为何能做到呢？本书会大致介绍ChatGPT的内部机制，然后探讨一下为什么它能很好地生成我们认为有意义的文本。

斯蒂芬·沃尔弗拉姆（Stephen Wolfram）
计算机科学家、数学家和理论物理学家，当今科学和技术领域重要的革新者之一。他创造了在世界备受推崇的软件系统——Mathematica、Wolfram|Alpha和Wolfram语言。35年来，他一直担任科技公司Wolfram Research的首席执行官，并取得了基础科学领域的一系列突破性进展，包括最近的Wolfram物理项目（Physics Project）。著有热销书《一种新科学》《这就是ChatGPT》《计算探索者之旅》《创想者》等。

这是我见过的对ChatGPT原理best解释。
——Sam Altman，OpenAI CEO，ChatGPT之父

读过这本书之后，我认为它堪称精湛之作。大语言模型擅长给出听起来像是答案的答案，但这与真正的答案不同。
——Rodney Brooks，世界AI学者，机器人界的巨擘，MIT教授，美国工程院院士

从原理上知道ChatGPT和大语言模型的“能”与“不能”，才能正确把握这波科技浪潮的红利和机遇。而Stephen Wolfram