程序员的数学（3）（线性代数）

相信手捧本书的读者，对“线性代数”这个词一定不陌生。不管当你回想起这四个字时心里是什么滋味，我相信通过本书，你一定会对这门数学（同时可能也是你的工具）产生新的认识。

其实，译者在初学习线性代数的时候，也经历过一段曲折的过程。在没有问题导向的学习方式下，学习的过程既枯燥又效率低下。但是后来在数学专业课的学习过程中，无时无刻不在使用微积分和线性代数作为基本工具，经过这种“居高临下”的训练，才悟出线性代数的本质是什么。当时很多数学系的同学都有这样的感悟：“学过数值代数，才知道线性代数是多简单，多纯粹。”（本书就会带领大家快速进入数值代数领域！）工科的读者可能没有这样的经历，也就渐渐忘记了大一时学过的数学。然而，在信息科学、计算机科学的研究开发领域，向量、矩阵已经是“基本单位”了。如果你正因为“向量、矩阵”而在研究中放不开手脚，或者因为“数值算法的实现”而在工作中畏首畏尾，那么本书正是为你准备的。关于本书的内容和风格，这里就不多说了，请看后面的前言吧！

说起来，译者也是偶然与本书结缘的。在“脱离”数学系后，写了不少年的程序，直到译者赴日本继续数学学习和研究，无意间见到本书原版，这时才发现，原来可以通过这样的方式来讲解、学习线性代数。本书不仅直接从本质意义出发对所有核心概念都给予了直观的解释，还能带领读者“快速直达”数值代数领域！

同样也是机缘巧合，在发现图灵公司打算引进本书时，译者几乎是一瞬间就决定了要尝试翻译本书。在投身翻译工作之后，才意识到仅有数学、计算机知识以及日语阅读能力是远远不够的。因此，在翻译中可能会有表达不到位的情况出现，欢迎大家批评指正。这里也要特别感谢图灵的编辑在翻译过程中给予的帮助和支持。

正文中原作者多次提到了参考文献和扩展阅读书目，但是据译者所知，原书的参考文献目前都没有中译本。为此，译者在这里斗胆推荐一些中文的参考文献。

关于第2 章中提到的“张量”“外积”等概念，建议有兴趣的读者参考柯斯特利金的《代数学引论（第二卷）：线性代数》的第6 章“张量”。另外，对于在数学的抽象性和严密性上有较高要求的“数学派”的读者，特别推荐龚昇先生的《线性代数五讲》。这本很薄的小册子，从现代数学的观点（模理论）出发，对线性空间、线性变换进行了全新的诠释。由于龚先生书写得非常精炼，如果阅读起来感觉吃力的话，不妨看看戈德门特的《代数学教程》。通过我们这本书，读者可以对线性变换（包括坐标变换）有直观感受，而通过更高阶的阅读，则能从一般线性群等更抽象的角度去理解“变换”，这对从事信息科学、数据科学等研究工作的读者来说是颇有裨益的。从[1] 和[2] 中，读者也可以略微感受到老牌数学强国俄罗斯和法国的数学风格。如果不打算深究“纯数学”的话，读者可以在本书的基础上，根据自己的需要，参考《数值分析》《矩阵论》等教材。

后，由衷希望大家能从本书中有所收获，喜欢本书，并推荐给亲友。谢谢！

卢晓南

2015 年11 月于名古屋

第0章　动机　　1

0.1　空间想象给我们带来的直观感受　　1

0.2　有效利用线性近似的手段　　2

第1章　用空间的语言表达向量、矩阵和行列式　　5

1.1　向量与空间　　5

1.1.1　直接的定义：把数值罗列起来就是向量　　6

1.1.2　“空间”的形象　　9

1.1.3　基底　　11

1.1.4　构成基底的条件　　16

1.1.5　维数　　18

1.1.6　坐标　　19

1.2　矩阵和映射　　19

1.2.1　暂时的定义　　19

1.2.2　用矩阵来表达各种关系（1）　　24

1.2.3　矩阵就是映射！ 　　25

1.2.4　矩阵的乘积=映射的合成　　28

1.2.5　矩阵运算的性质　　31

1.2.6　矩阵的乘方=映射的迭代　　35

1.2.7　零矩阵、单位矩阵、对角矩阵　　37

1.2.8　逆矩阵=逆映射　　44

1.2.9　分块矩阵　　47

1.2.10　用矩阵表示各种关系（2）　　53

1.2.11　坐标变换与矩阵　　55

1.2.12　转置矩阵=??? 　　63

1.2.13　补充（1）：时刻注意矩阵规模　　64

1.2.14　补充（2）：从矩阵的元素的角度看　　67

1.3　行列式与扩大率　　68

1.3.1　行列式=体积扩大率　　68

1.3.2　行列式的性质　　73

1.3.3　行列式的计算方法（1）：计算公式▽　　80

1.3.4　行列式的计算方法（2）：笔算法▽　　87

1.3.5　补充：行列式按行（列）展开与逆矩阵▽　　91

第2章　秩、逆矩阵、线性方程组——溯因推理　　95

2.1　问题设定：逆问题　　95

2.2　良性问题（可逆矩阵） 　　97

2.2.1　可逆性与逆矩阵　　97

2.2.2　线性方程组的解法（系数矩阵可逆的情况）▽　　97

2.2.3　逆矩阵的计算方法▽ 　　107

2.2.4　初等变换▽ 　　110

2.3　恶性问题　　115

2.3.1　恶性问题示例　　115

2.3.2　问题的恶劣程度——核与像　　120

2.3.3　维数定理　　122

2.3.4　用式子表示“压缩扁平化”变换（线性无关、线性相关）　　126

2.3.5　线索的实际个数（秩） 　　130

2.3.6　秩的求解方法（1）——悉心观察　　137

2.3.7　秩的求解方法（2）——笔算　　142

2.4　良性恶性的判定（逆矩阵存在的条件）　　149

2.4.1　重点是“是不是压缩扁平化映射”　　149

2.4.2　与可逆性等价的条件　　150

2.4.3　关于可逆性的小结　　151

2.5　针对恶性问题的对策　　152

2.5.1　求出所有能求的结果（1）理论篇　　152

2.5.2　求出所有能求的结果（2）实践篇　　155

2.5.3　小二乘法　　166

2.6　现实中的恶性问题（接近奇异的矩阵）　　167

2.6.1　问题源于哪里　　167

2.6.2　对策示例——提克洛夫规范化　　170

第3章　计算机上的计算（1）——LU 分解　　173

3.1　引言　　173

3.1.1　切莫小看数值计算　　173

3.1.2　关于本书中的程序　　174

3.2　热身：加减乘运算　　174

3.3　LU分解　　176

3.3.1　定义　　176

3.3.2　分解能带来什么好处　　178

3.3.3　LU分解真的可以做到吗　　178

3.3.4　LU分解的运算量如何　　180

3.4　LU分解的步骤（1）一般情况　　182

3.5　利用LU分解求行列式值　　186

3.6　利用LU分解求解线性方程组　　187

3.7　利用LU分解求逆矩阵　　191

3.8　LU分解的步骤（2）意外发生的情况　　192

3.8.1　需要整理顺序的情况　　192

3.8.2　重新整理顺序也无济于事的状况　　196

第4章　特征值、对角化、Jordan标准型——判断是否有失控的危险　　197

4.1　问题的提出：稳定性　　197

4.2　一维的情况　　202

4.3　对角矩阵的情况　　203

4.4　可对角化的情况　　205

4.4.1　变量替换　　205

4.4.2　变量替换的求法　　213

4.4.3　从坐标变换的角度来解释　　215

4.4.4　从乘方的角度来解释　　219

4.4.5　结论：关键取决于特征值的值　　220

4.5　特征值、特征向量　　220

4.5.1　几何学意义　　220

4.5.2　特征值、特征向量的性质　　225

4.5.3　特征值的计算：特征方程　　232

4.5.4　特征向量的计算▽ 　　240

4.6　连续时间系统　　246

4.6.1　微分方程　　247

4.6.2　一阶情况　　250

4.6.3　对角矩阵的情况　　250

4.6.4　可对角化的情况　　252

4.6.5　结论：特征值（的实部）的符号是关键　　252

4.7　不可对角化的情况　　255

4.7.1　首先给出结论　　255

4.7.2　就算不能对角化——Jordan标准型　　256

4.7.3　Jordan标准型的性质　　257

4.7.4　利用Jordan标准型解决初始值问题（失控判定的终结论）　　264

4.7.5　化Jordan标准型的方法　　271

4.7.6　任何方阵均可化为Jordan标准型的证明　　279

第5章　计算机上的计算（2）——特征值算法　　299

5.1　概要　　299

5.1.1　和笔算的不同之处　　299

5.1.2　伽罗华理论　　300

5.1.3　5×5以上的矩阵的特征值不存在通用的求解步骤！　　302

5.1.4　有代表性的特征值数值算法　　303

5.2　Jacobi方法　　303

5.2.1　平面旋转　　304

5.2.2　通过平面旋转进行相似变换　　306

5.2.3　计算过程的优化　　309

5.3　幂法原理　　310

5.3.1　求值的特征值　　310

5.3.2　求值小的特征值　　311

5.3.3　QR分解　　312

5.3.4　求所有特征值　　316

5.4　QR方法　　318

5.4.1　QR方法的原理　　319

5.4.2　Hessenberg矩阵　　321

5.4.3　Householder方法　　322

5.4.4　Hessenberg矩阵的QR迭代　　325

5.4.5　原点位移、降阶　　327

5.4.6　对称矩阵的情况　　327

5.5　反幂法　　328

附录A　希腊字母表　　330

附录B　复数　　331

附录C　关于基底的补充说明　　336

附录D　微分方程的解法　　341

D.1　dx/dt = f(x) 型　　341

D.2　dx/dt = ax   g(t) 型　　342

附录E　内积、对称矩阵、正交矩阵　　346

E.1　内积空间　　346

E.1.1　模长　　346

E.1.2　正交　　347

E.1.3　内积　　347

E.1.4　标准正交基　　349

E.1.5　转置矩阵　　351

E.1.6　复内积空间　　351

E.2　对称矩阵与正交矩阵——实矩阵的情况　　352

E.3　埃尔米特矩阵与酉矩阵——复矩阵的情况　　353

附录F　动画演示程序的使用方法　　354

F.1　执行结果　　354

F.2　准备工作　　354

F.3　使用方法　　355

参考文献　　357