应用数理统计与随机过程

前    言
应用数理统计与随机过程是理工科相关专业研究生的一门重要基础课程，它的理论和方法在科学研究与工程实际中有着广泛的应用. 本书按照“工程数学回归工程”的基本宗旨，在参考国内外大量优秀的研究生教材和多年课程教学改革与实践的基础上编写而成，其内容符合理工科研究生数学课程教学的基本要求.
在现有的理工类的研究生教材中，不乏《应用数理统计》和《应用随机过程》的优秀教材. 这些教材通常首先对相关概率论的知识进行介绍，然后集中讲述数理统计或随机过程. 无论是《应用数理统计》教材还是《应用随机过程》教材，由于关注的问题相对集中，因此讲述的问题都比较全面、深入，并不时融入课程的研究成果. 然而正因为如此，教材往往忽略了对数理统计和随机过程中基本的概念与方法的讲解，使得读者在学习过程中感觉吃力且抓不住重点. 另外，在国内现有的研究生教材中，鲜有一本教材的内容既包含数理统计又包含随机过程. 本书是结合国内外现有的高等工科院校非数学专业硕士研究生的数理统计、随机过程课程内容的优秀教材，而编写的一本将应用数理统计与随机过程有机融合的通俗易懂的教材.
本书共12章，第1章为预备知识，介绍数理统计与随机过程所需的概率论基础. 第2～6章为数理统计部分，着重介绍各种基础的、常用的数理统计方法，主要包含数理统计的基本概念与抽样分布、参数估计、假设检验、回归分析、方差分析与正交试验设计. 第7～12章为随机过程部分，主要包括随机过程的基本概念及类型、泊松过程、马尔可夫链、连续时间马尔可夫链、随机分析、平稳过程. 这些内容可为高等院校非数学专业的硕士研究生解决自然科学、工程科学、社会科学等领域的复杂随机问题打下坚实的数学基础. 
“呈工科特色，富创新精神”是本书在编写过程中始终坚持的原则. 同时，充分考虑工科读者的特点和实际，在编写中力求做到以下几点：
（1）避免繁杂的理论推导，叙述力求通俗易懂，着重体现统计思维、随机思维，读者只需具备微积分、线性代数和概率论的基础；
（2）条理清晰，对每个重要的知识点尽量做到模块化、重点突出，对难点的处理尽量做到举重若轻；
（3）语言精练、流畅，概念描述准确，定理、性质、定义阐述既严谨又通俗易懂；
（4）插图丰富、精美，做到数形结合、图文并茂，与正文相辅相成；
（5）在例题选择上广泛参考相关专业的课程，紧密联系工程实际，既具有代表性，又富有启发性；
（6）使数理统计与随机过程有效衔接，弥补现有教材的不足.
本书的第1章、第7~12章由胡政发编写，第2~6章由肖海霞编写。本书在编写过程中，得到了湖北汽车工业学院研究生处的大力支持和热心帮助；湖北汽车工业学院公共数学教学部的部分老师认真审阅了初稿并提出了许多有益的意见和建议；电子工业出版社的领导和编辑也非常关心本书的出版，并对本书的出版提供了很大的支持，编者在此一并致以诚挚的谢意！
限于编者水平有限，书中难免存在不妥和错误之处，恳请读者批评指正，以期持续改进我们的工作.

胡政发 肖海霞
2020年12月

本书在简要介绍所需的概率论知识的基础上，分两篇着重介绍常用的应用数理统计方法和常见的随机过程. 其中，数理统计部分包含数理统计的基本概念与抽样分布、参数估计、假设检验、回归分析、方差分析与正交试验设计；随机过程部分包含随机过程的基本概念及类型、泊松过程、马尔可夫链、连续时间马尔可夫链、随机分析、平稳过程. 这些内容可为高等院校非数学专业的硕士研究生解决自然科学、工程科学、社会科学等领域的复杂随机问题打下坚实的数学基础.本书可作为理工科（含工程类型）硕士研究生的教材或参考书，也可供理工科高年级本科生和有关教学及工程技术人员学习、参考.

本书在简要介绍所需的概率论知识的基础上，分两篇着重介绍常用的应用数理统计方法和常见的随机过程. 其中，数理统计部分包含数理统计的基本概念与抽样分布、参数估计、假设检验、回归分析、方差分析与正交试验设计；随机过程部分包含随机过程的基本概念及类型、泊松过程、马尔可夫链、连续时间马尔可夫链、随机分析、平稳过程. 这些内容可为高等院校非数学专业的硕士研究生解决自然科学、工程科学、社会科学等领域的复杂随机问题打下坚实的数学基础.本书可作为理工科（含工程类型）硕士研究生的教材或参考书，也可供理工科高年级本科生和有关教学及工程技术人员学习、参考.

胡政发，教授，长期以来一直从事本科生和研究生数学课程的教学与研究工作，教学经验丰富，授课条理分明、逻辑性强，尤其对重难点的剖析和讲解比较到位，注重对学生数学思维及应用能力的培养，教学效果良好，受到学生的普遍欢迎及同行的好评。主要研究方向为统计学习理论，函数逼近论和随机过程。分别作为主编和副主编出版过教材2部，出版学术专著1部，在国内外期刊上发表学士论文20余篇。

目 录 
预 备 知 识 

第1章 概率论基础 2 
1.1 概率空间 2 
1.1.1 随机试验、样本空间与随机 
事件 2 
1.1.2 概率及概率空间 3 
1.1.3 条件概率 4 
1.1.4 事件的独立性 5 
1.2 随机变量及其分布 5 
1.2.1 一维随机变量及其分布 6 
1.2.2 二维随机变量及其分布 8 
1.2.3 n维随机变量及其分布 10 
1.2.4 随机变量函数的分布 12 
1.3 随机变量的数字特征 15 
1.3.1 数学期望 15 
1.3.2 方差 16 

1.3.3 矩、协方差与相关系数 17 
1.4 随机变量的特征函数 18 
1.4.1 特征函数的概念 18 
1.4.2 特征函数的性质 20 
1.4.3 母函数 24 
1.5 多维正态分布 25 
1.5.1 二维正态分布 26 
1.5.2 n维正态分布 26 
1.6 条件分布与条件期望 28 
1.6.1 条件分布 28 
1.6.2 条件期望 30 
1.7 大数定律和中心极限定理 33 
1.7.1 随机变量序列的收敛性 33 
1.7.2 大数定律 34 
1.7.3 中心极限定理 36 
习题1 38 
篇　数理统计部分 

第2章 数理统计的基本概念与抽样分布 42 
2.1 数理统计的几个基本概念 42 
2.1.1 总体和个体 42 
2.1.2 样本和样本分布 42 
2.1.3 参数空间和分布族 44 
2.2 统计量 44 
2.3 经验分布函数、直方图和顺序 
统计量 46 
2.3.1 经验分布函数 46 
2.3.2 直方图 48 
2.3.3 顺序统计量 50 
2.4 数理统计中的某些常用分布 53 
2.4.1 ?2分布 53 
2.4.2 t分布 55 
2.4.3 F分布 57 
2.4.4 分位数 59 
2.5 抽样分布 61 
2.5.1 单个正态总体的统计量的 
分布 61 
2.5.2 双正态总体的统计量的分布 63 
习题2 66 
第3章 参数估计 68 
3.1 参数的点估计 68 
3.1.1 矩估计法 68 
3.1.2 似然估计法 72 
3.2 估计量的评价标准 78 
3.2.1 无偏性 78 
3.2.2 有效性 81 
3.2.3 相合性 86 
3.3 区间估计 88 
3.3.1 区间估计的定义与枢轴量法 88 
3.3.2 单个正态总体均值和方差的 
区间估计 89 
3.3.3 双正态总体均值差和方差比的 
区间估计 92 
3.3.4 非正态总体参数的区间估计 95 
3.3.5 单侧置信限 98 
习题3 100 
第4章 假设检验 102 
4.1 假设检验的基本概念 102 
4.1.1 假设检验的基本原理与概念 103 
4.1.2 假设检验的基本步骤 106 
4.2 单个正态总体的均值与方差 
的假设检验 107 
4.2.1 方差? 2已知时均值?的假设 
检验 107 
4.2.2 方差? 2未知时均值?的假设 
检验 110 
4.2.3 均值?已知时方差? 2的假设 
检验 111 
4.2.4 均值?未知时方差? 2的假设 
检验 112 
4.3 双正态总体的均值与方差的 
假设检验 115 
4.3.1 方差已知时双正态总体均值 
的假设检验 115 
4.3.2 方差未知但相等时双正态总体 
均值的假设检验 117 
4.3.3 均值未知时双正态总体方差 
的假设检验 119 
4.3.4 均值已知时双正态总体方差的 
假设检验 121 
4.4 非正态总体参数的假设检验 122 
4.4.1 指数分布参数?的假设检验 122 
4.4.2 非正态总体均值检验的 
大样本法 123 
4.5 非参数假设检验 125 
4.5.1 总体分布函数的拟合优度 
?2检验 126 
4.5.2 两个总体独立性的假设 
检验 131 
4.5.3 两个总体分布比较的假设 
检验 133 
习题4 138 
第5章 回归分析 141 
5.1 回归分析概述 141 
5.2 一元线性回归分析 142 
5.2.1 一元线性回归模型 142 
5.2.2 未知参数的估计 143 
5.2.3 线性回归效果的显著性 
检验 149 
5.2.4 预测和控制 154 
5.3 多元线性回归分析 158 
5.3.1 多元线性回归模型 159 
5.3.2 未知参数的估计 159 
5.3.3 多元线性回归的显著性 
检验 162 
5.4 非线性回归分析 164 
习题5 166 
第6章 方差分析与正交试验设计 168 
6.1 单因素方差分析 168 
6.1.1 单因素试验 168 
6.1.2 数学模型 169 
6.1.3 统计分析 170 
6.2 双因素方差分析 177 
6.2.1 数学模型 177 
6.2.2 无交互作用的双因素方差 
分析 179 
6.2.3 有交互作用的双因素方差 
分析 182 
6.3 正交试验设计 185 
6.3.1 正交表 186 
6.3.2 正交试验设计 188 
习题6 194 
第二篇　随机过程部分 

第7章 随机过程的基本概念及类型 198 
7.1 随机过程的基本概念 198 
7.1.1 随机过程实例 198 
7.1.2 随机过程的定义 200 
7.1.3 随机过程的分类 202 
7.2 随机过程的有限维分布函数族 
与数字特征 203 
7.2.1 随机过程的有限维分布 203 
7.2.2 随机过程的数字特征 206 
7.2.3 二维随机过程的数字特征 208 
7.3 复随机过程 210 
7.4 几种重要的随机过程 212 
7.4.1 正交增量过程 212 
7.4.2 独立增量过程 213 
7.4.3 正态过程 214 
7.4.4 维纳过程 215 
7.4.5 马尔可夫过程 216 
习题7 217 
第8章 泊松过程 219 
8.1 泊松过程的定义及数字特征 219 
8.1.1 泊松过程的定义及实例 219 
8.1.2 泊松过程的数字特征 220 
8.2 泊松过程相关的常用分布 222 
8.2.1 到达时间间隔的分布 222 
8.2.2 到达时间的分布 223 
8.2.3 到达时间的条件分布 224 
8.2.4 泊松分布相关问题举例 226 
8.3 复合泊松过程 230 
8.4 非齐次泊松过程 232 
习题8 235 
第9章 马尔可夫链 237 
9.1 马尔可夫链的基本概念及 
性质 237 
9.1.1 马尔可夫链的定义 237 
9.1.2 转移概率 237 
9.1.3 初始分布与分布 239 
9.1.4 马尔可夫链的实例 241 
9.2 马尔可夫链的状态分类 244 
9.2.1 状态的周期性 244 
9.2.2 状态的常返性 245 
9.2.3 状态属性的判定 249 
9.3 马尔可夫链状态空间的分解 251 
9.3.1 状态的可达与互通 251 
9.3.2 状态空间的闭集 253 
9.3.3 状态空间分解定理 255 
9.4 转移概率的极限与平稳分布 259 
9.4.1 转移概率的极限 259 
9.4.2 平稳分布 262 
习题9 269 
第10章 连续时间马尔可夫链 273 
10.1 连续时间马尔可夫链的转移 
概率及其性质 273 
10.1.1 连续时间马尔可夫链及其转移概率 273 
10.1.2 转移概率的连续性与 
可微性 276 
10.2 柯尔莫哥洛夫微分方程与 
平稳分布 278 
10.2.1 柯尔莫哥洛夫微分方程 278 
10.2.2 极限分布与平稳分布 281 
10.3 生灭过程 284 
10.3.1 生灭过程的定义 284 
10.3.2 生灭过程实例 285 
习题10 288 
第11章 随机分析 290 
11.1 均方收敛的性质与判定准则 290 
11.1.1 均方极限的性质 290 
11.1.2 均方收敛判定准则 292 
11.2 均方连续、均方导数和均方 
积分 293 
11.2.1 均方连续 293 
11.2.2 均方导数 295 
11.2.3 均方积分 298 
11.3 随机微分方程 301 
11.4 伊藤随机微积分及微分方程 303 
11.4.1 伊藤随机积分 303 
11.4.2 伊藤随机微分 308 
11.4.3 伊藤随机微分方程 310 
习题11 311 
第12章 平稳过程 313 
12.1 平稳过程的概念与实例 313 
12.1.1 平稳过程的概念 313 
12.1.2 平稳过程实例 314 
12.2 平稳过程相关函数的性质 317 
12.2.1 相关函数的性质 317 
12.2.2 联合平稳过程及互相关函数 
的性质 320 
12.3 平稳过程的各态历经性 322 
12.3.1 各态历经性的概念 322 
12.3.2 均值各态历经性的判定 324 
12.3.3 相关函数各态历经性 
的判定 326 
12.3.4 各态历经性的应用 327 
12.4 平稳过程的谱密度 329 
12.4.1 相关函数的谱分解 329 
12.4.2 谱密度的物理意义 333 
12.4.3 谱密度的性质和计算 335 
12.4.4 联合平稳过程的互谱密度 338 
12.5 线性系统中的平稳过程 340 
12.5.1 线性时不变系统 340 
12.5.2 频率响应与脉冲响应 341 
12.5.3 线性时不变系统对平稳过程 
的响应 344 
12.5.4 线性时不变系统的谱 
分析 345 
习题12 348 
附录A 351 
参考文献 352

本书在简要介绍所需的概率论知识的基础上，分两篇着重介绍常用的应用数理统计方法和常见的随机过程. 其中，数理统计部分包含数理统计的基本概念与抽样分布、参数估计、假设检验、回归分析、方差分析与正交试验设计；随机过程部分包含随机过程的基本概念及类型、泊松过程、马尔可夫链、连续时间马尔可夫链、随机分析、平稳过程. 这些内容可为高等院校非数学专业的硕士研究生解决自然科学、工程科学、社会科学等领域的复杂随机问题打下坚实的数学基础.本书可作为理工科（含工程类型）硕士研究生的教材或参考书，也可供理工科高年级本科生和有关教学及工程技术人员学习、参考.

胡政发，教授，长期以来一直从事本科生和研究生数学课程的教学与研究工作，教学经验丰富，授课条理分明、逻辑性强，尤其对重难点的剖析和讲解比较到位，注重对学生数学思维及应用能力的培养，教学效果良好，受到学生的普遍欢迎及同行的好评。主要研究方向为统计学习理论，函数逼近论和随机过程。分别作为主编和副主编出版过教材2部，出版学术专著1部，在国内外期刊上发表学士论文20余篇。