现代光谱分析中的化学计量学方法

近些年，现代光谱分析技术得到了迅猛发展，该技术的一个关键特征是采用化学计量学方法对光谱数据进行处理，从而尽可能多地获得定量和定性信息，显著提高光谱分析技术的稳健性和准确性。现代光谱分析技术可直接对气体、液体和固体等各种复杂混合物进行定性和定量分析，具有分析速度快、效率高、可实现无损和在线分析等优势，目前已被广泛应用于许多领域，例如农产品、食品、药物、石油、化工、烟草、环保和医学等领域，在科研和工农业生产中发挥着越来越重要的作用。

十年前，作者曾撰写《化学计量学方法与分子光谱分析技术》（化学工业出版社，2011）一书，其中扼要地介绍了用于分子光谱分析技术的常用化学计量学方法。近十年来，随着人工智能（机器学习和深度学习）、大数据和云计算等新兴科技的飞速发展，为化学计量学注入了新思路、新途径和新方法，用于光谱分析的新型化学计量学方法如雨后春笋般涌现出来，成为现代光谱分析技术中的重要研究前沿和关键技术支撑点，是国内外本领域专家学者重点和热点的研究方向，集聚着理论创新和应用创新的巨大潜能和机会。

本书是《化学计量学方法与分子光谱分析技术》的续篇，主要介绍用于光谱分析的化学计量学方法，主要包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、校正样本选择算法、界外样本识别算法、模型更新与维护算法、多光谱融合算法、模型传递算法及用于三维光谱阵的多维数据分析算法。书中尤其对近些年兴起的深度学习算法做了重点与深入的讲解。本书涉及的光谱分析不仅包括分子光谱（例如近红外光谱、中红外光谱、紫外可见光谱、分子荧光光谱、拉曼光谱、太赫兹光谱等），还包括近些年兴起的一些原子光谱（例如激光诱导击穿光谱等）。

本书不是机器学习和多元统计分析方面的专业书籍，而是从实用光谱分析技术的出发点进行编写的，其目的是使读者了解用于光谱分析的化学计量学方法及其新进展，力求将这些方法与科研开发和实际应用结合起来，提供值得借鉴的新观点和新思路。本书力求实用性和完整性，简化甚至略去繁琐的数学原理推导等理论性太强的内容，尽可能提供算法的完整框架知识，让读者掌握化学计量学算法主流知识点和完整脉络，以期在具体的实际工作中理解好、选好、用好这些方法。在遇到具体问题时，本书分门别类的专业内容非常方便读者进行查询和巩固。本书引用的参考文献扎实而厚重，如果读者对某些算法的推导细节感兴趣，可根据相应的参考文献按图索骥。

本书的出版承蒙刘文清院士和李培武院士的大力推荐，我国化学计量学奠基人俞汝勤院士欣然为本书作序。科学大家提携后进的精神，令作者备受鼓舞，在此一并表示诚挚的感谢。

本书在力求全面性和系统性的同时，也尽可能对国内外这一领域的研究进展进行归纳评述，并将同行们在实践中获得的经验和体会融入其中。但鉴于化学计量学方法和现代光谱分析技术的快速发展，加之作者知识结构的欠缺和编写时间所限，书中难免存在疏漏和理解不到位的地方，敬请读者不吝批评和指正。

作者

2021年1月30日

近年来，随着人工智能、大数据和云计算等科技的飞速发展，用于光谱分析的新型化学计量学方法如雨后春笋般涌现出来，成为光谱分析技术中发展为迅速的分支之一，是国内外本领域专家学者重点和热点的研究方向。本书主要论述用于光谱分析的化学计量学方法，包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、校正样本选择算法、界外样本识别算法、模型更新与维护算法、多光谱融合算法、模型传递算法和深度学习算法等。本书在保证全面性和系统性的基础上，对国内外的研究进展进行归纳述评，尤其是将这些方法与科研开发和实际应用紧密结合起来，对许多算法的改进和策略的延伸做了重点评述，为本领域科研和应用工作者提供值得借鉴的新观点和新思路。

本书可作为从事光谱分析、化学计量学、分析仪器、现场快速或在线分析、过程控制等领域的研究和应用人员的参考书，也可作为相关专业的本科生和研究生的选修教材或教学参考书，以及企事业单位专业人员技术技能的培训教材。

褚小立，石油化工科学研究院教授级高工，我国为数不多的现代过程分析技术学术带头人之一，长期从事成套近红外光谱分析技术和应用研究，主持和参与了近20项基础研究、新产品研发和应用技术推广等科研项目，取得了多项具有创新性的研究成果，在国内外期刊发表论文80余篇，其中两篇论文分别获“2008年国内zui具影响百篇文章称号”和“2012年领跑者5000—中国精品科技期刊顶 尖论文”。申请发明专利30余项，有近20项获得授权。获省部级科技进步奖5项，其中获军队科技进步一等奖1项，中石化科技进步二等奖3项。2005年获侯祥麟石油加工科学技术奖，2009年获中国石化闵恩泽青年科技人才奖，2011年获闵恩泽院士科技原始创新奖，2013年获13届“中国青年科技奖”，2015年获“中国分析测试协会科学技术青年奖”。

褚小立学术造诣深厚，编著了多部与分子光谱、化学计量学和现代过程分析技术等有关的学术著作，取得了很好学术成果，其中独著的本书姊妹篇《化学计量学与分子光谱分析技术》是我国较为全面、系统介绍现代过程分析技术的专著，受到本领域专家和学者的一致好评。

1 绪论 / 001 

1.1 化学计量学概述 001

1.1.1 化学计量学起源、定义和发展历程 001 

1.1.2 化学计量学研究的内容 003 

1.1.3 化学计量学方法的必要性 005 

1.1.4 应用化学计量学方法需注意的问题 009 

1.2 光谱结合化学计量学的分析方法 010 

1.2.1 校正模型的建立 010 

1.2.2 常规分析 014 

1.2.3 方法的特点 014 

1.3 现代光谱分析技术的开端——Karl Norris 的贡献 016 

参考文献 022 

2 现代光谱分析技术 / 026 

2.1 引言 026 

2.2 近红外光谱 028 

2.2.1 微型近红外分析技术 029 

2.2.2 在线近红外分析技术 030 

2.2.3 近红外光谱标准方法 032 

2.3 中红外光谱 036 

2.3.1 便携式中红外分析技术 036 

2.3.2 在线中红外分析技术 037 

2.4 拉曼光谱 037 

2.4.1 傅里叶拉曼光谱 038 

2.4.2 表面增强拉曼光谱 038 

2.4.3 共聚焦拉曼光谱 039 

2.4.4 空间偏移拉曼光谱 040 

2.4.5 透射拉曼光谱 041 

2.4.6 便携式拉曼分析技术 042 

2.4.7 光纤拉曼分析技术 043 

2.5 紫外-可见光谱 044 

2.6 分子荧光光谱 046 

2.6.1 三维荧光光谱 046

2.6.2 激光诱导荧光光谱 047 

2.7 低场核磁共振谱 048 

2.8 太赫兹光谱 049 

2.9 激光诱导击穿光谱 051 

2.10 光谱成像 052 

参考文献 056 

3 矩阵和数理统计基础 / 064 

3.1 矩阵基础 064 

3.2 朗伯-比尔定律的矩阵表示 066 

3.3 方差和正态分布 066 

3.4 显著性检验 069 

3.5 相关系数 070 

3.6 协方差与协方差矩阵 071 

3.7 多变量的图表示法 073 

3.7.1 样本的空间表示 073 

3.7.2 箱须图 073 

3.7.3 雷达图 075 参考文献 077 

4 光谱预处理方法 / 079 

4.1 均值中心化 079 

4.2 标准化 080 

4.3 归一化 080 

4.4 平滑去噪 081 

4.4.1 移动平均平滑 081 

4.4.2 Savitzky-Golay卷积平滑 083 

4.4.3 傅里叶变换和小波变换 084 

4.5 连续统去除法 085 

4.6 自适应迭代重加权惩罚小二乘 085 

4.7 导数 087 

4.7.1 Norris方法 087 

4.7.2 Savitzky-Golay卷积求导 087 

4.7.3 小波变换求导 089 

4.7.4 分数阶导数 091 

4.8 SNV 和去趋势 092 

4.9 乘性散射校正 094 

4.10 向量角转换 095 

4.11 傅里叶变换 096 

4.12 小波变换 098 

4.13 图像矩方法 103

4.14 外部参数正交化 104 

4.15 广义小二乘加权 105 

4.16 载荷空间标准化 106 

4.17 斜投影 106 

4.18 正交信号校正 106 

4.18.1 Wold算法 107 

4.18.2 Fearn算法 107 

4.18.3 DOSC算法 108 

4.18.4 DO 算法 108 

4.18.5 正交信号校正算法的应用研究 109 

4.19 净分析信号 109 

4.20 光程估计与校正 110 

4.21 二维相关光谱方法 111 

参考文献 112 

5 波长变量选择方法 / 118 

5.1 相关系数和方差分析方法 118 

5.2 交互式自模型混合物分析方法 120 

5.3 连续投影方法 121 

5.4 变量投影重要性方法 122 

5.5 无信息变量消除方法 122 

5.6 竞争性自适应重加权采样方法 124 

5.7 间隔 PLS 方法 124 

5.8 移动窗口 PLS 方法 125 

5.9 递归加权 PLS 方法 126 

5.10 全局优化的方法 126 

5.10.1 遗传算法 126 

5.10.2 模拟退火算法 129 

5.10.3 粒子群算法 129 

5.10.4 蚁群算法 130 

5.11 迭代保留信息变量方法 131 

5.12 其他方法 133 

5.13 波长选择算法的联合与融合 133 

5.14 光谱预处理和波长选取方法的选择 134 

参考文献 137 

6 光谱降维方法 / 144 

6.1 多重共线性问题 144 

6.2 主成分分析 146 

6.2.1 主成分分析基本原理 146 

6.2.2 主成分数的确定 148

6.2.3 主成分分析算法 149 

6.2.4 主成分分析的应用 149 

6.2.5 多元分辨交替小二乘 149 

6.2.6 目标波段熵小化 150 

6.2.7 多级同时成分分析 151 

6.3 非负矩阵因子分解 152 

6.4 独立成分分析 153 

6.5 多维尺度变换 154 

6.6 Isomap 方法 155 

6.7 局部线性嵌入算法 156 

6.8 t-分布式随机邻域嵌入算法 157 

6.9 其他算法 158 

参考文献 159 

7 线性校正方法 / 162 

7.1 一元线性回归 162 

7.2 多元线性回归 162 

7.3 浓度残差增广小二乘回归 163 

7.4 逐步线性回归 164 

7.5 岭回归 164 

7.6 Lasso 回归 165 

7.7 小角回归 166 

7.8 弹性网络 167 

7.9 主成分回归 168 

7.9.1 基本原理 168 

7.9.2 选取主因子数的方法 168 

7.10 偏小二乘回归 171 

参考文献 174 

8 非线性校正方法 / 176 

8.1 人工神经网络 176 

8.1.1 引言 176 

8.1.2 BP神经网络及其算法 179 

8.1.3 BP神经网络的设计 182 

8.1.4 其他类型的神经网络 184 

8.1.5 神经网络参数的优化 185 

8.2 支持向量机 186 

8.2.1 引言 186 

8.2.2 支持向量回归 190 

8.2.3 小二乘支持向量回归 192 

8.2.4 支持向量回归参数的优化 193

8.3 相关向量机 194 

8.4 核偏小二乘法 195 

8.5 极限学习机 196 

8.6 高斯过程回归 198 

参考文献 200 

9 校正样本的选择方法 / 203 

9.1 引言 203 

9.2 Kennard-Stone 方法 206 

9.3 SPXY 方法 207 

9.4 OptiSim 方法 208 

9.5 其他方法 208 

参考文献 210 

10 界外样本的检测方法 / 212 

10.1 校正过程界外样本的检测 212 

10.2 预测过程界外样本的检测 212 

10.3 其他检测方法 214 

参考文献 215 

11 定量校正模型的维护更新 / 217 

11.1 必要性 217 

11.2 递归指数加权 PLS 方法 221 

11.3 块式递归 PLS 方法 221 

11.4 即时学习与主动学习 223 

参考文献 223 

12 模式识别方法 / 225 

12.1 引言 225 

12.2 无监督的模式识别方法 226 

12.2.1 相似系数和距离 226 

12.2.2 系统聚类分析 228 

12.2.3 K-均值聚类方法 229 

12.2.4 模糊 K-均值聚类方法 230 

12.2.5 高斯混合模型 231 

12.2.6 自组织神经网络 232 

12.3 有监督的模式识别方法 234 

12.3.1 小距离判别法 234 

12.3.2 典型变量分析 234 

12.3.3 K-近邻法 237 

12.3.4 SIMCA 法 238

12.3.5 Logistic回归 239 

12.3.6 Softmax分类器 241 

12.3.7 随机森林 242 

12.3.8 回归方法用于判别分析 244 

12.4 光谱检索算法及其应用 245 

12.4.1 引言 245 

12.4.2 光谱检索基本算法 246 

12.4.3 光谱检索算法的改进与应用 248 

12.4.4 光谱检索策略与应用 251 

参考文献 254 

13 模型的评价 / 259 

13.1 定量校正模型的评价 259 

13.1.1 评价参数 259 

13.1.2 模型的评价 261 

13.1.3 模型的统计报告 266 

13.2 模式识别模型性能的评价 266 

参考文献 270 

14 提高模型预测能力的方法 / 272 

14.1 提高稳健性的建模策略 272 

14.2 基于局部样本的建模策略 273 

14.3 集成的建模策略 275 

14.3.1 Bagging方法 275 

14.3.2 Boosting方法 276 

14.3.3 叠加PLS方法 278 

14.3.4 堆栈泛化算法 280 

14.4 虚拟样本建模策略 281 

14.5 半监督学习方法 283 

14.6 多目标回归策略 285 

参考文献 285 

15 多光谱融合技术 / 290 

15.1 融合策略与方法 290 

15.2 多块偏小二乘方法 294 

15.3 序贯正交偏小二乘方法 295 

15.4 多光谱融合的应用研究 296 

15.5 展望 300 

参考文献 300

16 多维分辨和校正方法 / 303 

16.1 引言 303 

16.2 PARAFAC 方法 305 

16.3 交替三线性分解方法 306 

16.4 多维偏小二乘法 307 

参考文献 309 

17 模型传递方法 / 311 

17.1 引言 311 

17.2 经典算法 312 

17.2.1 SSC算法 313 

17.2.2 Shenk??s算法 313 

17.2.3 DS算法 313 

17.2.4 PDS算法 313 

17.2.5 普鲁克分析算法 315 

17.2.6 目标转换因子分析算法 315 

17.2.7 似然主成分分析算法 315 

17.2.8 SBC算法 316 

17.3 经典算法的改进 316 

17.4 算法新进展 319 

17.4.1 CCA 算法 319 

17.4.2 SST算法 320 

17.4.3 ATLD算法 320 

17.4.4 MTL算法 321 

17.4.5 GLS算法 322 

17.4.6 其他算法 322 

17.5 全局模型、稳健模型和模型更新 325 

17.6 应用研究进展 329 

17.6.1 SBC方法 329 

17.6.2 SSC方法 329 

17.6.3 Shenk??s方法 330 

17.6.4 DS方法 330 

17.6.5 PDS方法 331 

17.6.6 CCA 方法 333 

17.6.7 全局模型的建立 334 

17.6.8 其他方法 334 

参考文献 335 

18 深度学习算法 / 354 

18.1 栈式自动编码器 354

18.2 卷积神经网络 357 

18.2.1 卷积神经网络的基本构成 357 

18.2.2 优化算法 361 

18.2.3 损失函数 362 

18.2.4 激活函数 363 

18.2.5 防止过拟合的方法 365 

18.2.6 经典的卷积神经网络架构 367 

18.2.7 流行的深度学习软件框架 371 

18.2.8 卷积神经网络的设计 372 

18.2.9 卷积神经网络的训练 374 

18.2.10 卷积神经网络的优缺点 376 

18.2.11 卷积神经网络的应用研究 376 

18.3 深度信念网络 383 

18.4 迁移学习 385 

参考文献 387 

19 化学计量学软件和工具包 / 391 

19.1 引言 391 

19.2 软件的基本构架和功能 391 

19.3 常用软件与工具箱 394 

参考文献 395 

20 若干问题的探讨 / 398 

20.1 不同光谱分析技术的比较 398 

20.2 化学计量学方法的选择 400

20.2.1 多元校正方法的选择 401 

20.2.2 模式识别方法的选择 401 

20.2.3 光谱预处理方法和光谱变量的选择 403 

20.3 模型预测能力影响因素浅析 404 

20.3.1 校正样本的影响 404

20.3.2 基础数据的影响 406 

20.3.3 光谱测量方式的影响 409 

20.3.4 光谱采集条件的影响 410 

20.3.5 仪器性能的影响 414 

20.4 展