现代光谱分析中的化学计量学方法

1.内容全面——系统总结了用于光谱分析的各类化学计量学方法，包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、模型传递算法和深度学习算法等。 2.写法新颖——书中不是简单地将算法进行罗列，而是将这些方法与科研开发和实际应用紧密结合起来，并对许多算法的改进和策略的延伸做了重点评述。 3.凝结经验——书中凝结了褚小立教授多年从事光谱分析技术和化学计量学方法研发的经验和体会，为本领域的科研和应用人员提供了很多值得借鉴的新观点和新思路。 4.可读性强——本书浑然一体，章节安排紧凑合理，内容新颖完整，语言贴近读者，图文并茂，观点清晰明确，对光谱分析领域科研与教学工作者是一本非常有价值的参考书，也对相关领域科技工作者了解化学计量学有很大帮助。

近些年，现代光谱分析技术得到了迅猛发展，该技术的一个关键特征是采用化学计量学方法对光谱数据进行处理，从而尽可能多地获得定量和定性信息，显著提高光谱分析技术的稳健性和准确性。现代光谱分析技术可直接对气体、液体和固体等各种复杂混合物进行定性和定量分析，具有分析速度快、效率高、可实现无损和在线分析等优势，目前已被广泛应用于许多领域，例如农产品、食品、药物、石油、化工、烟草、环保和医学等领域，在科研和工农业生产中发挥着越来越重要的作用。
十年前，作者曾撰写《化学计量学方法与分子光谱分析技术》（化学工业出版社，2011）一书，其中扼要地介绍了用于分子光谱分析技术的常用化学计量学方法。近十年来，随着人工智能（机器学习和深度学习）、大数据和云计算等新兴科技的飞速发展，为化学计量学注入了新思路、新途径和新方法，用于光谱分析的新型化学计量学方法如雨后春笋般涌现出来，成为现代光谱分析技术中的重要研究前沿和关键技术支撑点，是国内外本领域专家学者重点和热点的研究方向，集聚着理论创新和应用创新的巨大潜能和机会。
本书是《化学计量学方法与分子光谱分析技术》的续篇，主要介绍用于光谱分析的化学计量学方法，主要包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、校正样本选择算法、界外样本识别算法、模型更新与维护算法、多光谱融合算法、模型传递算法及用于三维光谱阵的多维数据分析算法。书中尤其对近些年兴起的深度学习算法做了重点与深入的讲解。本书涉及的光谱分析不仅包括分子光谱（例如近红外光谱、中红外光谱、紫外可见光谱、分子荧光光谱、拉曼光谱、太赫兹光谱等），还包括近些年兴起的一些原子光谱（例如激光诱导击穿光谱等）。
本书不是机器学习和多元统计分析方面的专业书籍，而是从实用光谱分析技术的出发点进行编写的，其目的是使读者了解用于光谱分析的化学计量学方法及其新进展，力求将这些方法与科研开发和实际应用结合起来，提供值得借鉴的新观点和新思路。本书力求实用性和完整性，简化甚至略去繁琐的数学原理推导等理论性太强的内容，尽可能提供算法的完整框架知识，让读者掌握化学计量学算法主流知识点和完整脉络，以期在具体的实际工作中理解好、选好、用好这些方法。在遇到具体问题时，本书分门别类的专业内容非常方便读者进行查询和巩固。本书引用的参考文献扎实而厚重，如果读者对某些算法的推导细节感兴趣，可根据相应的参考文献按图索骥。
本书的出版承蒙刘文清院士和李培武院士的大力推荐，我国化学计量学奠基人俞汝勤院士欣然为本书作序。科学大家提携后进的精神，令作者备受鼓舞，在此一并表示最诚挚的感谢。
本书在力求全面性和系统性的同时，也尽可能对国内外这一领域的最新研究进展进行归纳评述，并将同行们在实践中获得的经验和体会融入其中。但鉴于化学计量学方法和现代光谱分析技术的快速发展，加之作者知识结构的欠缺和编写时间所限，书中难免存在疏漏和理解不到位的地方，敬请读者不吝批评和指正。


作者
2021年1月30日

褚小立，石油化工科学研究院教授级高工，我国为数不多的现代过程分析技术学术带头人之一，长期从事成套近红外光谱分析技术和应用研究，主持和参与了近20项基础研究、新产品研发和应用技术推广等科研项目，取得了多项具有创新性的研究成果，在国内外期刊发表论文80余篇，其中两篇论文分别获“2008年国内zui具影响百篇文章称号”和“2012年领跑者5000—中国精品科技期刊顶 尖论文”。申请发明专利30余项，有近20项获得授权。获省部级科技进步奖5项，其中获军队科技进步一等奖1项，中石化科技进步二等奖3项。2005年获侯祥麟石油加工科学技术奖，2009年获中国石化闵恩泽青年科技人才奖，2011年获闵恩泽院士科技原始创新奖，2013年获13届“中国青年科技奖”，2015年获“中国分析测试协会科学技术青年奖”。
褚小立学术造诣深厚，编著了多部与分子光谱、化学计量学和现代过程分析技术等有关的学术著作，取得了很好学术成果，其中独著的本书姊妹篇《化学计量学与分子光谱分析技术》是我国较为全面、系统介绍现代过程分析技术的专著，受到本领域专家和学者的一致好评。

近年来，随着人工智能、大数据和云计算等科技的飞速发展，用于光谱分析的新型化学计量学方法如雨后春笋般涌现出来，成为光谱分析技术中发展最为迅速的分支之一，是国内外本领域专家学者重点和热点的研究方向。本书主要论述用于光谱分析的化学计量学方法，包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、校正样本选择算法、界外样本识别算法、模型更新与维护算法、多光谱融合算法、模型传递算法和深度学习算法等。本书在保证全面性和系统性的基础上，对国内外的最新研究进展进行归纳述评，尤其是将这些方法与科研开发和实际应用紧密结合起来，对许多算法的改进和策略的延伸做了重点评述，为本领域科研和应用工作者提供值得借鉴的新观点和新思路。
本书可作为从事光谱分析、化学计量学、分析仪器、现场快速或在线分析、过程控制等领域的研究和应用人员的参考书，也可作为相关专业的本科生和研究生的选修教材或教学参考书，以及企事业单位专业人员技术技能的培训教材。

1 绪论 / 001 
1.1 化学计量学概述 001
1.1.1 化学计量学起源、定义和发展历程 001 
1.1.2 化学计量学研究的内容 003 
1.1.3 化学计量学方法的必要性 005 
1.1.4 应用化学计量学方法需注意的问题 009 
1.2 光谱结合化学计量学的分析方法 010 
1.2.1 校正模型的建立 010 
1.2.2 常规分析 014 
1.2.3 方法的特点 014 
1.3 现代光谱分析技术的开端——Karl Norris 的贡献 016 
参考文献 022 

2 现代光谱分析技术 / 026 
2.1 引言 026 
2.2 近红外光谱 028 
2.2.1 微型近红外分析技术 029 
2.2.2 在线近红外分析技术 030 
2.2.3 近红外光谱标准方法 032 
2.3 中红外光谱 036 
2.3.1 便携式中红外分析技术 036 
2.3.2 在线中红外分析技术 037 
2.4 拉曼光谱 037 
2.4.1 傅里叶拉曼光谱 038 
2.4.2 表面增强拉曼光谱 038 
2.4.3 共聚焦拉曼光谱 039 
2.4.4 空间偏移拉曼光谱 040 
2.4.5 透射拉曼光谱 041 
2.4.6 便携式拉曼分析技术 042 
2.4.7 光纤拉曼分析技术 043 
2.5 紫外-可见光谱 044 
2.6 分子荧光光谱 046 
2.6.1 三维荧光光谱 046
2.6.2 激光诱导荧光光谱 047 
2.7 低场核磁共振谱 048 
2.8 太赫兹光谱 049 
2.9 激光诱导击穿光谱 051 
2.10 光谱成像 052 
参考文献 056 

3 矩阵和数理统计基础 / 064 
3.1 矩阵基础 064 
3.2 朗伯-比尔定律的矩阵表示 066 
3.3 方差和正态分布 066 
3.4 显著性检验 069 
3.5 相关系数 070 
3.6 协方差与协方差矩阵 071 
3.7 多变量的图表示法 073 
3.7.1 样本的空间表示 073 
3.7.2 箱须图 073 
3.7.3 雷达图 075 参考文献 077 

4 光谱预处理方法 / 079 
4.1 均值中心化 079 
4.2 标准化 080 
4.3 归一化 080 
4.4 平滑去噪 081 
4.4.1 移动平均平滑 081 
4.4.2 Savitzky-Golay卷积平滑 083 
4.4.3 傅里叶变换和小波变换 084 
4.5 连续统去除法 085 
4.6 自适应迭代重加权惩罚最小二乘 085 
4.7 导数 087 
4.7.1 Norris方法 087 
4.7.2 Savitzky-Golay卷积求导 087 
4.7.3 小波变换求导 089 
4.7.4 分数阶导数 091 
4.8 SNV 和去趋势 092 
4.9 乘性散射校正 094 
4.10 向量角转换 095 
4.11 傅里叶变换 096 
4.12 小波变换 098 
4.13 图像矩方法 103
4.14 外部参数正交化 104 
4.15 广义最小二乘加权 105 
4.16 载荷空间标准化 106 
4.17 斜投影 106 
4.18 正交信号校正 106 
4.18.1 Wold算法 107 
4.18.2 Fearn算法 107 
4.18.3 DOSC算法 108 
4.18.4 DO 算法 108 
4.18.5 正交信号校正算法的应用研究 109 
4.19 净分析信号 109 
4.20 光程估计与校正 110 
4.21 二维相关光谱方法 111 
参考文献 112 

5 波长变量选择方法 / 118 
5.1 相关系数和方差分析方法 118 
5.2 交互式自模型混合物分析方法 120 
5.3 连续投影方法 121 
5.4 变量投影重要性方法 122 
5.5 无信息变量消除方法 122 
5.6 竞争性自适应重加权采样方法 124 
5.7 间隔 PLS 方法 124 
5.8 移动窗口 PLS 方法 125 
5.9 递归加权 PLS 方法 126 
5.10 全局优化的方法 126 
5.10.1 遗传算法 126 
5.10.2 模拟退火算法 129 
5.10.3 粒子群算法 129 
5.10.4 蚁群算法 130 
5.11 迭代保留信息变量方法 131 
5.12 其他方法 133 
5.13 波长选择算法的联合与融合 133 
5.14 光谱预处理和波长选取方法的选择 134 
参考文献 137 

6 光谱降维方法 / 144 
6.1 多重共线性问题 144 
6.2 主成分分析 146 
6.2.1 主成分分析基本原理 146 
6.2.2 主成分数的确定 148
6.2.3 主成分分析算法 149 
6.2.4 主成分分析的应用 149 
6.2.5 多元分辨交替最小二乘 149 
6.2.6 目标波段熵最小化 150 
6.2.7 多级同时成分分析 151 
6.3 非负矩阵因子分解 152 
6.4 独立成分分析 153 
6.5 多维尺度变换 154 
6.6 Isomap 方法 155 
6.7 局部线性嵌入算法 156 
6.8 t-分布式随机邻域嵌入算法 157 
6.9 其他算法 158 
参考文献 159 

7 线性校正方法 / 162 
7.1 一元线性回归 162 
7.2 多元线性回归 162 
7.3 浓度残差增广最小二乘回归 163 
7.4 逐步线性回归 164 
7.5 岭回归 164 
7.6 Lasso 回归 165 
7.7 最小角回归 166 
7.8 弹性网络 167 
7.9 主成分回归 168 
7.9.1 基本原理 168 
7.9.2 选取最佳主因子数的方法 168 
7.10 偏最小二乘回归 171 
参考文献 174 

8 非线性校正方法 / 176 
8.1 人工神经网络 176 
8.1.1 引言 176 
8.1.2 BP神经网络及其算法 179 
8.1.3 BP神经网络的设计 182 
8.1.4 其他类型的神经网络 184 
8.1.5 神经网络参数的优化 185 
8.2 支持向量机 186 
8.2.1 引言 186 
8.2.2 支持向量回归 190 
8.2.3 最小二乘支持向量回归 192 
8.2.4 支持向量回归参数的优化 193
8.3 相关向量机 194 
8.4 核偏最小二乘法 195 
8.5 极限学习机 196 
8.6 高斯过程回归 198 
参考文献 200 

9 校正样本的选择方法 / 203 
9.1 引言 203 
9.2 Kennard-Stone 方法 206 
9.3 SPXY 方法 207 
9.4 OptiSim 方法 208 
9.5 其他方法 208 
参考文献 210 

10 界外样本的检测方法 / 212 
10.1 校正过程界外样本的检测 212 
10.2 预测过程界外样本的检测 212 
10.3 其他检测方法 214 
参考文献 215 

11 定量校正模型的维护更新 / 217 
11.1 必要性 217 
11.2 递归指数加权 PLS 方法 221 
11.3 块式递归 PLS 方法 221 
11.4 即时学习与主动学习 223 
参考文献 223 

12 模式识别方法 / 225 
12.1 引言 225 
12.2 无监督的模式识别方法 226 
12.2.1 相似系数和距离 226 
12.2.2 系统聚类分析 228 
12.2.3 K-均值聚类方法 229 
12.2.4 模糊 K-均值聚类方法 230 
12.2.5 高斯混合模型 231 
12.2.6 自组织神经网络 232 
12.3 有监督的模式识别方法 234 
12.3.1 最小距离判别法 234 
12.3.2 典型变量分析 234 
12.3.3 K-最近邻法 237 
12.3.4 SIMCA 法 238
12.3.5 Logistic回归 239 
12.3.6 Softmax分类器 241 
12.3.7 随机森林 242 
12.3.8 回归方法用于判别分析 244 
12.4 光谱检索算法及其应用 245 
12.4.1 引言 245 
12.4.2 光谱检索基本算法 246 
12.4.3 光谱检索算法的改进与应用 248 
12.4.4 光谱检索策略与应用 251 
参考文献 254 

13 模型的评价 / 259 
13.1 定量校正模型的评价 259 
13.1.1 评价参数 259 
13.1.2 模型的评价 261 
13.1.3 模型的统计报告 266 
13.2 模式识别模型性能的评价 266 
参考文献 270 

14 提高模型预测能力的方法 / 272 
14.1 提高稳健性的建模策略 272 
14.2 基于局部样本的建模策略 273 
14.3 集成的建模策略 275 
14.3.1 Bagging方法 275 
14.3.2 Boosting方法 276 
14.3.3 叠加PLS方法 278 
14.3.4 堆栈泛化算法 280 
14.4 虚拟样本建模策略 281 
14.5 半监督学习方法 283 
14.6 多目标回归策略 285 
参考文献 285 

15 多光谱融合技术 / 290 
15.1 融合策略与方法 290 
15.2 多块偏最小二乘方法 294 
15.3 序贯正交偏最小二乘方法 295 
15.4 多光谱融合的应用研究 296 
15.5 展望 300 
参考文献 300

16 多维分辨和校正方法 / 303 
16.1 引言 303 
16.2 PARAFAC 方法 305 
16.3 交替三线性分解方法 306 
16.4 多维偏最小二乘法 307 
参考文献 309 

17 模型传递方法 / 311 
17.1 引言 311 
17.2 经典算法 312 
17.2.1 SSC算法 313 
17.2.2 Shenk??s算法 313 
17.2.3 DS算法 313 
17.2.4 PDS算法 313 
17.2.5 普鲁克分析算法 315 
17.2.6 目标转换因子分析算法 315 
17.2.7 最大似然主成分分析算法 315 
17.2.8 SBC算法 316 
17.3 经典算法的改进 316 
17.4 算法新进展 319 
17.4.1 CCA 算法 319 
17.4.2 SST算法 320 
17.4.3 ATLD算法 320 
17.4.4 MTL算法 321 
17.4.5 GLS算法 322 
17.4.6 其他算法 322 
17.5 全局模型、稳健模型和模型更新 325 
17.6 应用研究进展 329 
17.6.1 SBC方法 329 
17.6.2 SSC方法 329 
17.6.3 Shenk??s方法 330 
17.6.4 DS方法 330 
17.6.5 PDS方法 331 
17.6.6 CCA 方法 333 
17.6.7 全局模型的建立 334 
17.6.8 其他方法 334 
参考文献 335 

18 深度学习算法 / 354 
18.1 栈式自动编码器 354
18.2 卷积神经网络 357 
18.2.1 卷积神经网络的基本构成 357 
18.2.2 优化算法 361 
18.2.3 损失函数 362 
18.2.4 激活函数 363 
18.2.5 防止过拟合的方法 365 
18.2.6 经典的卷积神经网络架构 367 
18.2.7 流行的深度学习软件框架 371 
18.2.8 卷积神经网络的设计 372 
18.2.9 卷积神经网络的训练 374 
18.2.10 卷积神经网络的优缺点 376 
18.2.11 卷积神经网络的应用研究 376 
18.3 深度信念网络 383 
18.4 迁移学习 385 
参考文献 387 

19 化学计量学软件和工具包 / 391 
19.1 引言 391 
19.2 软件的基本构架和功能 391 
19.3 常用软件与工具箱 394 
参考文献 395 

20 若干问题的探讨 / 398 
20.1 不同光谱分析技术的比较 398 
20.2 化学计量学方法的选择 400
20.2.1 多元校正方法的选择 401 
20.2.2 模式识别方法的选择 401 
20.2.3 光谱预处理方法和光谱变量的选择 403 
20.3 模型预测能力影响因素浅析 404 
20.3.1 校正样本的影响 404
20.3.2 基础数据的影响 406 
20.3.3 光谱测量方式的影响 409 
20.3.4 光谱采集条件的影响 410 
20.3.5 仪器性能的影响 414 
20.4 展望 414 
参考文献 416 

缩略语表 / 421 

后记 / 433