基于受限Boltzmann 机模型的识别算法及其应用研究

　　本书主要工作如下：第一，提出一种基于受限Boltzmann机专家乘积系统的改进方法。将专家乘积系统原理与RBM 算法相结合，采用改进的动量算法，提高网络计算效率及超参数寻优的效率。结合专家乘积系统原理，在RBM 算法中采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题，为此将其更新方式进行改进；为加快网络收敛和提高模型识别能力，采取在受限Boltzmann 机预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST 数据库中0~9手写数字体的图像识别，Extended Yale B 和U‑PIE 数据库的人脸识别实验，以及地震数据去噪的应用，我们发现，提出的算法能减少学习时间，提高超参数寻优效率，进而构建的深度网络能获得较好的分类效果并能有效去除随机噪声。第二， 提出一种基于动量方法的受限Boltzmann 机的有效算法。基于受限oltzmann 4 机模型的识别算法及其应用研究为减少整个深度信念网络学习时间并提高分类效果， 在受限Boltzmann 机梯度近似算法中加入不同形、不同效用的动量项，在受限Boltzmann 机预训练阶段，结合梯度上升算法特点采取快速上升的动量方式；在微调阶段，为了能精确地找到最优点，结合梯度下降算法特点，相应地引入缓慢下降式的动量项，即在梯度上升和梯度下降过程中都使用不同的动量方式。将提出的算法在MNIST 手写体数据库、Extended Yale B 和CMU‑PIE 人脸数据库上做了图像识别应用，结果表明，提出的算法能够有效地增强图像特征的表示能力，提高图像的分类效果和实验效率。第三，提出一种基于修正动量的受限Boltzmann 机算法。针对受限Boltzmann 机梯度近似的一种计算方法对动量加速不敏感，以及识别效果不理想等问题，通过修改隐单元偏置参数的更新方式，避免受限Boltzmann 机模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题。同时， 用Gibbs 采样来训练受限Boltzmann机模型，在受限Boltzmann机梯度上升算法和梯度下降算法中采用两种不同形式动量方法分别与梯度上升算法和梯度下降算法相结合共同作用，以增强图像特征的表示能力和提高网络泛化能力，使其动量起到很好的加速作用，提高了图像分类效果。将提出的算法通过在MNIST 手写数字体、Extended Yale B 和CMU‑PIE 人脸数据库上的图像识别结果表明，提出的算法能够有效地提高计算效率和网络泛化能力。第四，提出一种基于权衰减动量的改进平均对比散度算法。鉴于前言 5对比散度算法是似然函数梯度的一个有偏估计，为了获得梯度的无偏估计，我们用受限Boltzmann机网络中Gibbs采样得到的每批数据样本与受限Boltzmann 机网络中采样得到的新的各批数据样本的平均来近似梯度。然而，并不是所有的受限Boltzmann 机梯度近似算法与动量方法的融合都能起到加速网络收敛的作用，因此，在之前的研究工作基础上，结合修正动量算法和权衰减因子一起来提高受限Boltzmann机网络的表示能力，获得更有效的极大似然估计，使得RBM 模型学习到的分布和真实数据分布更加接近，能更好地近似其梯度。提出的改进的平均对比散度算法在MNIST 手写数字体、Extended Yale B 和CMU‑PIE 人脸数据库3个数据集上的图像识别结果表明，其能够有效地提高计算效率和网络泛化能力。第五， 提出一种基于梯度改进和动量结合的ogsumRBM 方法。为了进一步提高RBM 网络的表示能力及RBM 性能，采用效果较好的RBM 梯度近似算法和修正动量算法，结合Logsum 正则化方法，以提高网络泛化能力和鲁棒性。在LogsumRBM 算法基础上，以及之前的4个研究工作基础上，我们在受限Boltzmann 机目标函数里加入稀疏效果较好的Logsum 函数正则项，结合改进的梯度近似方法和不同形式的动量项，以提高受限Boltzmann机网络的表示能力和加速网络收敛，从而提高整个网络的泛化能力。同样在MNIST 手写体、ExtendedYale B和CMU‑PIE人脸数据库上的图像识别结果表明，提出的梯度算
法融合Logsum 正则化以及动量方法能够提高受限Boltzmann机网络的稀疏化特征学习性能、特征表示能力，其网络表现出较强的泛化性能
基于受限Boltzmann 6 机模型的识别算法及其应用研究和鲁棒性，进而提高了网络分类效果。第六，提出了一种基于RBM 模型的图像数据随机噪声去除方法。应用RBM 算法模型原理，RBM 学习过程即去噪过程，去噪高效且效果好。受限Boltzmann 机能够无监督地学习到图像数据的概率分布，多个RBM 叠加的深度信念网络是一种快速有效的深度学习方法。基于RBM 模型的DBN 网络在图像数据去噪中的应用属于未知阶段。已有的RBM 模型图像去噪方法完全基于RBM 无向图模型，低层的分布也依赖于高层的分布，会导致计算复杂，去噪效果也一般。在RBM算法原理与之前相关DBN 算法的研究基础上，提出基于RBM 模型的DBN 网络的图像数据随机噪声去除的方法，其优势在于它在去噪时不需要训练集，也不需要预训练，去噪高效且效果好。将原始图像加入随机噪声，把带噪声的图像分割成若干小块，将其一一拉成向量，批量输入2个隐层的DBN模型中进行学习，原始图像作为标签进行反向微调，最后将其学习的特征输出，还原成图像，即达到消除随机噪声的目的。用DBN 模型算法分别在自然图像数据、模拟的地震数据和真实的地震数据上做随机噪声去除测试，测试结果表明，提出的基于RBM 模型的DBN 网络在自然图像数据和地震数据上去噪方法可行，且去除随机噪声效果较其他无监督学习算法和卷积神经网络等深
度学习方法要好，说明RBM 模型在图像特征学习性能、本质特征提取上有很强的能力。

　　1 绪论　／ 1
1.1　研究背景及意义／2
1.2　国内外研究现状／8
1.3　本书研究内容及章节安排／17
1.4　本章小结／20
2 受限Boltzmann 机模型及算法概述　／ 21
2.1　受限Boltzmann 机模型／22
2.2　受限Boltzmann 机采样算法／32
2.3　动量算法／42
2.4　RBM 正则化方法／45
2.5　本章小结／60
3 基于RBM 的专家乘积系统的改进算法　／ 61
3.1　引言／62
3.2　专家乘积系统／62
目录
基于受限Boltzmann 2 机模型的识别算法及其应用研究
3.3　改进动量算法／74
3.4　图像识别的应用／76
3.5　地震数据去噪的应用／85
3.6　本章小结／89
4 基于动量方法的RBM 不同梯度近似算法　／ 91
4.1　引言／92
4.2　受限Boltzmann 机模型的梯度／93
4.3　改进的动量算法／97
4.4　修正的动量算法／103
4.5　改进动量算法的分析及应用／107
4.6　修正动量算法的分析及应用／115
4.7　本章小结／123
5 基于权衰减动量RBM 的ACD 算法　／ 125
5.1　引言／126
5.2　RBM 梯度近似方法／127
5.3　改进的ACD 算法／129
5.4　图像识别的应用／137
5.5　本章小结／148
6 基于梯度改进的LogsumRBM 方法　／ 149
6.1　引言／150
6.2　RBM 优化方法／151
目录 3
6.3　改进的LogsumRBM 方法／153
6.4　图像识别的应用／160
6.5　本章小结／170
7 基于RBM 模型的图像数据去噪算法　／ 172
7.1　引言／173
7.2　RBM 无监督学习模型的去噪方法／176
7.3　自然图像数据去噪／179
7.4　地震图像数据去噪／187
7.5　本章小结／192
8 总结与展望　／ 194
8.1　本书研究总结／195
8.2　研究展望／202
参考文献　／ 207
索引　／ 230