深度學習的常用模型及方法-受限波爾茲曼機和深度信念網路
- 1. 受限玻爾茲曼機
- 1.1 受限玻爾茲曼機原理
- 1.2 受限玻爾茲曼機實作
- 2. 深度信念網路
- 2.1 深度信念網路原理
1. 受限玻爾茲曼機
受限玻爾茲曼機（RBM，Restricted Boltzmann machine）由多倫多大學的 Geoff Hinton 等人提出，它是一種可以用于降維、分類、回歸、協同過濾、特征學習以及主題建模的演算法，
1.1 受限玻爾茲曼機原理
RBM可以被看做是一個自編碼器，
- 從可見層到隱藏層的輸入樣本，W，a用Sigmoid激活的程序就是編碼；
- 從隱藏層到可見層的神經元值和W，b的程序就是解碼；
- 優化期望差距盡可能小，迭代最后得到模型，
1.2 受限玻爾茲曼機實作
由于梯度下降計算量太大，可以采用Gibbs采樣方法來模擬計算求解每個樣本的梯度損失再求梯度和，
Gibbs的作用是用來估計負梯度似然函式和在訓練完模型之后進行采樣，來看模型對資料的擬合以及網路中間隱含層的抽象效果，
2. 深度信念網路
深度信念網路（Deep Belief Network, DBN）由多個RBM組成的一個神經網路，
2.1 深度信念網路原理
DBN遵循逐層進行訓練的程序，通過隱層提取特征使后面層次的訓練資料更加有代表性，通過可生成新資料能解決樣本量不足的問題，
逐層的訓練程序如下：
- 最底部RBM以原始輸入資料進行訓練；
- 將底部RBM抽取的特征作為頂部RBM的輸入繼續訓練；
- 重復這個程序訓練以盡可能多的RBM層
加油!
感謝!
努力!
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/295552.html
標籤：AI