隨機性梯度下降算法
SGD算法則是利用隨機梯度下降算法對網絡參數進行優(you) 化。在損失函數上對當前點的對應梯度(或近似梯度)反方向的指定步長距離點上進行迭代搜索。大規模梯度下降法在對每個(ge) 參數進行更新時都需要所有的訓練樣本，因此，隨著樣本數目的增加，訓練過程變得非常緩慢。通過每次迭代更新一次隨機梯度下降，從(cong) 而提高了優(you) 化的效率。
網路優(you) 化算法
通用損耗函數
·平均誤差值。
平均誤差是指實際值與(yu) 預測值之差平方的期望值，它通常用在回歸問題中，即交叉熵損失函數。
交熵是指實際的類標記分布和模型預測的類標記分布之間的距離，在分類問題中經常使用。
網路優(you) 化算法
優(you) 選過程-輸出層。
網路優(you) 化算法
中間層是一個(ge) 優(you) 化過程。
反傳(chuan) 算法(backpropagation)和梯度下降算法(gradientdecent)對神經網絡參數進行調整。該算法主要是用來對單個(ge) 參數進行優(you) 化，而反向傳(chuan) 播算法則提供了一種對所有參數都有效的梯度下降算法，使得神經網絡模型在訓練數據上的損失函數盡可能小。反傳(chuan) 算法是訓練神經網絡的核心算法，它能根據神經網絡中定義(yi) 好的損失函數對神經網絡的參數進行優(you) 化，從(cong) 而使神經網絡模型在訓練數據集上的損失函數達到小。神經網絡模型的參數優(you) 化過程直接決(jue) 定模型的質量，因此神經網絡的優(you) 化是一個(ge) 非常重要的步驟。
假定神經網絡的參數用θ來表示，J(θ)表示在給定的參數值下訓練數據集上損失函數的大小，則可以將整個(ge) 優(you) 化過程抽象為(wei) 尋找一個(ge) θ，使J(θ)達到最。由於(yu) 目前還沒有一種通用的方法直接求出任意損失函數的好的參數，因此實際應用中常用的神經網絡優(you) 化方法是梯度下降法。該算法通過迭代更新參數θ，不斷地沿梯度的反方向更新，使參數朝著總損失較小的方向變化。
