梯度下降
梯度下降
梯度下降
梯度下降算法的目的，是為(wei) 了尋找一個(ge) 曲麵的zui低點。例如當知道某個(ge) 平麵的表達式後，便可以知道每個(ge) 點的梯度，如果從(cong) 一個(ge) 初始點開始，根據梯度方向往zui小值的方向移動，直到達到非常小的誤差後，便是zui終的結果。文章以一個(ge) 一維梯度和一個(ge) 二維梯度下降，演示兩(liang) 個(ge) 過程。
一維梯度下降
以一個(ge) 非常常見的二次函數為(wei) 例
根據上述公式，求解zui小值的位置應該位於(yu) 梯度為(wei) 零處，即0.75
如果假設初始位置位於(yu) x=1.8，每次步進
，那麽(me) 下一個(ge)
當
的時候，經過不斷迭代後，zui終趨向於(yu) 整個(ge) 曲線的zui小值。虛線是根據公式得到的圖標，彩色點表示經過迭代得到的結果
隨著不斷迭代，坐標x也去向與(yu) -3/2，這也是方程zui低值的坐標
當
時，他是經過不斷震蕩後趨向穩定之的
但是繼續增大
，整個(ge) 方程無法去向穩定
二維梯度下降
同樣是先假設一個(ge) 麵，從(cong) 麵的某一個(ge) 點開始，利用梯度下降算法尋找zui低點。zui低點坐標位於(yu) (0, 0)，且zui低值為(wei) 0
為(wei) 了更加清楚的展示曲麵，采用等高線來描述整個(ge) 立體(ti) 曲麵
根據梯度算法，坐標更新方程為(wei)
經過20此迭代後，zui終坐標趨向於(yu) 
zui小值所在的點位置。下圖中的彩色點，即表示每一次迭代後，坐標的更新情況。
二維梯度下降例子2
新的一個(ge) 方程
形狀如下方兩(liang) 張圖所示
兩(liang) 個(ge) 方向都是零點的位置，位於(yu) {{x->0,y->0}}，對應的值為(wei) 0。
可以看出，在梯度為(wei) 零的點並不是zui小值，可以在其他地方找到更小的地方。因為(wei) 這張圖是馬鞍形狀，原點位置屬於(yu) 鞍點， 並不是zui值或者ji小值。
接著嚐試使用梯度下降的方法尋找zui小值，首先是坐標更新方程為(wei)
下圖中的淺綠色，代方向的箭頭表示的是整個(ge) 方程梯度的方向。彩色線條表示梯度下降算法計算的路徑，初始位置位於(yu) （-55，-75），經過多次迭代後，相乘的路徑。因為(wei) 他是按照梯度下降的路徑虛招方向，所以整體(ti) 路徑和梯度形成的曲線是幾乎一致的。
二維梯度梯度例子2
舉(ju) 一個(ge) 更加複雜的例子
圖中可以看出，整張圖包含多個(ge) 極值
從(cong) 他的梯度圖中也可以觀察到，存在多個(ge) 匯聚和發散的中心點
修改方程，通過梯度下降尋找周邊zui大值。並且觀察不同的初始值，找到的結果可能是局部的極值，但是並沒有找到真正的zui值。
關(guan) 於(yu) 昊量光電：
上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商，国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等，涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等服務。
您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。
展示全部 
