正則化過擬合
正則化過擬合
假設由一個(ge) 二次函數產(chan) 生的信號x^2/10+2 x+1，其中包含了一些噪聲
對應波形如圖所示
不了解函數的具體(ti) 波形的情況下，使用不同階數去擬合函數的波形，分別獲得
當擬合的參數過少，屬於(yu) 欠擬合。當引入過多高階項時，雖然當時誤差見笑了。但是如果繼續添加新的數據，誤差卻是越來越大。為(wei) 了抑製高階項的係數，引入正則化的方法，將高階的係數保持在一定的範圍內(nei) 。
例如一個(ge) 函數
對上述公式進行正則化處理，正則化可以分為(wei) L1正則化和L2正則化。
或者
通過zui小二乘法計算的代價(jia) 函數，
為(wei) L1正則化，
為(wei) L2正則化。
假設以L2正則化為(wei) 例，對C進行求導，
仍舊保持不變，梯度仍舊區域原來的位置，但是
求導後得到
，他的梯度位於(yu) 原點位置，因此整體(ti) 會(hui) 將參數
拉向遠點位置，當
越大，就越偏向於(yu) 遠點，從(cong) 而減小這幾項係數的權重。因此
因為(wei) 稱為(wei) 懲罰項。
以一個(ge) 簡單方程為(wei) 例
假設代價(jia) 函數為(wei) x^2 - 6 x + 1 + y^2 - 6 y + 1 + 0.5 x y
如果仍舊是按照梯度下降算法去計算，那麽(me) zui低點位於(yu) {2.4, 2.4}
如果加上懲罰函數後，隨著
不斷增加，代價(jia) 函數Min值zui終會(hui) 更加靠近原點
將Signal信號為(wei) 例子，抑製高階參數
L2正則化公式可以按照下述方式描述，本身是為(wei) 了求解幾個(ge) 係數。然後根據梯度下降算法求解Min值
正確的方程加應該是a->1, b->2, c->0.1, d->0, e->0。當沒有L2正則化的情況下，常規的評價(jia) 函數獲取的解如下
當添加L2正則化後，需要懲罰的係數為(wei) c和d。不同參數
的情況下得到。不斷增大[MISSING IMAGE: , ]的情況下，d和e越來越趨近於(yu) 零
zui終結果是
與(yu) 初始值
像差還是非常遠的
增加采樣數據點數
將原有的信號從(cong) 10個(ge) 變成30個(ge) 點
同樣使用梯度算法，並且不斷增加係數的大小
五個(ge) 係數從(cong) zui初的
變成
可以看到他的確一邊壓製高階項，同時低階項目也越來越準確。
了解更多詳情，請訪問上海昊量光電的官方網頁：
https://www.weilancj.com/three-level-46.html
更多詳情請聯係昊量光電/歡迎直接聯係昊量光電
關(guan) 於(yu) 昊量光電：
上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商，国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等，涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等服務。
您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。
展示全部 
