昆明網(wǎng)絡調試的相關技巧
我們的這個昆明網(wǎng)絡調試請打印出訓練集的cost值和測試集上cost值的變化趨勢,正常情況應該是訓練集的cost值不斷下降,趨于平緩,或者小范圍震蕩,測試集的cost值先下降,然后開始震蕩或者慢慢上升。如果神經(jīng)網(wǎng)絡代碼,我們在進行昆明網(wǎng)絡調試全部是自己實現(xiàn)的,那么強烈建議做梯度檢查。確保梯度計算沒有錯誤。
昆明網(wǎng)絡調試要先從簡單的網(wǎng)絡開始實驗,不要僅僅看cost值,還要看一看神經(jīng)網(wǎng)絡的預測輸出是什么樣子,確保能跑出預期結果。例如做語言模型實驗的時候,先用一層RNN,如果一層RNN正常,再嘗試LSTM,再進一步嘗試多層LSTM。
我們在進行這個昆明網(wǎng)絡調試的時候如果可能的話,可以輸入一條指定數(shù)據(jù),然后自己計算出每一步正確的輸出結果,再檢查一下神經(jīng)網(wǎng)絡每一步的結果,是不是一樣的。
13398842037