初始
為什麼我們需要權重初始化？
作者:
天天見聞
時間:2024-10-11
閱讀: 29
這個問題被稱為**權重初始化。在我們訓練網絡之前，我們需要初始化所有的權重。如果網絡的所有權重都被初始化為零，所有的激活都是零，相應的梯度也是零。解決這個問題的方法之一是以小标準差的正态分布來初始化權重。Xavier初始化的目的是初始化權重，使每一層的方差都是相同的。...
