初始

為什麼我們需要權重初始化?

為什麼我們需要權重初始化?

作者: 天天見聞 時間:2024-10-11 閱讀: 9
這個問題被稱為**權重初始化。在我們訓練網絡之前,我們需要初始化所有的權重。如果網絡的所有權重都被初始化為零,所有的激活都是零,相應的梯度也是零。解決這個問題的方法之一是以小标準差的正态分布來初始化權重。Xavier初始化的目的是初始化權重,使每一層的方差都是相同的。...

年度爆文