Инициализация весов: Xavier, He и контроль дисперсии
🔒 Sign in to use this
Инициализация весов: почему старт определяет всё
Нейросеть — это оптимизационная задача в миллионномерном пространстве. Откуда начать поиск — принципиально важно. Нулевые веса: все нейроны одинаковы, симметрия не нарушается, сеть не обучается. Слишком большие: активации насыщаются, градиент умирает. Слишком маленькие: активации схлопываются к нулю. Xavier и He решают это точным расчётом: подбирают дисперсию весов так чтобы дисперсия активаций оставалась постоянной на протяжении всей сети.
Content is available with subscription.
Get full access to all courses on the platform for one year with a single payment.
▼
▼
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.
🔒 Sign in to use this