ResNet: остаточные связи и обучение глубоких CNN

До 2015 года добавление слоёв после определённой точки ухудшало качество — даже на train. Не переобучение: модель просто переставала обучаться. Это называлось degradation problem. He et al. решили это одной идеей: если добавленные слои ничего не улучшают, пусть они научатся предсказывать нуль. Тогда выход блока = вход (identity). Skip connection делает это тривиальным — градиент всегда имеет запасной прямой путь.