Остаточный блок
Остаточный блок (residual block) и остаточная сеть (residual net, ResNet) для более быстрой и эффективной настройки нейросети.
Батч-нормализация
Батч-нормализация нейронной сети - определение, объяснение, логика работы в режиме обучения и применения сети.
Нормализация слоя
Нормализация слоя (layer normalization, layer norm) в нейронных сетях - определение, мотивация, преимущества, сравнение с батч-нормализацией.
Обрезка градиента
Обрезка градиента (gradient clipping) и адаптивная обрезка градиента (adaptive gradient clipping) в нейронных сетях.