📄️ Остаточный блок
Остаточный блок (residual block) и остаточная сеть (residual net, ResNet) для более быстрой и эффективной настройки нейросети.
📄️ Батч-нормализация
Батч-нормализация нейронной сети - определение, объяснение, логика работы в режиме обучения и применения сети.
📄️ Нормализация слоя
Нормализация слоя (layer normalization, layer norm) в нейронных сетях - определение, мотивация, преимущества, сравнение с батч-нормализацией.
📄️ Обрезка градиента
Обрезка градиента (gradient clipping) и адаптивная обрезка градиента (adaptive gradient clipping) в нейронных сетях.