📄️ Оптимизаторы с постоянным шагом
Базовые градиентные методы настройки нейросетей - метод градиентного спуска, стохастического градиентного спуска, использование инерции и инерции Нестерова.
📄️ Выбор шага обучения
Методы уменьшения шага обучения (learning rate scheduling) по ходу обучения нейросети.
📄️ Оптимизаторы с переменным шагом
Методы оптимизации для нейросетей - AdaGrad, RMSprop, Adam. Их идея - адаптивное изменение шага обучения вдоль каждой оси.
📄️ Классы точек стационарности
Типы точек стационарности у нелинейной функции - точки минимума, точки максимума и точки перегиба. Их объяснение через разложение Тейлора 2-го порядка.
📄️ Автоматическое дифференцирование
Метод обратного распространения ошибки (backpropagation, backprop), пример использования и его альтернативы для вычисления градиентов функции потерь при настройке нейросетевых моделей.
📄️ Инициализация
Методы инициализации весов нейросети перед её настройкой. Свйоства сохранения диспресии активаций и градиентов по слоям сети.