📄️ Численные методы оптимизации
Численные методы оптимизации для настройки параметров моделей машинного обучения. Понятие градиента и антиградиента. Безградиентные методы оптимизации.
📄️ Метод градиентного спуска
Метод градиентного спуска (gradient descent) для настройки параметров моделей машинного обучения. Условия остановки, особенности решений, выбор шага обучения (learning rate).
📄️ Метод стохастического градиентного спуска
Метод стохастического градиентного спуска (stochastic gradient descent, SGD) для настройки параметров моделей машинного обучения. Минибатч объектов, выбор размера минибатча.
📄️ Мониторинг сходимости
Мониторинг сходимости методов оптимизации. Экспоненциальное сглаживание и скользящее среднее.
📄️ Стохастический градиентный спуск с инерцией
Использование инерции (momentum) для ускорения метода стохастического градиентного спуска. Инерция Нестерова (Nestrov momentum).
📄️ Метод Ньютона
Метод Ньютона для настройки параметров моделей машинного обучения. Обоснование метода, его достоинства и недостатки. Методы оптимизации второго порядка.
📄️ Вопросы
Вопросы по градиентным методам оптимизации в машинном обучении.