Модель нейрона
Модель нейрона в нейронных сетях. Функции активации для решения задачи регрессии и классификации.
Многослойный персептрон
Определение и пример многослойного персептрона, полносвязные слои, расчёт числа параметров в них. Обучение представлений.
Функции активации
Основные функции активации в нейросетях. Определения, графики, примеры использования и отличия на качественном уровне.
Выходы нейросети и функции потерь
Выходы нейросети для задач регрессии, векторной регрессии, бинарной и многоклассовой классификации. Примеры функций потерь для каждого случая.
Симметрия в пространстве весов
Неоднозначность между прогностическими функциями и весами нейросети, множественность эквивалентных решений.
Моделирующие способности нейросети
Минимальное число слоёв нейронной сети для решения задачи классифи кации и регрессии. Мотивация использования глубоких нейронных сетей с большим числом слоёв.
Обучение представлений
Задача обучения промежуточных представлений (representation learning) в нейросетях. Геометрический смысл таких представлений, переводящих объекты многомерного пространства в маломерное многообразие (low dimensional manifold). Построенные промежуточные представления на примере активаций глубоких слоёв свёрточной нейронной сети.