Архитектура LeNet
LeNet [1] - семейство первых широко известных нейросетевых архитектур LeNet-1 - LeNet-5, появившихся еще в 1989 (LeNet-1). Самой известной версией, которую называют просто LeNet, является LeNet-5 [2], структура которой приведена ниже [2]:
LeNet нашла широкое применение в распознавании рукописных цифр и букв небольшого разрешения (32x32). Она представляет собой классическую свёрточную архитектуру, в начале которой идут свёртки (convolutions) и усредняющие пулинги (subsampling), постепенно снижающие размерность внутреннего представления, которое на пятом слое векторизуется, после чего к нему применяются два полносвязных слоя.
Эта архитектура содержит порядка 10.000 настраиваемых параметров.
Таким образом, уже в 1990-е годы несложные свёрточные сети были известны и применялись в промышленных приложениях. Но дальнейшее развитие глубоких нейросетей ограничивалось слабыми вычислительными возможностями и недостаточно развитыми инженерными приёмами для настройки сетей с большим числом параметров и слоёв.
В последующих главах мы рассмотрим, как можно улучшить эту архитектуру.