Перейти к основному содержимому

Модели AlexNet и ZFNet

AlexNet​

Сеть AlexNet [1] представляет собой глубокую свёрточную нейросеть, и она стала победителем соревнований ILSVRC в 2012 году с большим отрывом.

Этот момент считается рождением глубокого обучения, поскольку победа AlexNet привлекла массовое внимание к глубоким нейросетям, и только глубокие нейросети стали побеждать в последующих соревнованиях ILSVRC.

Архитектура​

Архитектурно сеть представляет собой усложнённую версию LeNet [2]:

В AlexNet больше свёрточных слоёв, слоёв пулинга, а полносвязные слои содержат больше нейронов.

Настройка такой большой сети стала возможной за счёт использования видеокарт (graphics processing unit, GPU), позволивших производить векторные операции за один такт, используя параллельные вычисления на многих встроенных ядрах. Память видеокарт того времени (GTX 580 с 3 GB памя­ти) не позволила разместить нейросеть целиком, поэтому авторам пришлось использовать групповые свёртки, разбив число каналов пополам. Каждую половину обрабатывать на отдельной видеокарте, как показано ниже [3]:

Инженерные улучшения​

Помимо увеличения числа слоёв, в AlexNet (по сравнению с LeNet) использовались следующие архитектурные улучшения:

  • свёртки имели разный размер: 11x11, 5x5, 3x3;

  • нелинейности tangh (в LeNet) были заменены на нелинейности ReLU;

  • усредняющий пулинг был заменён на максимизирующий;

  • на полносвязные слои действовала регуляризация DropOut и L2;

  • во время обучения использовалась аугментация данных;

  • в конце действует SoftMax-преобразование рейтингов классов.

Модель ZFNet​

В 2013 году на соревновании ILSVRC победила сеть ZFNet [4], не сильно отличающаяся от AlexNet. В ней начальные фильтры были 7x7 (с шагом 2), тогда как в AlexNet - 11x11 (с шагом 4). На втором свёрточном слое использовались фильтры 5x5 также с шагом 2. В промежуточных представлениях использовалось больше каналов и нейронов. Архитектура сети представлена ниже [4]:

Литература​

  1. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks //Advances in neural information processing systems. – 2012. – Т. 25.
  2. https://en.wikipedia.org/wiki/AlexNet
  3. Прокопеня А. С., Азаров И. С. Сверточные нейронные сети для распознавания изображений. – 2020.
  4. Zeiler M. D., Fergus R. Visualizing and understanding convolutional networks //Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part I 13. – Springer International Publishing, 2014. – С. 818-833.