Механизм внимания и трансформер

В этом разделе вы изучите продвинутый метод обработки и генерации последовательностей моделью трансформера (transformer), основанного на механизме внимания (attention mechanism).

📄️ Трансформер

Модель трансформера - архитектура, преимущества, принцип работы.

📄️ Кодировщик

Кодировщик в модели трансформера и механизм самовнимания (self-attention).

📄️ Позиционное кодирование

Позиционное кодирование в модели трансформера - метод, обоснование и пример работы.

📄️ Декодировщик

Декодировщик в модели трансформера, механизм самовнимания и кросс-внимания (self-attention, cross-attention). Виды внимания в трансформерах.

📄️ Обучение трансформера

Особенности обучение модели трансформера.