Токенизация текста
Токенизация текста в машинном обучении. Пословная, посимвольная и сабворд-токенизация. Алгоритмы BPE, Byte-level BPE, WordPiece и SentencePiece. Нормализация текста.
Токенизатор BPE
Алгоритм токенизации BPE (Byte-Pair Encoding). Обучение BPE, кодирование и декодирование. Пре-токенизация текста и решение проблемы разделения слов. Переход к Byte-Level BPE.
Byte-Level BPE и Tiktoken
Токенизация на уровне байтов (Byte-Level BPE) и библиотека Tiktoken. Решение проблемы неизвестных слов (OOV) и оптимизация словарей для больших языковых моделей.
Токенизатор WordPiece
Токенизатор WordPiece в машинном обучении. Алгоритм обучения на основе максимизации правдоподобия, использование маркера продолжения слова, процесс инференса (MaxMatch) и анализ метода.
Токенизатор SentencePiece
Токенизатор SentencePiece и алгоритм Unigram. Проблема детерминированной токенизации, вероятностное сэмплирование подслов и сравнение с алгоритмами типа BPE.