Введение в язы ковые модели
Введение в языковые модели - определение, статистический подход, N-граммы, проблема нулевой вероятности, методы сглаживания и переход к нейросетевым моделям.
Жадный и лучевой поиск
Алгоритм жадного и лучевого поиска - описание, пример работы, сравнение и анализ.
О ценка качества языковых моделей
Методы оценки качества языковых моделей.
Меры WER и CER
Оценка качества языковых моделей: метрики Word Error Rate (WER) и Character Error Rate (CER).
Мера BLEU
Метод BLEU для оценки качества машинного перевода. Модифицирова нная униграммная точность, штраф за краткость, микроусреднение и проблема чрезмерной генерации.
Мера ROUGE
Оценка качества генерации текстов и суммаризации с помощью метрики ROUGE. Сравнение ROUGE с BLEU и WER.
METEOR, CIDEr, BERTScore
Метрики METEOR, CIDEr и BERTScore для оценки качества языковых моделей.
Использование языковых моделей в качестве судей
Оценка качества генерации текстов с помощью подхода LLM-as-a-Judge. Точечная оценка, попарное сравнение, проблемы смещений и специализированные модели-судьи.