Правдоподобие и перплексия
Оценка качества языковых моделей на основе правдоподобия и перплексии.
Меры WER и CER
Оценка качества языковых моделей: метрики Word Error Rate (WER) и Character Error Rate (CER).
Мера BLEU
Метод BLEU для оценки качества машинного перевода. Модифицированная униграммная точность, штраф за краткость, микроусреднение и проблема чрезмерной генерации.
Мера ROUGE
Оценка качества генерации текстов и суммаризации с помощью метрики ROUGE. Сравнение ROUGE с BLEU и WER.
METEOR, CIDEr, BERTScore
Метрики METEOR, CIDEr и BERTScore для оценки качества языковых моделей.
Использование языковых моделей в качестве судей
Оценка качества генерации текстов с помощью подхода LLM-as-a-Judge. Точечная оценка, попарное сравнение, проблемы смещений и специализированные модели-судьи.