Перейти к основному содержимому

Оценка качества языковых моделей

Языковая модель (language model) - это модель, предсказывающая вероятности появления слов или других токенов, из которых состоит текст.

Языковая модель способна генерировать текст за счёт итеративного предсказания следующих слов текста по предыдущим. В этой главе мы рассмотрим методы оценки качества работы языковых моделей, генерирующих тексты.

Для этого языковую модель применяют к реальным текстам и смотрят, насколько реальные слова текста оказываются вероятны согласно предсказанному распределению вероятностей слов, либо насколько согласовываются некоторые характеристики реальных и сгенерированных текстов.

Далее будем обозначать реальный текст как последовательность из TT слов:

w1w2...wTw_1w_2...w_T

Средний логарифм правдоподобия​

Качество языковой модели можно оценивать как средний логарифм вероятности пронаблюдать слова (согласно вероятностям, предсказанным моделью), встретившиеся в естественном тексте:

S(w1w2...wT)=1Tlog⁡P(w1w2...wT)=1Tlog⁡P(w1)p(w2∣w1)...P(wT∣w1w2...wT−1)=1T∑t=1Tlog⁡P(wt∣w1w2...wt−1)\begin{aligned} S(w_1w_2...w_T) &= \frac{1}{T}\log P(w_1w_2...w_T) \\ &=\frac{1}{T}\log P(w_1)p(w_2|w_1)...P(w_T|w_1w_2...w_{T-1}) \\ &=\frac{1}{T}\sum_{t=1}^T \log P(w_t|w_1w_2...w_{t-1}) \\ \end{aligned}

Чем он выше, тем более высокую вероятность модель сопоставляет реальному тексту и тем лучше с ним согласуется.

Перплексия​

Исторически для оценки качества моделей более распространена перплексия (perplexity [1]), являющаяся нелинейной трансформацией от среднего логарифма правдоподобия:

PPL=e−1T∑t=1Tln⁡p(wt∣wt−1wt−2...w1)\text{PPL}=e^{-\frac{1}{T}\sum_{t=1}^{T}\ln p\left(w_{t}|w_{t-1}w_{t-2}...w_{1}\right)}

Её можно представить в эквивалентном виде как величину, обратную к среднему геометрическому модельных вероятностей:

PPL=1(∏t=1Tp(wt∣wt−1wt−2...w1))1/TPPL = \frac{1}{ \left( \prod_{t=1}^T p(w_t|w_{t-1}w_{t-2}...w_1) \right)^{1/T} }

Из последнего представления видно, что перплексию можно интерпретировать как среднее число вариантов следующего слова, которые рассматривает модель при условии, что истинное слово попадает в эти варианты.

Перплексия принимает значения от единицы до +∞+\infty. Поскольку это убывающая функция от правдоподобия выборки, то чем она меньше, тем лучше прогнозы модели согласуются с реальными текстами.

  • В идеале каждому следующему слову назначается единичная вероятность. В этом случае перплексия равна 1.

  • В худшем случае модель назначает нулевую вероятность следующим словам. Тогда перплексия равна бесконечности.

  • Базовым уровнем перплексии является случай, когда модель случайно угадывает слова среди всех VV слов языка, назначая каждому вероятность 1/V1/V. В этом случае перплексия равна VV.

ROUGE​

Мера ROUGE (Recall-Oriented Understudy for Gisting Evaluation [2]) оценивает качество сгенерированного текста, анализируя, насколько часто n-граммы этого текста (последовательности из nn подряд идущих слов) встречаются в реальном тексте. Существуют различные варианты этой меры:

  • ROUGE-N [3] сравнивает пересечение n-грамм в сгенерированном и реальном тексте.

    • Например, ROUGE-1 вычисляет похожесть множества слов в реальном и сгенерированном тексте. А ROUGE-2 рассчитывает уже сходство биграмм, т.е. наборов из двух подряд идущих слов.

  • ROUGE-L [4] вычисляется, используя длину наибольшей общей подпоследовательности слов (longest common subsequence) между сгенерированным и реальным текстом.

Общую подпоследовательность не следует смешивать с общей подстрокой. Если в общей подстроке слова должны идти в точности одинаково в первом и втором тексте, то в общей подпоследовательности слова могут идти со вставками других слов. Главное - чтобы они шли в одной и той же последовательности, то есть сохранялась одинаковая очерёдность слов в обоих текстах.

Существуют и другие варианты, такое как ROUGE-W и ROUGE-S [5].

Литература​

  1. Zhang A. et al. Dive into deep learning. – Cambridge University Press, 2023: Perplexity.

  2. Lin C. Y. Rouge: A package for automatic evaluation of summaries //Text summarization branches out. – 2004. – С. 74-81.

  3. Lin C. Y., Hovy E. Automatic evaluation of summaries using n-gram co-occurrence statistics //Proceedings of the 2003 human language technology conference of the North American chapter of the association for computational linguistics. – 2003. – С. 150-157.

  4. Lin C. Y., Och F. J. Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics //Proceedings of the 42nd annual meeting of the association for computational linguistics (ACL-04). – 2004. – С. 605-612.

  5. Wikipedia: ROUGE (metric).