Мера BLEU

Мера BLEU (bilingual evaluation understudy, [1]) была предложена для оценки качества генерации языковыми моделями при осуществлении машинного перевода с одного языка на другой.

В целом, при оценке качества машинного перевода эксперты обычно учитывают следующие аспекты:

• Адекватность (adequacy) — насколько полно и без искажений передан общий смысл.

• Точность (fidelity) — насколько точно перевод соответствует исходным деталям оригинала.

• Плавность (fluency) — насколько перевод звучит грамматически корректно и естественно.

Ручная оценка обходится крайне дорого и занимает месяцы работы. Для автоматизации этого процесса была разработана метрика BLEU, которая измеряет качество перевода путем оценки лексического совпадения сгенерированного текста с одним или несколькими эталонными переводами (референсами), созданными профессиональными переводчиками.

Разумно сравнивать не с одним, а с несколькими эталонами, поскольку одно предложение допускает много разных вариантов корректного перевода.

За счёт способности меры BLEU учитывать сходство генерации с несколькими возможными эталонами, эта мера также активно используется для оценки генерации текстов и в других задачах:

• Генерация текстовых описаний к изображениям (image captioning).

• Суммаризация текстов (text summarization).

• Парафразирование предложения с сохранением смысла (paraphrasing).

Модифицированная n-граммная точность

Расчёт BLEU основан на расчёте доли N-грамм генерации, которые при этом встретились и в эталонах. Поэтому BLEU называют мерой, ориентированной на точность (precision oriented measure). Однако использование классической формулы точности сталкивается с серьезной уязвимостью: модель может чрезмерно генерировать слова, которые формально присутствуют в эталоне, но их повторение лишает текст смысла.

Например, если эталонный перевод - это the cat is on the mat, а модель сгенерировала текст-кандидат the the the the the the the, обычная точность совпадения слов (униграмм) составит 100%, поскольку каждое слово the из кандидата действительно есть в эталоне!

Для решения этой проблемы в BLEU предложено использовать модифицированную n-граммную точность (modified n-gram precision).

Алгоритм вычисляет $\text{MaxRefCount}(\text{n-gram}))$ - максимальное количество раз, которое каждая отдельная n-грамма генерации встречается в каком-либо одном из эталонных переводов. Затем количество совпадений этой n-граммы в тексте-кандидате ограничивается сверху данным значением.

Формула модифицированной точности $p_n$ применяется сразу для всего набора предложений (оцениваемого текстового корпуса), а не для одного отдельного предложения, и выглядит следующим образом:

$$p_n = \frac{\sum_{c \in \text{Candidates}} \sum_{\text{n-gram} \in c} \min(\text{Count}_{c}(\text{n-gram}), \text{MaxRefCount}(\text{n-gram}))}{\sum_{c \in \text{Candidates}} \sum_{\text{n-gram} \in c} \text{Count}_{c}(\text{n-gram})}$$

Здесь используются следующие обозначения:

• $\text{Candidates}$ — множество всех сгенерированных предложений-переводов в оцениваемом текстовом корпусе.
• $c$ — отдельное предложение-кандидат из этого множества.
• $\text{Count}_{c}(\text{n-gram})$ — количество фактических вхождений конкретной n-граммы в перевод-кандидат $c$.
• $\text{MaxRefCount}(\text{n-gram})$ — максимальное количество раз, которое данная n-грамма встречается в каком-либо одном из эталонных переводов для текущего кандидата $c$.

Пример расчета модифицированной точности для униграмм

Вычислим модифицированную точность для униграмм (отдельных слов) для следующего примера.

Кандидат: the cat the cat on the mat

Референс 1: the cat is on the mat Референс 2: there is a cat on the mat

Текст-кандидат состоит из 7 слов. Подсчитаем частоту появления каждой униграммы в кандидате и найдем ограничение $\text{MaxRefCount}$ по эталонам:

1. Униграмма the:
   • Встречается в кандидате 3 раза.
   • Максимум в референсах: 2 раза (в референсе 1).
   • Засчитано совпадений: $\min(3, 2) = 2$.
2. Униграмма cat:
   • Встречается в кандидате 2 раза.
   • Максимум в референсах: 1 раз (есть в обоих референсах по одному разу).
   • Засчитано совпадений: $\min(2, 1) = 1$.
3. Униграмма on:
   • Встречается в кандидате 1 раз.
   • Максимум в референсах: 1 раз.
   • Засчитано совпадений: $\min(1, 1) = 1$.
4. Униграмма mat:
   • Встречается в кандидате 1 раз.
   • Максимум в референсах: 1 раз.
   • Засчитано совпадений: $\min(1, 1) = 1$.

Итого, сумма засчитанных совпадений (числитель формулы) составляет $2 + 1 + 1 + 1 = 5$. Общее количество униграмм в кандидате (знаменатель формулы) составляет $7$. Модифицированная точность униграмм $p_1$ равняется $5/7$.

Аналогично производится расчёт для биграмм и $n$-грамм более высокого порядка.

Объединение модифицированных точностей

Чтобы оценить качество перевода всесторонне, алгоритм BLEU вычисляет модифицированную точность не только для отдельных слов (униграмм), но и для биграмм, триграмм и 4-грамм (до $N=4$).

С увеличением длины n-граммы вероятность ее точного совпадения с эталоном быстро убывает (примерно экспоненциально). Если бы мы пытались усреднять эти величины, итоговое значение почти полностью определялось бы униграммами, а вклад более длинных фраз терялся бы на фоне математической погрешности.

Поэтому при агрегации используется не арифметическое, а геометрическое усреднение:

$$\exp \left( \frac{1}{N} \sum_{n=1}^N \ln p_n \right) = \left( \prod_{n=1}^N p_n \right)^{\frac{1}{N}}$$

При таком усреднении n-граммы для каждого $n$ будут существенно влиять на итоговый показатель качества.

Устойчивость к отсутствию n-грамм высокого порядка

Если модель генерирует текст, в котором нет, например, ни одной правильной 4-граммы, то $p_4 = 0$. В результате итоговый балл становится равен нулю, даже если отдельные слова и фразы были переведены отлично.

Для решения этой проблемы на практике применяется сглаживание, при котором прибавляют небольшую положительную константу к числителю и знаменателю при подсчете модифицированной точности $p_n$, $n=1,2,...N$.

Штраф за краткость

Модифицированная n-граммная точность успешно решает проблему чрезмерно длинных переводов: лишние n-граммы генерации не найдут аналогов в эталонах, что снизит меру качества.

Однако возникает обратная проблема: метод уязвим перед слишком короткими переводами.

Рассмотрим следующий пример:

Эталон: The cat is lying on the beautiful mat

Генерация модели: The cat. Униграммная точность кандидата равняется 2/2, биграммная точность равняется 1/1. Получаем 100% значение критерия, несмотря на потерю большей части текста!

Для решения этой проблемы вводится штраф за краткость (sentence brevity penalty, BP). Этот множитель искусственно занижает итоговую оценку, если сгенерированный перевод оказался короче эталонного:

$$\text{BP} = \begin{cases} 1, & \text{если } N_c > N_r \\ \exp(1 - N_r/N_c), & \text{если } N_c \le N_r \end{cases}$$

Здесь

• $N_c$ — суммарная длина всех предложений-кандидатов в корпусе.

• $N_r$ — суммарная эффективная референсная длина (сумма длин тех эталонных предложений, которые ближе всего по количеству слов к соответствующим кандидатам).

Если перевод длиннее эталона, штраф не накладывается (это оштрафуется на этапе расчёта модифицированной точности, поскольку не все n-граммы найдут соответствия в эталонах). А вот чем сильнее перевод укорочен по сравнению с эталоном, тем ниже значение множителя $\text{BP}$ и итоговое значение критерия.

Итоговая формула BLEU

Итоговая метрика BLEU вычисляется как произведение штрафа за краткость и среднего геометрического модифицированных n-граммных точностей:

$$\text{BLEU} = \text{BP} \cdot \exp \left( \sum_{n=1}^N w_n \ln p_n \right)$$

Обратим ещё раз внимание, что для получения объективной оценки качества работы модели метрика BLEU должна вычисляться не для каждого предложения по отдельности с последующим арифметическим усреднением, а сразу для всего тестового корпуса переводов (см. формулу для $p_n$ выше). Этот подход называется микроусреднением. Так сделано специально, чтобы не позволять очень коротким предложениям вносить непропорционально большой вклад в итоговую оценку. Вклад в меру качества при микроусреднении распределяется пропорционально не целым предложениям, а пропорционально отдельным словам текста.

Представленная мера BLEU покрывает основные требования к хорошему переводу:

• Униграммная точность оценивает наличие правильных слов, отвечая за адекватность перевода.
• Точность старших n-грамм (биграмм, триграмм и 4-грамм) вознаграждает правильный порядок слов, отвечая за плавность и естественность звучания.
• Штраф за краткость гарантирует, что модель не отбросила часть оригинального текста, сохраняя точность (fidelity) оригинального содержания.

Литература

1. Papineni K., Roukos S., Ward T., Zhu W. J. BLEU: a method for automatic evaluation of machine translation. – Proceedings of the 40th annual meeting of the Association for Computational Linguistics. – 2002.