Интерпретация сложных моделей
Если целью прогнозирования является построение максимально точных прогнозов, а не объяснение зависимости в простых терминах, то для этого используют сложные модели (black-box models), производящие большое число нелинейных операций над вектором признаков. Такие модели не обладают интерпретируемостью напрямую, но можно применить разнообразные опосредованные приёмы для их анализа и объяснения их прогнозов, которые мы рассмотрим в этом разделе.
Способы интерпретации
Анализировать сложную модель и её прогнозы можно, изучая:
-
изменение прогноза в зависимости от изменения отдельных признаков;
-
максимально похожие объекты на заданный, для которых модель выдаёт другой прогноз;
-
влияние отдельных объектов обучающей выборки на модель, которую мы в итоге обучим;
-
влияние отдельных частей/характеристик объекта на прогноз модели.
В последующих главах мы разберём эти подходы детальнее. Будут изучены подходы, применимые к самому широкому классу моделей. Во второй части учебника, посвящённой нейросетям, будет отдельная глава по интерпретации свёрточных нейросетей.
Важно помнить, что интерпретация методов машинного обучения показывает корреляцию, а не причинно-следственную связь (correlation does not imply causation).
Например, рассмотрим задачу прогнозирования количества атак акул на отдыхающих на морском курорте. Количество купленного мороженного может оказаться одним из самых важных признаков. Разумеется, это не значит, что эти величины связаны напрямую. Скорее, из-за благоприятной погоды больше людей начинают отдыхать на море, покупать мороженное и, как следствие, подвергаться эпизодическим атакам акул.
С другими примерами можно ознакомиться, например, в [1].