Интерпретация сложных моделей

Если целью прогнозирования является построение максимально точных прогнозов, а не объяснение зависимости в простых терминах, то для этого используют сложные модели (black-box models), производящие большое число нелинейных операций над вектором признаков. Такие модели не обладают интерпретируемостью напрямую, но можно применить разнообразные опосредованные приёмы для их анализа и объяснения выдаваемых ими прогнозов.

Способы интерпретации

Анализировать сложную модель и её прогнозы можно, смотря на

• изменение прогноза в зависимости от реального отклика;

• влияние признаков на прогнозы модели;

• поведение модели на типичных и нетипичных объектах выборки;

• изменение прогноза в зависимости от изменения отдельных признаков;

• максимально похожие объекты на заданный, для которых модель выдаёт другой прогноз;

• влияние отдельных объектов обучающей выборки на модель, которую мы в итоге обучим;

• влияние отдельных фрагментов объекта на прогноз модели.

Корреляция, а не причинно-следственная связь

Важно помнить, что интерпретация методов машинного обучения показывает корреляцию, а не причинно-следственную связь (correlation does not imply causation). Например, рассмотрим задачу прогнозирования количества атак акул на отдыхающих на морском курорте. Количество купленного мороженного может оказаться одним из самых важных признаков. Разумеется, это не значит, что эти величины связаны напрямую. Скорее, из-за благоприятной погоды больше людей начинают отдыхать на море, покупать мороженное и, как следствие, подвергаться эпизодическим атакам акул.