Влияние фрагментов на прогноз
В задаче классификации фотографий можно очень легко оценивать влияние каждого фрагмента изображения на прогноз. Для этого изображение нужно разбить на суперпиксели (superpixels), то есть группы соседних пикселей, примерно похожих по цвету и размеру, а затем поочерёдно удалять каждый суперпиксель (заполняя средним цветом изображения) и смотреть, насколько изменится прогноз модели.
Ниже показаны примеры разбиения изображения на суперпиксели:
На следующем изображении суперпиксели, приводящие к максимальному изменению прогноза, подсвечены цветом (источник):
По самым значимым суп ерпикселям видно, что модель обучилась корректно - при классификации объекта она анализирует именно его, а не фон.
Вместо суперпикселей изображение можно разбить на квадратные участки и затирать поочерёдно каждый участок, чтобы оценить его влияние. Однако в этом случае полученная карта влияния будет более грубой.
Аналогичный подход можно применить и в классификации текстов - нужно поочерёдно удалять слова, фразы или целые предложения и смотреть, насколько изменится прогноз модели, чтобы определить самые значимые части текста, голосующие за выбранный класс.