Интерпретируемое машинное обучение

Прогностическая модель называется интерпретируемой (interpretable) или объяснимой (explainable), если человек может проинтерпретировать её решения.

Как правило, более сложные модели, учитывающие большее число факторов нелинейным образом являются менее интерпретируемыми, но обеспечивают более высокую точность, поэтому существует противоречие между объяснимостью и качеством прогнозов.

Преимущества, которые даёт интерпретируемость:

• В приложениях, где цена ошибки высока (например, в задаче медицинской диагностики, определяющей нужно ли пациенту больницы делать операцию), важна не только точность, но и способность модели обосновать своё решение (для врача). Поэтому в таких приложениях лучше использовать несколько интерпретируемых моделей, а не одну сложную. Модель, способная объяснить свои прогнозы, вызывает больше доверия и лучше внедряется на практике.

• Интерпретируемость позволяет оценить адекватность принятого решения - было ли оно принято, основываясь на сильных и значимых факторах (causal factors), или модель переобучилась и приняла пусть даже верное решение, но отталкиваясь от ложных взаимосвязей (false correlations). Например, в задаче классификации кошек и собак, исследователь может проанализировать факторы, которые повлияли на тот или иной прогноз. Это могут быть характеристические факторы, такие как размер и расположение (кошки могут забираться на деревья, а собаки - нет). Или это могут быть ошибочные факторы (например, наличие снега на заднем плане), которые в силу ограниченности обучающей выборки присутствовали в комбинации только с одним из классов, но не с другим (например, со снегом попадались только фото с собаками). Оценка адекватности модели позволяет производить отладку (debugging) модели, делая её прогнозы более логичными и корректными.

• В процессе интерпретации прогнозов модели иногда можно отследить, что модель использует какие-либо запрещённые факторы (такие как национальность и цвет кожи в задаче кредитного скоринга), что может делать процесс принятия решений несправедливым к тем или иным группам. Либо модель может опираться на какие-то приватные признаки о пользователях, использование которых не разрешено законом.

Методы интерпретации делятся на

• привязанные к конкретной модели, такой как решающее дерево, линейная регрессия и т.д. (model based)

• не зависящие от модели (model agnostic)

Также различают глобальную и локальную интерпретируемость, как показано схематично показано ниже (источник):

Модель является глобально интерпретируемой, если человек понимает весь её процесс принятия решений целиком. Локальная интерпретируемость означает, что человек может понять, почему в конкретном случае (для конкретного объекта) было принято то или иное решение.

Подходом к интерпретации сложных многоуровневых моделей может быть разделение процесса принятия решения на отдельные интерпретируемые блоки. Для многослойной нейросети можно пытаться интерпретировать работу отдельных нейронов. Систему автоматического управления транспортным средством можно декомпозировать на отдельные блоки, такие как детекция пешеходов и транспортных средств на дороге, определение расстояния до них, распознавание дорожных знаков, прогноз расположения транспортного средства в следующий момент времени и т.д.

Интерпретируемые и неинтерпретируемые модели

Модели в машинном обучении бывают конструктивно простыми и сложными. Простые модели, как правило, не могут обеспечить наилучшую точность, зато обладают глобальной интерпретируемостью (white-box models). Примерами таких моделей являются:

• метрические методы (при использовании небольшого числа локальных объектов).

• линейные модели классификации и регрессии (от небольшого числа признаков)

• решающие деревья небольшой глубины

• метод наивного Байеса (naive Bayes)

При решении ответственных задач с высокой ценой ошибки (например, при предсказании, нужно ли делать пациенту операцию или нет) именно таким моделям отдаётся предпочтение, в силу их интерпретируемости.

Сложные модели (black-box models) способны моделировать более широкий класс зависимостей, поэтому, при достаточном объёме обучающих данных, более точны. Но из-за сложности внутренней логики их непосредственная интерпретация невозможна. Поэтому такие модели используются в задачах со сложными зависимостями в данных, но где цена отдельных ошибок невелика, как, например, в рекомендательной системе магазина.

Однако существуют опосредованные способы анализа прогнозов и для сложных моделей.

Далее мы изучим интерпретацию простых моделей, а интерпретацией сложных займёмся в следующем разделе книги.