Une brève histoire de l'explication des modèles d'apprentissage automatique

Si le logiciel a mangé le monde, les modèles l'exécuteront. Mais sommes-nous prêts à être contrôlés par les logiciels intelligents blackbox?

Probablement pas. Et c'est juste. En tant qu'humains, nous devons comprendre comment fonctionne l'IA, en particulier lorsqu'elle stimule nos comportements ou nos activités. C'est pourquoi dans un article précédent, nous avons identifié la transparence de l'apprentissage automatique comme l'une des tendances les plus en vogue de l'IA.

Passons en revue un bref historique de l'explicabilité des modèles d'apprentissage automatique - illustrés par des exemples réels de notre solution de gestion des réclamations AI pour les assureurs.

Démarrage simple - Coefficients des modèles linéaires

L'explicabilité des modèles linéaires est simple. La prédiction est la combinaison linéaire des valeurs des caractéristiques, pondérée par les coefficients du modèle.

Comprend la contribution d'un système de gestion prédictive linéaire des réclamations (illustration)

Cependant, la précision la plus élevée pour les grands ensembles de données modernes est souvent obtenue par des modèles complexes, que même les experts ont du mal à interpréter (voir l'image ci-dessous).

L'explicabilité - compromis de précision (source)

Si l'explicabilité des modèles linéaires est facile, comment y parvenir sur des modèles d'apprentissage machine non linéaires plus puissants, comme les forêts aléatoires?

Juillet 2014 - Random Forests présente une importance

Dans sa thèse de doctorat, Gilles Louppe analyse et discute l'interprétabilité d'un modèle forestier aléatoire ajusté aux yeux de mesures d'importance variable. C'est ce qui se cache derrière le célèbre attribut .feature_importances_ de l'estimateur scikit-learn RandomForest ().

Voici la sortie des «fonctionnalités importantes» dans le contexte d'une solution de gestion prédictive des sinistres d'assurance.

Comprend l'importance du système de gestion des réclamations d'assurance prédictive de Zelros (illustration)

Août 2015 - Random Forests présente une contribution pour une prédiction donnée

L'approche précédente visant à expliquer l'importance des caractéristiques d'un modèle ajusté au niveau de la population mondiale. Cette nouvelle approche tente d'expliquer les contributions des fonctionnalités pour chaque prédiction individuellement.

Qu'est-ce qui fait que mon modèle d'apprentissage automatique prédit que la réclamation d'assurance prêt M. xxx est simple et pourrait être réglée automatiquement? Est-ce principalement le taux d'intérêt? Ou le montant du capital? Ou le type de prêt?

Pratiquement, le calcul de la contribution des fonctionnalités a été rendu possible grâce à une nouvelle capacité de scikit-learn 0.17: permettant de stocker des valeurs pour tous les nœuds au lieu de simplement les laisser pour les arbres de décision.

Cette approche a été décrite ici et est disponible dans le package Treeinterpreter.

Contribution du système de gestion des réclamations d'assurance prédictive de Zelros (illustration)

Octobre 2015 - Distribution du seuil de décision

Il n'y a pas de moyen unique d'inspecter et de comprendre les modèles de forêt aléatoire ajustés. L'équipe de recherche d'Airbnb a publié sa propre approche, en se concentrant sur la distribution du seuil de décision.

Approche Airbnb sur l'explicabilité de la forêt aléatoire

Février 2016 - LIME

Comme vous l'avez remarqué, les approches précédentes étaient axées sur ce qui était à l'époque les algorithmes les plus efficaces: les forêts aléatoires.

Mais avec l'émergence d'algorithmes plus puissants (réseaux de neurones, arborescences de renforcement de gradient, assemblage,…), une nouvelle génération de techniques d'explicabilité est apparue, adaptée à tout modèle d'apprentissage automatique - pas seulement basée sur des arbres.

La première méthode d'explicabilité de ce type a été publiée dans l'article: «Pourquoi devrais-je vous faire confiance?»: Explication des prédictions de tout classificateur. Il explique les prédictions de tout classificateur de manière interprétable et fidèle, en apprenant un modèle interprétable localement autour de la prédiction.

Cette méthode est disponible prête à l'emploi dans le package LIME (Local Interprable Model-Agnostic Explanations).

Contribution de la prédiction de la complexité des réclamations d'assurance basée sur le réseau neuronal Zelros (illustration)

Juin 2016 - Le (s) mythe (s) de l'interprétabilité des modèles

Alors que les techniques d'explicabilité se sont multipliées, la nécessité de mieux définir ce concept a commencé à se poser.

Qu'entendons-nous par interpréter un modèle d'apprentissage automatique et pourquoi en avons-nous besoin? Est-ce pour faire confiance au modèle? Ou essayer de trouver des relations causales dans le phénomène analysé? Ou pour le visualiser?

Ces aspects sont traités en profondeur dans l'article «Le mythe de l'interprétabilité des modèles».

Mai 2017 - SHAP

Comme nous le voyons ci-dessus, plusieurs méthodes ont été proposées au fil du temps, pour aider les utilisateurs à interpréter les prédictions de modèles complexes. Mais il est souvent difficile de savoir comment ces méthodes sont liées et quand une méthode est mieux adaptée qu'une autre.

SHAP est une tentative d'unifier six méthodes d'explicabilité précédentes (comme Treeinterpreter, LIME,…), et de rendre leurs résultats plus robustes, cohérents et alignés avec l'intuition humaine.

Il s'agit probablement de la méthode d'explicabilité la plus récente. Et il y a une bibliothèque Python disponible!

Valeurs SHAP du système de gestion des réclamations d'assurance prédictive de Zelros (illustration)

2018: quelle est la prochaine étape?

Expliquer les modèles complexes d'apprentissage automatique est un sujet de recherche brûlant. Des progrès seront assurés dans les années à venir.

De nouveaux articles sont publiés chaque semaine, dans des conférences comme KDD, ou directement sur arXiv.

Tensorflow a publié ce mois-ci un outil de simulation pour inspecter visuellement les modèles d'apprentissage automatique, et Kaggle a publié la semaine dernière une série de didacticiels sur la transparence ML.

Un livre électronique complet est même disponible en ligne, avec plusieurs références.

En un mot, quel moment passionnant pour l'explicabilité du Machine Learning!

Vous aimez ce que vous lisez? Vous souhaitez rejoindre l'équipe technique de Zelros en tant que data scientist, software engineer ou solution engineer? Nous embauchons!