La détection de la dérive de modèle repose sur une surveillance continue de plusieurs indicateurs. Le premier est la distribution des variables d'entrée : on compare régulièrement la distribution actuelle des données avec la distribution de référence utilisée lors de l'entraînement. Des outils statistiques comme le test de Kolmogorov-Smirnov ou la divergence de Kullback-Leibler permettent de quantifier l'écart et de déclencher une alerte lorsqu'il dépasse un seuil défini. Le deuxième indicateur est la performance du modèle sur les données récentes. Si le taux de défaut réel s'écarte significativement du taux prédit par le modèle, c'est un signal de dérive de concept. Cette comparaison nécessite d'attendre que les prêts accordés arrivent à maturité, ce qui introduit un délai naturel dans la détection. Pour réduire ce délai, certaines plateformes utilisent des indicateurs proxy — des variables dont l'évolution est corrélée à la performance future — pour anticiper la dérive avant qu'elle ne se manifeste pleinement dans les données de remboursement. Le troisième indicateur est la stabilité des explications SHAP au fil du temps. Si les contributions des variables changent significativement d'une période à l'autre sans raison économique apparente, c'est un signe que le modèle a dérivé. Cette approche est particulièrement utile parce qu'elle détecte à la fois la dérive de données et la dérive de concept, et qu'elle est directement liée aux explications produites pour les emprunteurs.

Lorsqu'une dérive est détectée, les plateformes ont plusieurs options, et le choix entre elles révèle la maturité de leur approche. La première option est le réentraînement complet du modèle sur des données récentes. C'est l'approche la plus radicale et la plus coûteuse, mais parfois nécessaire lorsque la dérive est profonde. Elle présente l'inconvénient d'introduire un nouveau modèle qui doit être re-validé, re-audité et dont les explications doivent être recalibrées. La deuxième option est le réentraînement partiel ou l'ajustement des poids du modèle existant pour tenir compte des nouvelles données sans repartir de zéro. Cette approche est plus rapide mais peut introduire des incohérences si elle n'est pas réalisée avec soin. La troisième option — souvent sous-estimée — est de ne pas réentraîner le modèle mais d'ajuster les seuils de décision pour tenir compte de la dérive observée. Par exemple, si le modèle surestime systématiquement le risque d'une certaine catégorie de demandeurs, on peut ajuster le seuil d'approbation pour cette catégorie tout en continuant à surveiller la dérive. Quelle que soit l'option choisie, la documentation est essentielle : les décisions de gestion de la dérive doivent être tracées, justifiées et accessibles aux auditeurs. Une plateforme qui réentraîne silencieusement ses modèles sans documentation expose ses clients institutionnels à un risque réglementaire direct.

Voici les questions concrètes que je pose systématiquement à chaque fournisseur de plateforme de crédit IA sur la gestion de la dérive. La première : disposez-vous d'un système de surveillance automatique de la dérive de données et de concept, et à quelle fréquence les alertes sont-elles vérifiées ? La deuxième : quel est votre protocole documenté lorsqu'une dérive significative est détectée, et qui prend la décision de réentraîner ou d'ajuster le modèle ? La troisième : comment informez-vous vos clients institutionnels lorsqu'une dérive est détectée et qu'une intervention est réalisée sur le modèle en production ? La quatrième : conservez-vous un historique des versions du modèle avec les explications SHAP correspondantes pour permettre une comparaison dans le temps ? La cinquième : avez-vous déjà détecté une dérive significative sur votre modèle en production, et si oui, comment l'avez-vous traitée ? Cette dernière question est particulièrement révélatrice : un fournisseur qui répond qu'il n'a jamais détecté de dérive n'a probablement pas de système de surveillance efficace. La dérive est inévitable — la question est de savoir si on la détecte ou non.

Pour évaluer la maturité d'une plateforme sur la gestion de la dérive, j'utilise une grille de cinq indicateurs. Le premier est l'existence d'un système de surveillance automatisé avec des seuils d'alerte définis et documentés — pas une vérification manuelle périodique. Le deuxième est la disponibilité d'un historique de versions du modèle accessible aux équipes de conformité, avec les dates de chaque modification et les raisons documentées. Le troisième est l'existence d'un processus de communication structuré vers les clients institutionnels lorsqu'une intervention sur le modèle est réalisée, avec un délai de notification défini. Le quatrième est la capacité à comparer les explications SHAP entre la version actuelle du modèle et les versions précédentes pour identifier les changements de logique. Le cinquième est l'existence d'un rapport périodique sur la stabilité du modèle, distinct du rapport d'audit général, qui couvre spécifiquement les indicateurs de dérive et les actions correctives prises. Une plateforme qui satisfait ces cinq indicateurs démontre une maturité opérationnelle réelle sur la gestion de la dérive. Celles qui n'en satisfont qu'un ou deux méritent une discussion approfondie avant tout déploiement en production.