L'analyse prédictive pour décideurs : ce qu'apprend un modèle, quatre pièges, et le prix de chaque erreur

Ce qu'apprend un modèle, et ce qu'il ne peut pas savoir

Un modèle regarde des cas passés dont l'issue est connue, y trouve une régularité, et s'en sert pour deviner l'issue de cas nouveaux.

Un modèle prédictif n'a rien de magique. On lui montre beaucoup de cas passés dont la réponse est connue ; il trouve une régularité qui relie ce que l'on savait à l'époque à cette réponse, et l'applique à des cas nouveaux dont la réponse est encore inconnue. Le support illustre l'idée par une planche de Galton : la trajectoire d'une bille est imprévisible, la forme du tas ne l'est pas.

Dans une table à une ligne par commande, les colonnes dont le modèle se sert pour deviner sont les variables explicatives (features), et la colonne qu'il cherche à deviner est la variable cible (target). Deux règles en découlent aussitôt. Chaque variable explicative doit être disponible au moment où l'on prédit, et la cible doit être connue pour les lignes passées, sinon il n'y a rien à apprendre. C'est aussi pour cela que les contrôles de lignes de la séance SQL comptent : une jointure qui a dupliqué des commandes en fait compter certaines deux fois à l'apprentissage.

Trois angles morts

• Ce qu'aucune colonne n'enregistre. Une grève, une tempête ou une rupture de stock chez un vendeur restent invisibles si rien dans les données ne les capte.
• Ce qui a changé. Un modèle suppose que l'avenir ressemble à son passé, et les données du cas s'arrêtent en 2018 : nouveaux transporteurs ou nouvelles habitudes de paiement lui sont inconnus.
• Pourquoi les choses arrivent. Un modèle trouve des associations qui prédisent ; il ne dit pas ce qui cause quoi.

Retour au sommaire.

Trois familles de modèles, choisies par la question

Combien, quelle classe, quels groupes : c'est la question métier qui fixe le type de modèle, pas les données disponibles.

La régression (regression) prédit une quantité, la classification (classification) une catégorie. Le partitionnement (clustering) est d'une autre nature : il n'y a pas de cible, l'algorithme regroupe les cas semblables, et c'est à l'analyste et au manager de juger si ces groupes veulent dire quelque chose pour l'entreprise. La segmentation de la clientèle en est l'usage classique.

Un même sujet métier peut mener à deux familles. Se demander si une commande sera en retard relève de la classification ; se demander en combien de jours elle arrivera relève de la régression. Le bon choix dépend de la décision que la prédiction doit éclairer. Le support fait ensuite voter la salle sur une série de courtes questions métier, et demande à chaque groupe si son propre dossier contient une prédiction utile. Tous n'en ont pas besoin : une description propre du bon problème vaut souvent mieux qu'une prévision fragile.

Retour au sommaire.

Données de test et surapprentissage

Un modèle se juge sur des cas qu'il n'a jamais vus en apprenant, car il peut mémoriser le bruit et paraître parfait sur ses propres données.

Le support compare l'évaluation d'un modèle à un examen. Si l'examen reprenait les questions d'entraînement, un étudiant qui aurait appris les réponses par cœur aurait la note maximale sans rien comprendre. On met donc de côté une partie des données, les données de test (holdout data), que le modèle ne voit jamais pendant l'apprentissage et qui servent une seule fois, à la fin, pour le juger. Avec des données datées, une bonne habitude est de garder les mois les plus récents pour le test, ce qui imite l'usage du modèle sur l'avenir.

Toute base de données mêle une vraie régularité et du bruit, des variations aléatoires qui ne se reproduiront pas. Un modèle assez souple peut passer par chaque point d'apprentissage ; il paraît alors irréprochable sur ces données et s'effondre sur des commandes nouvelles, parce qu'il a appris le bruit comme s'il s'agissait de la régularité. C'est le surapprentissage (overfitting).

Provost et Fawcett le représentent par une courbe d'ajustement (fitting graph) : en fonction de la complexité du modèle, l'erreur d'apprentissage ne fait que baisser, tandis que l'erreur de test baisse d'abord puis remonte dès que le bruit est mémorisé. Le modèle à garder se trouve au creux de la courbe de test, pas là où la courbe d'apprentissage semble la meilleure. Le support présente ce graphique comme une idée, non comme une mesure.

Retour au sommaire.

La fuite de données : une information venue du futur

Il y a fuite quand un modèle s'appuie sur quelque chose qu'on ne connaîtrait pas encore au moment de faire la prédiction.

Supposons qu'on veuille prédire, dès qu'une commande est validée, si elle sera livrée en retard. Certaines colonnes sont disponibles à ce moment-là, d'autres sont remplies après coup. Un modèle qui utilise les secondes triche : il obtient un score brillant au test et échoue dès le premier jour d'usage réel. C'est la fuite de données (data leakage).

Les deux fuites évidentes du support paraissent absurdes une fois dites à voix haute : la date de livraison pour prédire le retard, le texte de l'avis pour prédire un mauvais avis. Dans une table de plusieurs dizaines de colonnes, elles passent pourtant facilement inaperçues. Les fuites plus subtiles se logent dans des champs mis à jour après l'événement ; dans le fichier du cas, le statut de commande donne le dernier état de chaque commande, pas son état au moment de l'achat.

Retour au sommaire.

Échantillons biaisés, et régularités qui ne sont pas des causes

Un modèle ne connaît que les cas qu'on lui a montrés, et une régularité qui prédit bien ne dit rien du sens de la cause.

Un échantillon biaisé (biased sample) ne décrit qu'une partie du monde auquel la décision s'appliquera. Dans le cas, une note d'avis n'existe que si le client a répondu à l'enquête de satisfaction, et un commentaire que s'il a en plus écrit quelque chose ; ceux qui écrivent sont peut-être les plus ravis ou les plus agacés. Les données couvrent un seul pays sur environ deux ans. Et ne garder que les vendeurs à nombreuses commandes, pour stabiliser les moyennes, revient à étudier ceux qui sont restés plutôt que ceux qui sont partis. Un dossier doit dire qui figure dans ses données et qui n'y figure pas.

Le quatrième piège est une corrélation lue comme une cause. Le support donne deux hypothèses, présentées explicitement comme des pistes à tester et non comme des constats. Si les commandes payées en plusieurs fois s'avèrent plus grosses, promouvoir le paiement fractionné ne rapporte que si ce mode de paiement fait dépenser davantage ; si ce sont les gros paniers qui poussent à fractionner, la promotion ne fera pas croître le chiffre d'affaires, et un modèle qui prédit la valeur de la commande à partir du paiement fractionné fonctionne aussi bien dans les deux histoires. Si les commandes en retard reçoivent de moins bonnes notes, la distance ou la catégorie de produit peuvent expliquer à la fois le retard et l'insatisfaction.

Le support clôt cette partie par des cas d'entraînement, inventés pour l'exercice, sur lesquels la salle vote pour le piège en jeu. Dans la note de fin de séance, ces quatre pièges deviennent les limites que chaque groupe doit signaler.

Retour au sommaire.

Les erreurs ont un prix : matrice de confusion, précision et rappel

Un classifieur commet deux sortes d'erreurs, les fausses alertes et les oublis, et elles coûtent rarement la même chose.

Chaque prédiction d'un modèle oui-ou-non tombe dans l'une des quatre cases d'une matrice de confusion (confusion matrix). Deux sont justes : la commande en retard signalée (vrai positif) et la commande à l'heure laissée tranquille (vrai négatif). Deux sont fausses, de façons différentes : la fausse alerte, qui gaspille un contact (faux positif), et l'oubli, qui laisse passer un problème (faux négatif).

Le piège de l'exactitude

L'exactitude (accuracy) est la part des prédictions justes. Quand l'événement est rare, elle trompe. Dans l'exemple hypothétique du support, neuf commandes sur dix arrivent à l'heure, si bien qu'un modèle qui répond toujours « à l'heure » obtient 90 % et ne sert à rien. On n'accepte jamais un chiffre d'exactitude sans demander à quelle fréquence l'événement se produit de toute façon.

Deux autres rapports répondent aux questions que se pose réellement un manager. La précision (precision) : quand le modèle lève une alerte, à quelle fréquence a-t-il raison, autrement dit quelle part de l'effort est gaspillée ? Le rappel (recall) : sur tous les vrais problèmes, combien en attrape-t-il, autrement dit combien passent encore entre les mailles ?

Exemple chiffré du support (la question type d'examen du syllabus)

1. La situation. Un modèle signale 200 commandes comme susceptibles de recevoir un avis négatif. En réalité, 120 d'entre elles en reçoivent un, et il manque 80 autres commandes qui en reçoivent un aussi.
2. Remplir les cases. VP = 120, FP = 200 − 120 = 80, FN = 80. Les vrais négatifs ne sont pas donnés, et l'on n'en a pas besoin : ces commandes ne coûtent ni ne rapportent rien.
3. Précision. 120 / 200 = 0,60 : six alertes sur dix visent un vrai problème.
4. Rappel. 120 / (120 + 80) = 0,60 : le modèle attrape six problèmes sur dix.
5. Une coïncidence. Les deux rapports valent 60 % ici par hasard ; ils répondent à des questions différentes et diffèrent en général.

Le support attache ensuite de l'argent aux cases : un contact coûte 2 € à l'avance et évite l'avis négatif, et chaque avis négatif évité vaut 10 €. Seules les commandes signalées sont contactées, si bien que la valeur nette du modèle est la valeur des problèmes attrapés moins le coût de tous les contacts. Les étudiants la calculent en classe pour décider s'il faut utiliser le modèle, puis la refont en ne changeant que le prix d'un contact, ce qui montre que la décision peut basculer alors que le modèle reste le même. C'est le raisonnement en valeur espérée (expected value) du chapitre 7 de Provost et Fawcett.

Choisir le seuil

Un classifieur dit rarement oui ou non directement : il donne un score à chaque commande, et quelqu'un choisit le seuil de décision (cut-off) au-dessus duquel l'entreprise agit. L'abaisser fait signaler plus de commandes : le rappel monte, la précision baisse en général et il faut payer davantage de contacts ; le relever fait l'inverse et laisse passer plus de problèmes. Le bon équilibre n'est pas une question technique. Avec les prix du support, contacter une commande de risque $p$ vaut la peine dès que le gain espéré dépasse le coût :

Cette règle suppose que le score se lit comme une probabilité, ce que l'équipe qui a construit le modèle doit confirmer. Chaque groupe décide ensuite, pour son propre dossier, laquelle des deux erreurs coûte le plus cher, la fausse alerte ou l'oubli, et qui en paie le prix.

Retour au sommaire.

Comparer deux modèles pour une même décision

On compare deux modèles sur les mêmes données de test, au même seuil et avec le même tableau de coûts, et ne rien faire est une réponse légitime.

La partie pratique se déroule dans un notebook Google Colab préparé. Les étudiants changent des réglages dans des champs de formulaire et relancent les cellules, sans jamais toucher au code. Ils lisent les sorties dans l'ordre de la séance : les variables utilisées par chaque modèle, les quatre issues sur les données de test, la précision et le rappel, puis l'argent.

• On compare d'abord les deux modèles au même seuil et avec le même tableau de coûts ; sinon, on compare deux décisions et non deux modèles.
• On déplace ensuite le seuil en suivant la valeur nette, et l'on note celui qu'on retiendrait, et pourquoi.
• L'un des deux modèles s'appuie sur une variable qui fuit : on la trouve en demandant, pour chaque variable, quand elle devient connue.
• « Aucun des deux » est une décision valable, pourvu qu'elle soit argumentée.

Quand deux groupes choisissent des modèles différents à partir des mêmes chiffres, c'est en général qu'ils ont chiffré les erreurs différemment, et c'est tout l'objet de l'après-midi. La séance se termine par une note d'une page destinée à un décideur qui n'a pas vu le notebook : ce que prédit le modèle, avec quelle qualité (précision, rappel et valeur nette, en nommant le modèle et le seuil), les limites que ce décideur doit connaître, et la décision avec ce qui la ferait changer. Une bonne note donne des chiffres vérifiables, énonce une limite sans détour et propose une action, comme un test dans une région, au lieu de citer un unique chiffre d'exactitude.

Cinq questions à poser avant d'acheter un modèle prédictif

1. Fréquence de base. À quelle fréquence l'événement se produit-il de toute façon, et quel score obtiendrait un modèle qui ne le prédit jamais ?
2. Mise de côté. A-t-il été testé sur des cas qu'il n'avait jamais vus ?
3. Fuite. Utilise-t-il quelque chose qui n'est connu qu'après coup ?
4. Échantillon. Sur quels cas a-t-il appris, et qui manque ?
5. Coûts. Quelles sont sa précision et son rappel, et que nous coûte chaque type d'erreur ?

Retour au sommaire.

À retenir

1. La question choisit la famille de modèle : combien, quelle classe, ou quels groupes.
2. On ne juge un modèle que sur des données qu'il n'a jamais vues ; un ajustement parfait sur l'apprentissage est un signal d'alarme, pas un résultat.
3. Quand un modèle paraît trop beau pour être vrai, on vérifie quand chaque variable devient connue avant de se réjouir.
4. On se demande qui manque dans les données avant de généraliser ce qu'un modèle a appris.
5. Une régularité qui prédit n'est pas la preuve d'une cause ; on compare ce qui est comparable avant de financer une action.
6. L'exactitude masque les événements rares : on lit précision et rappel, puis on chiffre chaque type d'erreur avant de choisir un modèle ou un seuil.

Glossaire

variables explicatives (features)

Colonnes dont le modèle se sert pour deviner ; elles doivent être connues au moment de la prédiction.

variable cible (target)

Colonne que le modèle cherche à deviner, connue seulement pour les cas passés.

régression (regression)

Modèle qui prédit une quantité, comme un nombre de jours.

classification (classification)

Modèle qui prédit une catégorie, comme en retard ou à l'heure.

partitionnement (clustering)

Regroupement de cas semblables sans cible ; le sens des groupes reste à juger par des humains.

données de test (holdout data)

Données mises de côté pendant l'apprentissage et utilisées une seule fois pour juger le modèle.

surapprentissage (overfitting)

Apprentissage du bruit des données d'apprentissage : parfait sur elles, défaillant sur des cas nouveaux.

fuite de données (data leakage)

Usage d'une information qui ne serait pas encore disponible au moment de la prédiction.

échantillon biaisé (biased sample)

Données qui ne couvrent qu'une partie de la population à laquelle la décision s'appliquera.

matrice de confusion (confusion matrix)

Tableau à quatre cases des vrais et faux positifs et négatifs.

exactitude (accuracy)

Part des prédictions justes ; trompeuse quand l'événement est rare.

précision (precision)

Part des cas signalés qui sont de vrais problèmes.

rappel (recall)

Part des vrais problèmes que le modèle signale.

seuil de décision (cut-off)

Score au-dessus duquel l'entreprise agit sur une prédiction ; fixé par le coût des erreurs.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

Précédent : L'essentiel du SQL pour managersSuivant : IA générative, RGPD et AI Act

1. Séance 1Des données à la décision
2. Séance 2Visualisation de données et récit
3. Séance 3L'essentiel du SQL pour managers
4. Séance 4L'analyse prédictive pour décideurs
5. Séance 5IA générative, RGPD et AI Act
6. Séance 6Présenter une analyse à des décideurs

Toutes les fiches, en liste de lecture

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.