Panorama des modèles d'apprentissage automatique : lesquels, pour quoi faire, dans quels secteurs

La carte : six familles et une grille

Avant de choisir un modèle, il faut savoir quelle question on pose : prédire une réponse connue, trouver une structure sans réponse, ou agir sur un système.

L'apprentissage supervisé (supervised learning) dispose d'exemples avec la bonne réponse et apprend à la reproduire : un nombre (régression) ou une classe (classification). L'apprentissage non supervisé (unsupervised learning) n'a pas de réponse et cherche des groupes, des axes ou des points étranges. Un troisième bloc rassemble les données de forme particulière, chacune avec ses modèles : une série ordonnée, une matrice creuse d'utilisateurs et d'articles, une boucle d'actions et de récompenses, une distribution à imiter.

Deux cases sont à l'écart. L'inférence causale (causal inference) demande ce qui se passe si l'on intervient, pas ce qui va se passer. La recherche opérationnelle (operations research), elle, ne fait aucune prévision : un modèle rédigé par l'analyste lui sert à trancher. Les deux ont leur place sur la carte, parce qu'une prévision termine rarement le travail.

Retour au sommaire.

Modèles linéaires : régression, GLM, logistique

Un modèle linéaire additionne les effets des variables ; sa force est que chaque coefficient se lit, se teste et se défend devant un régulateur.

La régression linéaire cherche les coefficients qui rapprochent le plus les prédictions des données en erreur quadratique. Ridge et lasso font payer les gros coefficients : ridge les stabilise, lasso en met certains exactement à zéro et sélectionne donc des variables (voir la régularisation).

Les modèles linéaires généralisés (generalised linear models, GLM) gardent le score linéaire mais le font passer par une fonction de lien, si bien que la même idée couvre les comptages (Poisson, lien log), les montants positifs et asymétriques (Gamma, lien log) et les issues oui/non (binomiale, lien logit). On les estime par maximum de vraisemblance, et un coefficient se lit comme un effet multiplicatif $e^{\beta_j}$. Les tarifs d'assurance reposent dessus depuis des décennies, parce que chaque coefficient doit être justifié.

La régression logistique (logistic regression) est le cas binomial. Sa perte est convexe, elle atteint donc toujours la même solution, et elle reste le modèle que les banques déploient le plus pour le score de crédit, souvent sous forme de grille de points sur des variables découpées en classes. Avec des classes rares, le taux de bonnes réponses trompe : on la juge sur l'AUC et la calibration, et l'on fixe le seuil de décision à partir des coûts (voir le seuil de décision).

• Bibliothèques. LinearRegression, Ridge, Lasso, LogisticRegression et la famille PoissonRegressor dans scikit-learn ; statsmodels quand il faut des erreurs types et des intervalles ; optbinning pour les grilles de score.
• Pièges. La multicolinéarité rend les coefficients instables ; ne jamais extrapoler hors du nuage de données ; sur des comptages, vérifier la surdispersion avant de croire une erreur type de Poisson.
• Quand s'abstenir. Fortes non-linéarités, seuils ou interactions que personne n'a besoin de lire : un boosting fera mieux, y compris avec une perte de Poisson ou de Tweedie.

Retour au sommaire.

Arbres, ensembles, noyaux et voisins

Un arbre seul se lit facilement mais il est instable ; en moyenner beaucoup, ou les ajouter un à un pour corriger les erreurs des précédents, donne les meilleurs modèles sur tableau.

Un arbre de décision découpe l'espace par un seuil sur une variable à la fois, en choisissant la coupe qui réduit le plus l'impureté. On peut le dessiner et l'appliquer à la main, d'où sa présence dans les règles d'octroi et les protocoles de triage. Son défaut est l'instabilité : quelques lignes changent, la première coupe bouge, puis tout l'arbre.

Les forêts aléatoires (random forests) moyennent des centaines d'arbres, chacun appris sur un échantillon bootstrap et avec un tirage de variables à chaque nœud. La moyenne réduit la variance, pas le biais, et les tirages servent à décorréler les arbres, comme le montre la variance d'une moyenne de $B$ estimateurs corrélés deux à deux à $\rho$.

Le gradient boosting ajoute de petits arbres l'un après l'autre, chacun ajusté au gradient négatif de la perte du modèle courant : une descente de gradient menée dans l'espace des fonctions. Il domine les compétitions sur données tabulaires depuis dix ans. LightGBM est le rapide, XGBoost la référence avec des contraintes monotones utiles en crédit, CatBoost traite nativement les variables catégorielles. Laissé sans frein, il sur-apprend : arrêt précoce sur un jeu de validation, et calibration des probabilités avant de fixer un seuil (détails dans la note forêts et boosting).

Les machines à vecteurs de support (support vector machines, SVM) tracent la marge la plus large possible entre deux classes, et seuls les points sur son bord comptent. Le problème dual ne voit les données qu'à travers des produits scalaires ; un noyau peut donc les remplacer et courber la frontière sans jamais calculer dans le grand espace (voir noyaux, SVM et arbres). Avec un noyau, le coût croît entre $O(n^2)$ et $O(n^3)$, ce qui va très bien sur quelques milliers de lignes et devient pénible au-delà de quelques dizaines de milliers.

Deux familles plus simples complètent le bloc. Les k plus proches voisins (k-nearest neighbours, kNN) gardent les exemples et font voter les plus proches ; ils échouent en grande dimension si l'on ne réduit pas d'abord, et reviennent en force comme recherche de similarité dans des plongements, avec des index approchés comme faiss. Le classifieur bayésien naïf (naive Bayes) multiplie les indices de chaque variable comme si elles étaient indépendantes : probabilités médiocres, classement souvent bon, et la baseline texte de cinq minutes avec TF-IDF.

Retour au sommaire.

Réseaux de neurones : quand les données ne sont pas un tableau

Les réseaux de neurones justifient leur coût sur les images, le texte, le son et les séquences ; sur un tableau ordinaire de quelques milliers de lignes, le boosting gagne en général.

• Le perceptron multicouche (multilayer perceptron, MLP). Des couches affines et des non-linéarités empilées, entraînées par rétropropagation et Adam sur une perte non convexe, si bien que la graine aléatoire compte. Utile comme substitut rapide d'une simulation lente, rarement le meilleur choix sur des données tabulaires moyennes (voir les réseaux de neurones).
• Les réseaux de neurones convolutifs (convolutional neural networks, CNN). De petits filtres à poids partagés glissent sur l'image. Personne n'en entraîne un de zéro sur mille images : on prend un ResNet ou un EfficientNet pré-entraîné et l'on réentraîne la tête. Piège type : le réseau apprend la caméra ou l'éclairage d'une ligne de production, d'où le test sur un autre site.
• Réseaux récurrents et LSTM. Ils lisent une séquence pas à pas avec une mémoire ; les portes du LSTM maintiennent le gradient sur de longues séquences. Toujours un standard industriel pour prévoir de nombreuses séries liées (DeepAR), remplacés par les transformers sur le texte.
• Transformers et grand modèle de langage (large language model, LLM). Chaque jeton pondère tous les autres par l'attention, calculée sous forme de matrices plutôt que pas à pas, ce qui rend possible l'entraînement sur d'immenses corpus.
• Modèles génératifs. VAE, GAN et diffusion apprennent la distribution des données elle-même pour en tirer des exemples neufs. L'usage sérieux en entreprise est la donnée synthétique, en vérifiant qu'aucun vrai client n'a été mémorisé.

L'article sur l'attention construit cette formule pas à pas. En entreprise, les usages installés des modèles de langue sont la lecture, le tri et la recherche de documents, des tâches où un humain relit. Ils n'ont pas à prédire un défaut à partir d'un tableau, et là où une expression régulière ou une régression logistique suffit, celles-ci coûtent bien moins cher. En crédit ou en recrutement, les obligations « haut risque » de l'annexe III de l'AI Act européen s'appliquent quel que soit le modèle.

Retour au sommaire.

Non supervisé : grouper, résumer, repérer l'étrange

Sans étiquettes, aucun score ne dit qu'un regroupement est juste ; il est seulement utile ou inutile pour une décision.

Le partitionnement k-means (k-means clustering) alterne deux étapes, rattacher chaque point au centre le plus proche puis déplacer chaque centre à la moyenne de ses points, ce qui fait baisser l'inertie à chaque tour et s'arrête dans un minimum local ; k-means++ et plusieurs redémarrages aident. C'est vous qui fixez $k$, par la silhouette ou par le bon sens métier. La classification hiérarchique selon le critère de Ward ne demande pas $k$ et montre toutes les coupes dans un dendrogramme, pour un coût quadratique.

DBSCAN définit un groupe comme une région dense : les points qui ont assez de voisins dans un rayon s'enchaînent, le reste est étiqueté bruit. Il trouve des croissants sans demander $k$, et c'est l'outil habituel pour repérer les arrêts dans des traces GPS ; un seul rayon ne convient pas à des densités très différentes, ce que corrige HDBSCAN. Les mélanges gaussiens (Gaussian mixture models, GMM) donnent à chaque point une probabilité d'appartenir à chaque groupe elliptique, estimée par espérance-maximisation ; k-means en est le cas limite.

L'analyse en composantes principales (principal component analysis, PCA), ou ACP, est la SVD des données centrées : les premiers vecteurs singuliers sont les directions de plus grande variance (voir ACP et partitionnement). Trois composantes résument l'essentiel des mouvements d'une courbe des taux, et surveiller le résidu d'une projection est un classique du contrôle de procédé. Elle ignore la cible, ce n'est donc pas une méthode de sélection de variables. t-SNE et UMAP aplatissent un nuage sur un plan en gardant les voisins ensemble : précieux pour regarder des plongements, trompeur si l'on prend les distances entre îlots pour des faits.

La détection d'anomalies (anomaly detection) mesure à quel point un point est inhabituel. La forêt d'isolement (isolation forest) compte combien de coupes aléatoires il faut pour isoler un point : peu de coupes, score élevé, coût linéaire. La mise en garde essentielle : une anomalie n'est pas une fraude. Un client qui déménage est inhabituel et honnête. Le score alimente une file de revue ; dès qu'on dispose d'étiquettes de fraude confirmée, un modèle supervisé prend le relais.

Retour au sommaire.

Séries temporelles, recommandation, bandits, causalité, solveurs

Quand les données ont un ordre dans le temps, une matrice utilisateurs × articles, une récompense ou une intervention, les modèles génériques ne sont plus le bon outil.

Pour la prévision, deux écoles coexistent. Sur une seule série courte et régulière, ARIMA et le lissage exponentiel (exponential smoothing, ETS) sont difficiles à battre et donnent un intervalle ; Prophet ajoute les jours fériés pour l'analyste pressé. Sur des milliers de séries liées avec prix, météo et promotions, la recette gagnante consiste à transformer le temps en tableau de retards, de fenêtres glissantes et de variables calendaires, puis à ajuster un seul modèle LightGBM global, comme l'ont fait les vainqueurs de la compétition M5 sur des ventes de distribution (voir la note sur le prix des actifs). Dans les deux cas, on valide en avançant dans le temps, chaque fenêtre ne voit que le passé, et l'on compare toujours à la prévision naïve saisonnière.

Les systèmes de recommandation factorisent la matrice utilisateurs × articles, presque vide, en deux petites matrices dont le produit la reconstruit ; les moindres carrés alternés résolvent un côté puis l'autre. En production, un modèle rapide propose quelques centaines de candidats et un boosting les reclasse. Attention au démarrage à froid et à la boucle de rétroaction : le système n'apprend que de ce qu'il a lui-même montré.

L'apprentissage par renforcement maximise une somme actualisée de récompenses ; ses versions complètes exigent un simulateur ou des millions d'essais bon marché. Le bandit à plusieurs bras, sans état, est la forme qu'on rencontrera à coup sûr : choisir quelle bannière afficher, explorer un peu tout en exploitant ce qui marche (échantillonnage de Thompson, UCB).

L'inférence causale et l'uplift estiment l'effet d'une action sur une personne donnée, une différence entre deux mondes dont un seul est observé. Un test randomisé la rend fiable ; sans lui, tout repose sur l'hypothèse qu'aucun facteur de confusion ne manque, et le rapport doit le dire. Un bon score prédictif n'est pas un modèle causal.

La recherche opérationnelle n'apprend rien : un programme linéaire ou en nombres entiers, écrit à la main, décide des tournées, des plannings ou des affectations avec un solveur comme OR-Tools, HiGHS ou Gurobi. Le piège est à la jonction avec le ML : une prévision ponctuelle entre dans l'optimiseur comme si elle était certaine. Donnez-lui un intervalle ou des scénarios.

Retour au sommaire.

Choisir un modèle : données, tâche, secteur

Partir de la forme des données et de la tâche, prendre un modèle modeste qui donne un chiffre honnête en une heure, puis essayer un seul challenger plus fort.

Cinq questions, dans cet ordre, avant d'ouvrir un notebook

1. Combien de lignes ? Autour d'un millier, un modèle linéaire régularisé ; un boosting apprendrait le bruit. Avec cent mille, tout est ouvert.
2. Est-ce un tableau ? Un tableau oriente vers le boosting ; des images, du texte ou du son vers un réseau pré-entraîné.
3. Qui doit comprendre la sortie ? Si un régulateur ou un comité le doit, on reste sur la régression logistique, un GLM ou un arbre. En crédit et en recrutement, c'est une contrainte juridique, pas une préférence.
4. En combien de temps répondre ? Un score en temps réel favorise un modèle linéaire ; un traitement de nuit laisse le choix libre.
5. Que coûte une erreur ? Si elle coûte cher, calibrer, fixer le seuil à partir des coûts, et garder un humain dans la boucle.

Ce que les praticiens observent vraiment : sur tableau, le boosting gagne presque toujours, et de peu ; sur images, texte et son, tout le monde affine un réseau pré-entraîné ; sur les séries, la baseline naïve saisonnière gagne plus souvent qu'on ne l'admet. Partout, la donnée, la coupe, la métrique, le seuil et la surveillance pèsent plus que le modèle. Dans le projet du cours sur le défaut de crédit, quatre modèles sont comparés (régression logistique régularisée, forêt, boosting, modèle à noyau) avec les mêmes coupes, plusieurs graines et des intervalles de confiance ; le code est dans la note sur le code Python.

Retour au sommaire.

À retenir

1. Classer d'abord le problème : supervisé, non supervisé, forme de données particulière (série, matrice, récompenses), ou pas un problème d'apprentissage du tout (effet causal, optimisation).
2. Sur données tabulaires, partir d'un modèle linéaire ou logistique et le confronter au gradient boosting ; ne garder le challenger que si son gain change une décision.
3. Sur images, texte et son, affiner un réseau pré-entraîné plutôt qu'entraîner de zéro.
4. Un résultat non supervisé se juge à son utilité pour une décision, jamais comme vrai ou faux ; une anomalie n'est pas une fraude.
5. Pour prévoir, ETS ou ARIMA sur une série, retards et boosting sur beaucoup, toujours validés en avançant dans le temps contre une baseline naïve saisonnière.
6. L'explicabilité est une exigence réglementaire en crédit et en recrutement, classés à haut risque par l'annexe III de l'AI Act européen.
7. Chaque modèle a une situation où il ne faut pas s'en servir ; la connaître vaut plus que connaître sa définition.

Glossaire

modèles linéaires généralisés (generalised linear models, GLM)

Un score linéaire passé par une fonction de lien, estimé par maximum de vraisemblance ; couvre comptages, montants et issues binaires.

régression logistique (logistic regression)

Le GLM binomial à lien logit ; convexe, lisible, le modèle de référence du score de crédit.

forêts aléatoires (random forests)

Moyenne d'arbres décorrélés appris sur des échantillons bootstrap ; réduit la variance avec peu de réglages.

gradient boosting

Des arbres ajoutés un à un, chacun ajusté au gradient négatif de la perte du modèle courant.

machines à vecteurs de support (support vector machines, SVM)

Classifieur qui maximise la marge ; un noyau remplace les produits scalaires pour courber la frontière.

k plus proches voisins (k-nearest neighbours, kNN)

Prédit à partir des exemples stockés les plus proches ; exige de standardiser et souffre en grande dimension.

perceptron multicouche (multilayer perceptron, MLP)

Couches affines et non-linéarités empilées, entraînées par rétropropagation.

réseaux de neurones convolutifs (convolutional neural networks, CNN)

Réseau de filtres à poids partagés qui glissent sur une image ou un signal ; utilisé pré-entraîné en pratique.

grand modèle de langage (large language model, LLM)

Transformer pré-entraîné à prédire le jeton suivant, puis aligné pour suivre des instructions.

mélanges gaussiens (Gaussian mixture models, GMM)

Densité écrite comme somme pondérée de gaussiennes, estimée par espérance-maximisation ; appartenances graduées.

analyse en composantes principales (principal component analysis, PCA)

Projection sur les directions de plus grande variance, obtenue par la SVD des données centrées.

forêt d'isolement (isolation forest)

Score d'anomalie fondé sur le petit nombre de coupes aléatoires qui suffisent à isoler un point.

lissage exponentiel (exponential smoothing, ETS)

Filtre de prévision qui met à jour niveau, tendance et saison avec des poids qui oublient le passé.

inférence causale (causal inference)

Estimation de l'effet d'une action, fiable seulement avec une randomisation ou des hypothèses explicites.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

Précédent : Data engineering, SRE et cloud

1. IntroductionHivers de l'IA, emploi et méthode
2. OutilsKaggle, GitHub, Python : les outils
3. Séance 1Cadrage de projet et moindres carrés
4. Séance 2Vraisemblance et régression logistique
5. Séance 3Descente de gradient, ridge et lasso
6. Séance 4Seuil de décision et ML reproductible
7. DevoirUn modèle de référence défendable
8. Séance 5Noyaux, SVM et arbres de décision
9. Séance 6Forêts, boosting, comparaison honnête
10. Séance 7SHAP, équité, ACP et partitionnement
11. DevoirUn modèle champion documenté
12. Séance 8Réseaux de neurones, dérive, prédiction conforme
13. DevoirUn projet de machine learning livré
14. Séance 9Soutenir un projet de machine learning
15. RéférenceProjet de score de défaut de crédit
16. RéférenceRendements boursiers : XGBoost et sentiment
17. RéférenceLe code Python de chaque modèle
18. RéférenceDeep learning, l'essentiel
19. RéférenceDonnées ouvertes et projets par secteur
20. RéférenceManuel de l'expert data et IA
21. RéférenceData engineering, SRE et cloud
22. RéférencePanorama des modèles de machine learning

Toutes les fiches, en liste de lecture

L'attention et le transformer, pas à pas

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.