Cadrer avant de modéliser, puis les moindres carrés : décision, fuites de données, équations normales et conditionnement

Partir de la décision, pas des données

Un modèle ne vaut la peine que si quelqu'un agira autrement après avoir lu sa sortie, donc on écrit la décision avant tout le reste.

Le réflexe, quand un CSV arrive, est de l'ouvrir et d'y chercher des motifs. Le cours demande l'ordre inverse. On écrit d'abord qui décide, entre quelles options, et ce que coûte chaque type d'erreur. Sur le projet fil rouge, un analyste crédit accepte, refuse ou envoie un dossier en revue manuelle, un comité fixe le seuil, et accepter un client qui fera défaut coûte plus cher que d'écarter un bon client. Cette asymétrie fixera la métrique et, plus tard dans le cours, le seuil.

Un objectif flou comme prédire le défaut est un verbe et une colonne, pas une question. Une question exploitable nomme quatre éléments : une décision, une mesure du succès, un périmètre (ce portefeuille, ce mois-ci) et un responsable qui agira sur la réponse. S'il en manque un, le projet finit souvent par optimiser un chiffre que personne ne lit.

La cible est une trace datée

La variable cible (target) est la colonne que le modèle apprend, et ce n'est jamais le phénomène lui-même. Dans les données de crédit, c'est un retard de paiement le mois suivant, enregistré selon la règle de la banque pour octobre 2005. Un client en retard en octobre qui régularise en novembre compte comme un défaut ; un client qui disparaît avec toute sa ligne de crédit en décembre, non. La cible n'est donc ni un « mauvais client » ni une perte en euros. La première question à poser au métier : comment la colonne a été construite, par qui, et à quelle date sa valeur est connue.

Retour au sommaire.

Deux métriques, le piège de l'exactitude et les garde-fous

Un chiffre aide l'équipe data à choisir entre deux modèles, un autre dit au métier s'il faut déployer, et aucun des deux n'est l'exactitude.

Le cours sépare une métrique de modèle et une métrique métier, parce qu'elles n'ont pas les mêmes lecteurs. La métrique de modèle (log-loss, AUC, score de Brier) se calcule à chaque entraînement sur la partie validation et doit réagir aux petites améliorations. La métrique métier s'exprime en euros perdus ou en bons clients refusés, et le comité de crédit la lit après déploiement. Les deux sont fixées dans le journal des décisions avant le premier entraînement.

Dès qu'une classe est rare, l'exactitude flatte un modèle qui n'a rien appris. Ce modèle constant reste utile : il devient le premier modèle de référence (baseline) du projet, et sa log-loss, égale à l'entropie de la cible, est le plancher que tout vrai modèle doit battre.

Les garde-fous, écrits avant l'entraînement

Un garde-fou (guard-rail) est une limite posée au modèle avant qu'il existe. Le cours en retient quatre.

• Ce que le modèle ne fait jamais. Il ne refuse pas un client seul, et il n'utilise pas le sexe, ni directement ni par une variable qui le trahit. La situation matrimoniale reste en entrée, sous audit : on la garde seulement si elle apporte quelque chose au-delà de l'historique de paiement et si l'écart de traitement qu'elle crée se justifie.
• Qui signe. Une personne nommée valide le seuil et le déploiement.
• Quand on arrête. Les critères d'arrêt (AUC sous la référence, dérive des entrées, réclamation étayée) sont écrits avant le modèle, pour qu'on ne puisse pas les ajuster au résultat.
• La réglementation. La notation de crédit des personnes physiques est un usage à haut risque au sens de l'annexe III, point 5(b), du règlement européen sur l'IA (règlement (UE) 2024/1689), avec des obligations de documentation, de contrôle humain et de journalisation.

Retour au sommaire.

Fuites de données : jointure datée, coupe gelée, carte des fuites

Un modèle qui a vu des informations postérieures à la date de prédiction brille en développement et échoue en production, d'où un ordre strict de préparation.

Le cours présente le projet comme une boucle plutôt qu'une chaîne : une évaluation peut révéler une fuite de données (data leakage), la fuite modifie la carte des données, la carte modifie la question. Chaque tour est consigné dans un journal des décisions, avec la date, l'option écartée, la raison et un chiffre qu'une commande reproduit. À l'intérieur d'un tour, en revanche, l'ordre des étapes est fixé.

Les étapes de données, dans l'ordre

1. Sources. Lister chaque table avec sa licence et la définition exacte de chaque colonne.
2. Jointure datée. Une jointure à date de validité (point-in-time join) : pour prédire à la date $t$, ne garder que les enregistrements datés $t' \le t$. Dans les données de crédit, les variables s'arrêtent fin septembre 2005 et la cible porte sur octobre ; tout ce qui est connu après est interdit.
3. Coupe gelée. Découper apprentissage, validation et test, en stratifiant sur la cible pour que chaque partie garde 22,1 % de défauts, et figer la coupe par une graine aléatoire et l'empreinte SHA-256 du fichier. Le jeu de test ne s'ouvre qu'une fois, au jalon.
4. Carte des fuites. La carte des fuites (leakage map) compte une ligne par colonne : quand elle est connue, si on peut l'utiliser, et pourquoi. Elle se rédige à partir des définitions des colonnes, donc avant même de regarder les données.
5. Modèle. Seulement maintenant, et le premier modèle est une constante.

Retour au sommaire.

Moindres carrés et équations normales

On cherche la droite qui rend la somme des écarts verticaux au carré la plus petite possible, et annuler la pente de cette somme donne un petit système linéaire.

On range les $n$ observations dans un vecteur $y$ et les variables dans une matrice $X \in \R^{n\times p}$ dont la première colonne ne contient que des 1, pour la constante. Le modèle s'écrit $y = X\beta + \varepsilon$, et les moindres carrés ordinaires (ordinary least squares, OLS) choisissent le $\beta$ qui minimise la norme au carré du résidu.

Le développement n'utilise que deux faits : la transposée d'un produit inverse l'ordre, et un scalaire est égal à sa transposée, si bien que les deux termes croisés fusionnent. La dérivation utilise deux règles : le gradient de $\beta\T b$ vaut $b$, celui de $\beta\T A\beta$ vaut $2A\beta$ quand $A$ est symétrique.

En annulant ce gradient, on obtient les équations normales (normal equations), un système de $p$ équations à $p$ inconnues :

Un gradient nul suffit parce que $J$ est convexe : sa hessienne $2X\T X$ est semi-définie positive (la preuve vient avec l'optimisation convexe). $X\T X$ est inversible exactement quand aucune colonne de $X$ n'est combinaison des autres, ce qui exclut par exemple le même montant en euros et en milliers d'euros.

Exemple chiffré : cinq clients

Le cours prend cinq clients fictifs : une ancienneté $x = (1, 2, 3, 4, 5)$ ans et un solde moyen $y = (2, 3, 5, 4, 6)$ en milliers d'euros. Une droite tracée à la main, $\hat y = 1 + x$, laisse une somme des carrés de 2,0. Une autre droite fait-elle mieux ?

Pas à pas

1. Quatre sommes. $n = 5$, $\sum x_i = 15$, $\sum x_i^2 = 55$, $\sum y_i = 20$, $\sum x_i y_i = 69$ ; donc $X\T X$ a pour lignes $(5, 15)$ et $(15, 55)$, et $X\T y = (20, 69)$.
2. Deux équations. $5\beta_0 + 15\beta_1 = 20$ et $15\beta_0 + 55\beta_1 = 69$. En retranchant trois fois la première de la seconde, il reste $10\beta_1 = 9$.
3. Solution. $\hat\beta_1 = 0.9$, puis $\hat\beta_0 = (20 - 13.5)/5 = 1.3$. La droite $\hat y = 1.3 + 0.9x$ laisse 1,9, moins que 2,0.
4. Vérification. En $(1, 1)$, le gradient vaut $(0, 2)$ et non zéro : la droite tracée à la main n'était pas le minimum.

Retour au sommaire.

Les valeurs ajustées sont une projection : matrice chapeau, Xᵀe = 0, R²

La meilleure droite est le point du plan engendré par les colonnes le plus proche des données, donc l'erreur restante forme un angle droit avec ce plan.

En reportant $\hat\beta$ dans $\hat y = X\hat\beta$, une matrice apparaît devant $y$ : la matrice chapeau (hat matrix), ainsi nommée parce qu'elle pose le chapeau sur $y$. Elle est de taille $n \times n$, alors que $X\T X$ n'est que $p \times p$.

Les deux identités de droite disent que $H$ est un projecteur orthogonal (orthogonal projection) : projeter deux fois ne change rien, et la projection n'est pas oblique. Tout $X\beta$ vit dans l'espace engendré par les colonnes de $X$ ; le $y$ observé, non. Le point le plus proche de cet espace est le pied de la perpendiculaire, $\hat y$, et le résidu $e = y - \hat y$ est perpendiculaire à chaque colonne. C'est la condition de gradient nul, lue comme de la géométrie.

La seconde formule prouve les moindres carrés sans dérivée : l'écart à n'importe quelle autre droite est le résidu plus un morceau situé dans le plan, et Pythagore fait disparaître le terme croisé.

Sur les mêmes nombres, Pythagore tombe juste : $\lVert y\rVert^2 = 90 = 88.1 + 1.9$, et pour la droite tracée à la main $2.0 = 1.9 + 0.1$. La trace de $H$ vaut $p = 2$, un contrôle rapide.

Le R² exige la constante

Avec les cinq clients, prédire la moyenne 4 pour tout le monde laisse $\text{SST} = 10$, la droite laisse $\text{SSE} = 1.9$, d'où un coefficient de détermination (coefficient of determination, R²) de 0,81. Le partage de la variance totale repose sur des résidus de somme nulle, ce qui n'est garanti que si la colonne de 1 est dans le modèle. Sans elle, la formule usuelle peut devenir négative : le cours montre un ajustement à deux points passant par l'origine qui donne $R^2 = -3$. Un R² négatif dans un rapport signale presque toujours une constante oubliée, ou un score de test calculé après une fuite.

Retour au sommaire.

Conditionnement et SVD : pourquoi on n'inverse jamais XᵀX

Un ordinateur arrondit chaque nombre, et former XᵀX élève au carré l'amplification possible de ces arrondis, donc les bibliothèques résolvent autrement.

La décomposition en valeurs singulières (singular value decomposition, SVD) écrit $X = U\Sigma V\T$ : $U$ a des colonnes orthonormées qui engendrent le même plan que $X$, $\Sigma$ porte les valeurs singulières $\sigma_1 \ge \dots \ge \sigma_p > 0$, et $V$ est une rotation des coefficients. Dans cette base, la solution ne demande aucune inversion de matrice, seulement des divisions, et la matrice chapeau devient $UU\T$.

Chaque composante de $y$ selon $u_j$ est divisée par $\sigma_j$ : une petite valeur singulière amplifie tout ce qui tombe dans sa direction, bruit compris. Le nombre de conditionnement (condition number) $\kappa$ borne cette amplification : une erreur relative sur les données peut être multipliée jusqu'à $\kappa$ sur les coefficients. Former $X\T X$ l'élève au carré. Avec $\kappa = 10^4$, la machine travaille à $10^8$, ce qui consomme déjà la moitié des chiffres significatifs d'un double. C'est pourquoi np.linalg.lstsq passe par la SVD et d'autres solveurs par QR, jamais par $(X\T X)^{-1}$.

La réponse pratique : standardiser les colonnes et noter np.linalg.cond(X) avant de livrer un modèle. En TP, sur California Housing brut, $\kappa(X)$ avoisine $2\cdot 10^5$ ; après standardisation il tombe vers 7 et les trois implémentations coïncident à $10^{-13}$ près.

La colinéarité

Quand deux colonnes sont presque parallèles, la colinéarité (multicollinearity) fait que la direction qui les sépare est à peine présente dans les données : sa valeur singulière est minuscule et la variance $\sigma^2/\sigma_j^2$ le long de cette direction explose. Le cours ajoute aux cinq clients une seconde mesure de l'ancienneté, un peu bruitée, corrélée à 0,998 avec la première. Les coefficients sautent à $-1.29$ et $+2.26$, avec des écarts-types proches de 5, et $\kappa(X)$ passe de 8,4 à 85. Leur somme, 0,97, reste proche de la pente initiale 0,9, et la prédiction du client 3 ne bouge que de 4,00 à 4,23 : les données fixent l'effet total, pas son partage. Les remèdes : retirer une colonne, ou la régularisation ridge, qui ajoute $\lambda$ à chaque $\sigma_j^2$.

import numpy as np

x = np.array([1, 2, 3, 4, 5.])
y = np.array([2, 3, 5, 4, 6.])
X = np.column_stack([np.ones(5), x])

# Par la SVD, des divisions, aucune inverse
U, s, Vt = np.linalg.svd(X, full_matrices=False)
beta = Vt.T @ ((U.T @ y) / s)      # [1.3, 0.9]
e = y - X @ beta
print(X.T @ e)                     # ~[0, 0], résidu orthogonal
print(s[0] / s[-1])                # conditionnement, environ 8,4

Retour au sommaire.

À retenir

1. Écrire la décision, son responsable et le coût de chaque erreur avant de toucher aux données ; la cible, la métrique et le seuil en découlent.
2. La cible est un enregistrement daté produit par une règle, pas le phénomène, et l'exactitude trompe dès qu'une classe est rare.
3. Protéger l'évaluation dans un ordre fixe : jointure datée, coupe gelée par graine et empreinte du fichier, carte des fuites, puis une référence constante.
4. Les moindres carrés résolvent les équations normales $X\T X\hat\beta = X\T y$ ; géométriquement, $\hat y = Hy$ est une projection orthogonale et $X\T e = 0$.
5. Le R² ne partage proprement la variance que si le modèle contient la constante, et un R² négatif signale en général une constante oubliée ou une fuite.
6. Vérifier $\kappa(X)$ avant de livrer, standardiser les colonnes, et résoudre par SVD ou QR, jamais par $(X\T X)^{-1}$.

Glossaire

moindres carrés ordinaires (ordinary least squares, OLS)

Estimation d'un modèle linéaire par minimisation de la somme des carrés des résidus.

équations normales (normal equations)

Le système $p \times p$, $X\T X\hat\beta = X\T y$, que vérifie la solution des moindres carrés.

matrice chapeau (hat matrix)

$H = X(X\T X)^{-1}X\T$, qui envoie les observations $y$ sur les valeurs ajustées $\hat y$.

projecteur orthogonal (orthogonal projection)

Application linéaire telle que $H^2 = H = H\T$ ; elle envoie un vecteur sur le point le plus proche d'un sous-espace.

coefficient de détermination (coefficient of determination, R²)

Part de la variance autour de la moyenne retirée par le modèle, $1 - \text{SSE}/\text{SST}$.

décomposition en valeurs singulières (singular value decomposition, SVD)

Factorisation $X = U\Sigma V\T$ en colonnes orthonormées, valeurs singulières et rotation.

nombre de conditionnement (condition number)

Rapport de la plus grande à la plus petite valeur singulière ; il borne l'amplification des erreurs relatives.

colinéarité (multicollinearity)

Dépendance presque linéaire entre colonnes, qui gonfle la variance de chaque coefficient pris seul.

fuite de données (data leakage)

Information indisponible au moment de prédire qui atteint les données d'apprentissage et gonfle les scores.

jointure à date de validité (point-in-time join)

Jointure qui ne garde, pour une prédiction à la date $t$, que les enregistrements connus à $t$ ou avant.

carte des fuites (leakage map)

Tableau d'une ligne par colonne : quand elle est connue, si on peut l'utiliser, et pourquoi.

modèle de référence (baseline)

Le modèle le plus simple, ici une prédiction constante, que tout modèle utile doit battre.

variable cible (target)

La colonne que le modèle apprend : une trace datée du phénomène, enregistrée selon une règle.

garde-fou (guard-rail)

Limite posée au modèle avant l'entraînement : variables exclues, signataire, critères d'arrêt.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

Précédent : Kaggle, GitHub, Python : les outilsSuivant : Vraisemblance et régression logistique

1. IntroductionHivers de l'IA, emploi et méthode
2. OutilsKaggle, GitHub, Python : les outils
3. Séance 1Cadrage de projet et moindres carrés
4. Séance 2Vraisemblance et régression logistique
5. Séance 3Descente de gradient, ridge et lasso
6. Séance 4Seuil de décision et ML reproductible
7. DevoirUn modèle de référence défendable
8. Séance 5Noyaux, SVM et arbres de décision
9. Séance 6Forêts, boosting, comparaison honnête
10. Séance 7SHAP, équité, ACP et partitionnement
11. DevoirUn modèle champion documenté
12. Séance 8Réseaux de neurones, dérive, prédiction conforme
13. DevoirUn projet de machine learning livré
14. Séance 9Soutenir un projet de machine learning
15. RéférenceProjet de score de défaut de crédit
16. RéférenceRendements boursiers : XGBoost et sentiment
17. RéférenceLe code Python de chaque modèle
18. RéférenceDeep learning, l'essentiel
19. RéférenceDonnées ouvertes et projets par secteur
20. RéférenceManuel de l'expert data et IA
21. RéférenceData engineering, SRE et cloud
22. RéférencePanorama des modèles de machine learning

Toutes les fiches, en liste de lecture

L'attention et le transformer, pas à pas

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.