Maximum de vraisemblance, régression logistique et validation honnête, pas à pas

De la vraisemblance de Bernoulli à la log-loss

Un bon classifieur donne une forte probabilité à ce qui s'est réellement passé, et la log-loss est le prix qu'il paie quand ce n'est pas le cas.

Chaque client fait défaut ($y_i = 1$) ou non ($y_i = 0$). On modélise cette issue comme une pièce truquée dont le biais $p_i$ dépend de ses caractéristiques $x_i$ : c'est une loi de Bernoulli. Un jeu d'exposants écrit la probabilité de l'issue observée sans distinguer les cas : $p_i^{y_i}(1-p_i)^{1-y_i}$ vaut $p_i$ si le client a fait défaut et $1-p_i$ sinon.

Si l'on suppose les clients indépendants sachant leurs caractéristiques, la probabilité du jeu de données entier est le produit de ces termes. Ce produit, vu comme une fonction des paramètres $\beta$, est la vraisemblance (likelihood). Le maximum de vraisemblance (maximum likelihood estimation, MLE) retient le $\beta$ qui la rend la plus grande.

Deux raisons pratiques poussent vers le logarithme. Un produit de 30 000 nombres inférieurs à 1 tombe sous la précision des flottants, et une somme se dérive plus facilement qu'un produit. Comme le logarithme est croissant, le maximiseur ne bouge pas. L'apprentissage automatique préfère minimiser : on change le signe et l'on obtient la log-loss, appelée aussi entropie croisée (cross-entropy) binaire.

Pour un client qui fait vraiment défaut, il ne reste que $-\log p_i$. Le tableau montre la sévérité de la perte envers les erreurs commises avec assurance (logarithme népérien, l'unité est donc le nat).

Retour au sommaire.

Même recette, cible gaussienne : les moindres carrés

Les moindres carrés ne sont pas un choix arbitraire, c'est ce que donne le maximum de vraisemblance quand le bruit autour de la prédiction est gaussien.

Appliquons la recette à une cible continue. Supposons le prix observé gaussien autour de la prédiction linéaire, $y_i \sim \mathcal N(x_i^{\top}\beta, \sigma^2)$. Chaque densité vaut une constante fois $e^{-e_i^2/(2\sigma^2)}$, où $e_i$ est le résidu. En prenant le logarithme du produit, les constantes s'accumulent en un terme indépendant de $\beta$ et les exposants s'additionnent en une somme de résidus au carré.

Un facteur positif et une constante additive ne déplacent pas un minimum : l'estimateur du maximum de vraisemblance gaussien est donc exactement celui des moindres carrés ordinaires (ordinary least squares, OLS) du matin, avec ses équations normales. Avec un bruit de Laplace, l'exposant contiendrait $|e_i|$ et la recette donnerait les moindres écarts absolus, la médiane au lieu de la moyenne.

Le plancher que tout modèle doit battre

Prédisons le taux de base $\bar p = 0.221$ pour tous les clients. Sa log-loss moyenne est l'entropie de la cible, environ 0,528 nat. Un modèle de crédit qui ne descend pas sous ce nombre sur les données de validation n'a rien appris d'utile.

Le support montre aussi la forme que calculent réellement les bibliothèques, écrite avec le score $z_i = x_i^{\top}\beta$ : la moyenne de $\log(1+e^{z_i}) - y_i z_i$. La fonction $\log(1+e^{z})$ est la softplus, que l'on évalue sans dépassement même pour des scores très négatifs.

Retour au sommaire.

La sigmoïde et le logit

La sigmoïde comprime n'importe quel score réel en une probabilité, et sa réciproque montre que la régression logistique est une droite sur l'échelle des log-cotes.

Un score linéaire $z = x^{\top}\beta$ parcourt toute la droite réelle ; une probabilité vit dans $]0, 1[$. La fonction sigmoïde (sigmoid) relie les deux. Comme $e^{-z} > 0$, le dénominateur dépasse 1 et le résultat reste strictement entre 0 et 1 : le modèle ne prédit jamais la certitude, ce qui tient aussi la log-loss à l'écart de $\log 0$.

La dérivée est la seule formule à apprendre par cœur : elle fait tomber le gradient en quelques lignes, et son maximum d'un quart en $z = 0$ expliquera plus tard pourquoi les gradients s'éteignent dans les réseaux profonds à sigmoïdes. En résolvant $p = \sigma(z)$ en $z$, on obtient le logit (log-odds), logarithme des cotes :

Vérification pour un score de 2

1. Exponentielle. $e^{-2} \approx 0.135$, donc le dénominateur vaut environ 1,135.
2. Probabilité. $\sigma(2) = 1/1.135 \approx 0.881$.
3. Pente. $0.881 \times 0.119 \approx 0.105$, sous le plafond de 0,25.
4. Retour au score. $\log(0.881/0.119) = \log 7.39 \approx 2.00$ : le logit défait la sigmoïde.

Retour au sommaire.

Le gradient, la hessienne et la convexité

La direction dans laquelle bouger les coefficients est donnée par l'écart entre ce que le modèle a prédit et ce qui s'est passé, et la perte n'a qu'une seule vallée.

Chaque terme de la log-vraisemblance ne dépend de $\beta$ qu'à travers le score $z_i$. On dérive d'abord par rapport au score : grâce à $\sigma' = \sigma(1-\sigma)$, tous les dénominateurs se simplifient et il reste $y_i - p_i$, observé moins prédit. La dérivation en chaîne multiplie ensuite par $x_i$, et l'empilement des clients donne un produit matriciel.

Comparons avec les moindres carrés, dont le gradient est $X^{\top}(X\beta - y)$ : même forme, autre résidu. C'est la sigmoïde qui interdit une solution explicite ; les coefficients se trouvent donc par itérations, en descente de gradient (gradient descent) ou par la méthode de Newton (que les statisticiens appellent IRLS).

Une dérivée de plus donne la matrice hessienne (Hessian), une matrice $p \times p$ de même structure que $X^{\top}X$ mais pondérée par $w_i = p_i(1-p_i)$, des nombres entre 0 et un quart. Pour toute direction $v$, la forme quadratique $v^{\top}X^{\top}WXv = \sum_i w_i (x_i^{\top}v)^2$ est une somme pondérée de carrés, jamais négative. La log-loss est donc convexe : tout minimum local est global, et il est unique quand les colonnes de $X$ sont linéairement indépendantes.

Exemple chiffré : cinq clients, une variable (mois de retard)

1. Données. Retards $x = (0, 1, 3, 0, 2)$, issues $y = (0, 0, 1, 0, 1)$, probabilités prédites $p = (0.10, 0.20, 0.80, 0.15, 0.70)$ (chiffres d'illustration).
2. Écarts. $p - y = (0.10, 0.20, -0.20, 0.15, -0.30)$ : les deux clients en défaut sont sous-estimés.
3. Gradient. On pondère chaque écart par $x_i$ et l'on somme : $0 + 0.20 - 0.60 + 0 - 0.60 = -1.00$. Négatif, donc augmenter le coefficient des retards fait baisser la perte.
4. Hessienne. $\sum_i p_i(1-p_i)x_i^2 = 0.16 + 1.44 + 0.84 = 2.44 > 0$ : la perte est tournée vers le haut.
5. Pas de Newton. Moins le gradient divisé par la hessienne, $1.00/2.44 \approx 0.41$, donne la hausse du coefficient en une étape.

Retour au sommaire.

Softmax et entropie croisée à plusieurs classes

Avec plus de deux classes, chaque classe reçoit un score, la softmax transforme les scores en probabilités, et le gradient garde la forme prédit moins observé.

On donne à chacune des $K$ classes son propre score linéaire, on passe à l'exponentielle pour les rendre positifs, puis on divise par leur somme : c'est la softmax. La cible est un vecteur indicateur, si bien que l'entropie croisée ne garde qu'un terme, moins le logarithme de la probabilité donnée à la vraie classe. La dérivation à travers le log-somme-exp donne un résultat d'une grande simplicité.

Avec les scores $(2, 1, 0)$, les exponentielles valent environ 7,389, 2,718 et 1, de somme 11,107 ; les probabilités sont 0,665, 0,245 et 0,090. Si la vraie classe est la première, la perte vaut $-\log 0.665 \approx 0.408$ et le gradient $(-0.335, 0.245, 0.090)$ fait monter le bon score et descendre les autres. Il somme à zéro, car ajouter la même constante à tous les scores ne change rien.

Avec deux classes, diviser en haut et en bas par $e^{z_1}$ donne $\sigma(z_1 - z_2)$ : la régression logistique binaire est la softmax pour $K = 2$, et seule la différence des scores compte, d'où un unique vecteur de coefficients. La même couche termine presque tous les réseaux de classification (voir l'article sur l'attention).

Retour au sommaire.

Lire un coefficient comme un rapport de cotes

Un coefficient logistique multiplie les cotes par un facteur fixe, mais la variation de probabilité dépend du point de départ du client.

Les cotes (odds) valent $p/(1-p)$ : un client à 10 % a une cote de 1 contre 9, environ 0,111. Le logit étant linéaire, augmenter $x_j$ d'une unité, tout le reste fixé, ajoute $\beta_j$ aux log-cotes et multiplie les cotes par $e^{\beta_j}$, le rapport de cotes (odds ratio). Ce facteur est le même pour tous les clients, et c'est ce qui en fait le bon nombre à publier.

L'intervalle se construit sur le coefficient, où l'approximation normale est bonne, puis on l'exponentie : il est donc asymétrique autour du rapport de cotes. L'erreur-type vient de l'inverse de la hessienne, $(X^{\top}WX)^{-1}$, au point estimé.

Même rapport de cotes, effet double en probabilité. Écrire « le risque augmente de 82 % » est donc faux, et un valideur le repère aussitôt. Un rapport sérieux donne le rapport de cotes avec son intervalle, plus la probabilité avant et après pour un client type. Quand des variables catégorielles sont encodées en indicatrices, il nomme aussi la modalité de référence.

Retour au sommaire.

Biais-variance et validation sans fuite

L'erreur de test a trois sources, dont une seule dépend de vous, et la mesurer honnêtement exige qu'aucune information du jeu de test n'atteigne le modèle.

Pour $y = f(x) + \varepsilon$ et un modèle $\hat f$ ajusté sur un échantillon aléatoire $D$, l'erreur quadratique attendue en un point se répartit entre le bruit irréductible, le biais au carré (l'écart systématique d'une famille trop simple) et la variance (combien l'ajustement bouge quand on retire l'échantillon). C'est le compromis biais-variance (bias-variance trade-off). La preuve ajoute et retranche deux fois la prédiction moyenne, et les deux termes croisés s'annulent.

En pratique, on ne voit jamais les trois termes séparément ; on voit une erreur d'apprentissage qui baisse sans cesse et une erreur de validation qui remonte. La validation croisée (cross-validation) estime cette seconde courbe sans toucher au jeu de test : on découpe les lignes restantes en $k$ plis stratifiés, on entraîne sur $k-1$, on évalue le pli mis de côté, on fait la moyenne. La moyenne est presque sans biais pour la procédure, mais l'écart-type affiché n'est pas un intervalle de confiance, car les jeux d'apprentissage se recouvrent largement (Bengio et Grandvalet, 2004).

Une fuite de données (data leakage) est toute statistique des données de test qui entre dans le modèle. Les deux classiques : standardiser tout le fichier avant de couper (remède, un Pipeline ajusté dans chaque pli), et l'encodage par la cible (target encoding) calculé sur toutes les lignes, où chaque ligne voit sa propre étiquette (remède, un encodage hors pli). Sur des données datées, des plis mélangés laissent le modèle apprendre sur le futur ; un TimeSeriesSplit apprend sur le passé et valide sur la suite.

Reste à savoir jusqu'où croire un score de test. L'inégalité de Hoeffding (Hoeffding's inequality) borne l'écart entre erreur mesurée et erreur vraie pour une perte dans $[0, 1]$ et des lignes indépendantes, sans hypothèse sur le modèle. En fixant le risque $\delta$ et en résolvant, on obtient la marge :

Avec $\delta = 0.05$ et 1 000 lignes de test, $\ln 40 \approx 3.689$, divisé par 2 000 puis passé à la racine, donne environ 0,043 : deux modèles à 81 % et 84 % ne se distinguent pas. La marge décroît comme $n^{-1/2}$, la diviser par deux coûte quatre fois plus de lignes ; les 6 000 lignes de test du projet donnent environ 1,8 point. La garantie ne tient que si l'on regarde le jeu de test une seule fois.

Le lancement du projet en équipe applique tout cela aux données de crédit : un audit SQL avec DuckDB, une fiche de données qui dit exactement ce que signifie la cible, une carte des fuites (leakage map) qui date chaque colonne par rapport à la date de prédiction, une coupe stratifiée 60/20/20 figée par une graine et une empreinte du fichier, et deux modèles de référence (le modèle constant à 0,528 et une régression logistique par défaut dans un pipeline). La page du projet prend la suite.

Retour au sommaire.

À retenir

1. Choisir une loi pour la cible, c'est choisir la perte : un bruit gaussien donne les moindres carrés, une cible de Bernoulli donne la log-loss.
2. La sigmoïde envoie un score sur une probabilité, sa dérivée vaut $\sigma(1-\sigma)$, et sa réciproque, le logit, est linéaire en les variables.
3. Le gradient logistique vaut $X^{\top}(p - y)$, la même forme que pour les moindres carrés ; la hessienne $X^{\top}WX$ rend la perte convexe.
4. Un coefficient multiplie les cotes par $e^{\beta_j}$ : on publie le rapport de cotes avec son intervalle et les probabilités avant et après, jamais une hausse du risque en pourcentage.
5. L'erreur de test vaut bruit plus biais au carré plus variance ; seul l'arbitrage entre les deux derniers dépend de vos choix de modélisation.
6. Toute statistique du jeu de test qui atteint le modèle est une fuite : on ajuste standardisation et encodages dans les plis, et l'on respecte l'ordre du temps sur des données datées.
7. Un score de test a une marge d'environ $\sqrt{\ln(2/\delta)/2n}$ : quelques centaines de lignes ne départagent pas des modèles proches.

Glossaire

vraisemblance (likelihood)

La probabilité des données observées, vue comme une fonction des paramètres du modèle.

maximum de vraisemblance (maximum likelihood estimation, MLE)

Choisir les paramètres qui rendent les données observées les plus probables.

entropie croisée (cross-entropy)

Moins la log-vraisemblance moyenne ; pour une cible 0/1, c'est la log-loss que minimise la régression logistique.

fonction sigmoïde (sigmoid)

La fonction $1/(1+e^{-z})$ qui envoie un score réel sur une probabilité strictement entre 0 et 1.

logit (log-odds)

Le logarithme de $p/(1-p)$, réciproque de la sigmoïde, linéaire en les variables dans la régression logistique.

cotes (odds)

Le rapport $p/(1-p)$ entre la probabilité d'un événement et celle de son contraire.

rapport de cotes (odds ratio)

Le facteur $e^{\beta_j}$ qui multiplie les cotes quand une variable augmente d'une unité.

matrice hessienne (Hessian)

La matrice des dérivées secondes de la perte, ici semi-définie positive, d'où la convexité.

compromis biais-variance (bias-variance trade-off)

Les modèles simples se trompent de façon systématique, les modèles souples varient avec l'échantillon, et l'erreur de test additionne les deux au bruit.

validation croisée (cross-validation)

Moyenne de l'erreur sur k plis, chacun mis de côté une fois, pour estimer l'erreur d'une procédure.

fuite de données (data leakage)

Toute information des données de test, ou du futur, qui entre dans l'entraînement du modèle.

encodage par la cible (target encoding)

Remplacer une modalité par la moyenne de la cible dans cette modalité, ce qui fuit sauf calcul hors pli.

inégalité de Hoeffding (Hoeffding's inequality)

Une borne sur l'écart entre erreur mesurée et erreur vraie qui ne demande qu'une perte bornée et des lignes indépendantes.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

Précédent : Cadrage de projet et moindres carrésSuivant : Descente de gradient, ridge et lasso

1. IntroductionHivers de l'IA, emploi et méthode
2. OutilsKaggle, GitHub, Python : les outils
3. Séance 1Cadrage de projet et moindres carrés
4. Séance 2Vraisemblance et régression logistique
5. Séance 3Descente de gradient, ridge et lasso
6. Séance 4Seuil de décision et ML reproductible
7. DevoirUn modèle de référence défendable
8. Séance 5Noyaux, SVM et arbres de décision
9. Séance 6Forêts, boosting, comparaison honnête
10. Séance 7SHAP, équité, ACP et partitionnement
11. DevoirUn modèle champion documenté
12. Séance 8Réseaux de neurones, dérive, prédiction conforme
13. DevoirUn projet de machine learning livré
14. Séance 9Soutenir un projet de machine learning
15. RéférenceProjet de score de défaut de crédit
16. RéférenceRendements boursiers : XGBoost et sentiment
17. RéférenceLe code Python de chaque modèle
18. RéférenceDeep learning, l'essentiel
19. RéférenceDonnées ouvertes et projets par secteur
20. RéférenceManuel de l'expert data et IA
21. RéférenceData engineering, SRE et cloud
22. RéférencePanorama des modèles de machine learning

Toutes les fiches, en liste de lecture

L'attention et le transformer, pas à pas

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.