~/teaching · machine learning · séance 9, vendredi 12 mars 2027

Soutenir un projet de machine learning : le pitch, la démonstration en direct, les questions et la suite

Cinq blocs à montrer, quatre pièges à éviter, une façon de répondre à ce qu'on ne sait pas.

Sitraka Forler, Centrale Méditerranée

Révision 16 octobre 2026 · environ 12 minutes

Résumé

Ce résumé porte sur le dernier deck du cours de Machine Learning de Centrale Méditerranée (option DDEFI, 2026-2027) : la journée où chaque équipe soutient son projet final devant un jury. Il y est moins question de modèles que de jugement. Une soutenance vérifie qu'un dépôt tourne sur la machine de quelqu'un d'autre, que le modèle sert une décision chiffrée, et que chaque membre de l'équipe sait répondre seul.

La note garde ce qui sert à quiconque doit défendre un projet de science des données, à l'école ou au travail : les cinq blocs d'un pitch court, les vérifications en direct d'un jury technique, les questions qui reviennent chaque année, les pièges et leurs parades, et une méthode pour la question à laquelle on ne sait pas répondre. La dernière partie regarde au-delà du cours : raconter le projet en entretien, rendre un dépôt public lisible sans vous, les métiers de la finance auxquels il parle, et quoi lire ensuite.

Elle suppose les séances précédentes : le seuil de décision (decision threshold) tiré des coûts, la comparaison honnête des modèles, SHAP et l'audit d'équité (séance 7), la prédiction conforme (conformal prediction) et la dérive (drift) (séance 8).

Les slides

Journée de présentation finale : les soutenances

Séance 9, vendredi 12 mars 2027. Machine Learning, Centrale Méditerranée, option DDEFI, 2026-2027.

Ouvrir les slides (mot de passe donné par l'enseignant)

Le deck lui-même est chiffré pour les élèves du cours ; cette page le résume pour tous.

La page du cours · L'attention et le transformer, pas à pas

Plan du deck

La journée et le format. Comment se construit une soutenance : un pitch court, puis le dépôt rendu lancé en direct, une variation prédite, une dérivation et des questions libres.
Ce qu'une soutenance doit montrer. Cinq blocs dans l'ordre : le problème en une image, la décision servie, trois modèles comparés, les limites, la suite.
Questions et pièges. Les quatre erreurs vues chaque année, la variation prédite, les questions probables par thème, et comment répondre sans savoir.
Délibération et retour collectif. Pendant que le jury délibère, les équipes notent trois idées prises aux autres projets ; le retour collectif tire les leçons communes.
Après. Le projet en entretien, le dépôt public comme ligne de CV, les stages et métiers de la donnée en finance, des lectures pour continuer.
Ce que le cours laisse. Un modèle se juge à la décision qu'il sert, à l'incertitude qu'il admet, et à la possibilité qu'un autre le reconstruise.

Ce que vérifie une soutenance, et comment elle se déroule

Une soutenance ne vérifie pas que votre modèle est le meilleur : elle vérifie qu'il tourne ailleurs, qu'il sert une décision et que chacun de vous le comprend.

Le jury cherche trois choses, pas davantage. D'abord un dépôt qui se reproduit sur une machine qui n'est pas la vôtre : le jury clone le dernier commit poussé avant l'échéance, lance make reproduce puis démarre l'API avec make serve. C'est la reproductibilité (reproducibility) au sens strict. Ce qui a été corrigé ensuite n'existe pas pour la journée ; dites-le si c'est important, mais c'est la version rendue qui tourne. Ensuite une décision : le modèle sert à accepter, refuser ou signaler, avec un seuil, une incertitude, une valeur en euros et des limites que l'équipe énonce elle-même. Enfin une équipe où chacun sait répondre : un membre qui ne connaît que sa partie se repère en une minute.

La forme d'une soutenance de quatorze minutes dans ce cours

Pitch. Cinq minutes, dix diapositives au plus, chaque membre présente au moins un bloc.
Démonstration. Le jury lance le dépôt rendu sur sa propre machine : pas de clé USB, pas d'échange d'ordinateur, pas de lien envoyé le matin même.
Variation prédite. Le jury modifie une entrée d'un client d'exemple et un membre tiré au sort prédit l'effet avant qu'on l'exécute.
Dérivation. Un membre tiré au sort refait au tableau une dérivation tirée d'une liste publiée des mois à l'avance.
Questions. Adressées à n'importe qui, sur le seuil, les intervalles, les ensembles conformes, l'équité, la surveillance ou l'AI Act.

La conséquence pratique est simple : ce que vous montrez, c'est ce que vous avez rendu. Le dépôt doit contenir les diapositives en PDF, un README qui explique comment reproduire et servir, et un fichier client d'exemple pour interroger le point d'accès de prédiction. Une démonstration qui ne marche que sur l'ordinateur de son auteur n'est pas une démonstration.

Retour au sommaire.

Le pitch en cinq blocs : problème, décision, comparaison, limites, suite

Partez de la décision et du coût de chaque erreur, car le seuil, la métrique et la valeur en euros en découlent tous.

Le problème en une image. Une figure lisible du fond de la salle : qui est le client, quelle décision on prend à son sujet, ce que coûte chacune des deux erreurs. Sur l'exemple suivi du cours (score de défaut de crédit), refuser un bon client coûte par hypothèse 600 €, accepter un client qui fera défaut 4 500 €, deux hypothèses de cours posées en séance 4. Sans cette image, une courbe ROC ne dit rien au jury.

La décision servie. Trois nombres, chacun avec son origine. Le seuil, tiré des coûts et appliqué à des probabilités calibrées. Le taux d'abstention, autrement dit l'option de rejet (reject option) : la part des dossiers dont l'ensemble conforme contient les deux classes, confiés à un humain. Et la valeur annuelle, toujours par rapport à quelque chose : tout accepter, ou la règle que la banque applique déjà. Un gain annoncé sans point de comparaison ne dit rien.

t^{*} = \frac{c_{\mathrm{FP}}}{c_{\mathrm{FP}} + c_{\mathrm{FN}}}

(1)

Exemple chiffré : le seuil de l'exemple suivi

Coûts. $c_{\mathrm{FP}} = 600$ euros pour un bon client refusé, $c_{\mathrm{FN}} = 4500$ euros pour un défaut accepté.
Seuil. $t^{*} = 600 / 5100 \approx 0.1176$ : on refuse dès que la probabilité de défaut calibrée dépasse 12 % environ.
Lecture. Le seuil est bas parce qu'un défaut manqué coûte 7,5 fois plus qu'un client perdu ; c'est un choix métier, écrit dans la configuration, pas une sortie du modèle.

Trois modèles, comparés honnêtement. Un tableau, trois lignes : une référence naïve (sur l'exemple suivi, la régression logistique), le modèle champion (champion model), et le modèle le plus lourd essayé, boosting ou réseau. Chacun avec son AUC, son score de Brier et leurs intervalles à 95 %, plus un test corrigé de Nadeau et Bengio (corrected resampled t-test) face à la référence. La phrase sous le tableau compte le plus : quelle règle de choix était écrite avant de voir les chiffres, et quel modèle elle a désigné. Si rien ne bat la régression logistique de façon établie, la garder est un résultat, pas un échec.

\hat\sigma^2_{\text{corr}} = \left(\frac{1}{J} + \frac{n_{\text{test}}}{n_{\text{train}}}\right)\hat\sigma^2

(2)

Ici $J$ est le nombre de coupes rééchantillonnées et $\hat\sigma^2$ la variance des écarts de score entre elles ; le second terme corrige le recouvrement des jeux d'apprentissage, que la variance naïve ignore.

**Tableau 1 :** Les quatre limites qu'un pitch doit énoncer avant qu'on les lui demande.
Limite	Ce qu'on en dit
Données	Origine, période, et ce qu'elles ne couvrent pas (l'exemple suivi applique des données d'une banque taïwanaise de 2005 à une banque européenne)
Couverture conforme	La garantie est marginale ; dire ce qu'elle vaut par sous-groupe
Équité	Ce que l'audit par groupe a montré, et ce qu'il ne pouvait pas montrer
Dérive	Ce qui ferait tomber le modèle, et quel indicateur surveillé le verrait

La suite. Une bonne piste nomme une action précise, ce qu'elle doit changer et comment on le mesurera, et pourquoi elle passe en premier ; par exemple, contraindre le boosting à être monotone dans le dernier retard de paiement parce qu'un test de propriété échoue aujourd'hui. « Essayer d'autres modèles » ou « avoir plus de données » ne sont pas faux, ils sont vides : ils ne montrent pas où se trouve le point faible.

Retour au sommaire.

La variation prédite : montrer qu'on connaît son modèle

Le jury modifie une entrée d'un cas réel et vous demande de prédire, avant de lancer le calcul, si le score bouge, de combien, et si la décision bascule.

L'exercice vérifie la compréhension, pas la chance. On prend un cas du jeu de validation et on change une entrée, en général la plus influente (sur l'exemple suivi, le retard de paiement du dernier mois). On attend trois choses : le sens du mouvement, son ordre de grandeur, et sa conséquence sur la décision, compte tenu de la distance au seuil et de l'ensemble conforme.

Les outils sont déjà dans le dépôt. Les valeurs de Shapley (Shapley values, SHAP) donnent le signe et la taille de la contribution de chaque variable pour ce client, car elles décomposent la prédiction de façon additive autour d'une valeur de base :

f(x) = \phi_0 + \sum_{j=1}^{p} \phi_j(x)

(3)

Un test de monotonie, s'il a été écrit, garantit le sens ; le seuil dit si le cas le franchit ; l'ensemble conforme dit si le service s'abstiendrait. Se tromper puis expliquer correctement d'où vient l'écart compte davantage que tomber juste par hasard.

Retour au sommaire.

Questions, pièges, et répondre sans savoir

La plupart des échecs en soutenance sont prévisibles, et la question à laquelle vous ne saurez pas répondre viendra de toute façon : préparez la manière d'y répondre.

**Tableau 2 :** Quatre pièges vus chaque année, chacun avec sa parade.
Piège	Parade
Lire ses diapositives	Des mots-clés à l'écran, la phrase complète à l'oral
Une démonstration qui casse	La veille, un membre clone l'étiquette rendue sur une autre machine et suit le README seul (coupables habituels : une dépendance absente du lockfile, un chemin absolu)
« On n'a pas eu le temps »	« Nous avons choisi X plutôt que Y parce que... » : un choix, pas une excuse
Un chiffre sans sa méthode	Dire sur quelles données, comment, avec quel intervalle : une AUC de 0,78 avec son intervalle issu d'une validation croisée imbriquée, pas un 0,78 nu

Répondre à une question dont on ignore la réponse

Reformuler. Vérifier qu'on répond bien à la question posée, et gagner quelques secondes.
Séparer. Dire ce qu'on a mesuré et ce qu'on n'a pas mesuré, par exemple une couverture vérifiée par sexe mais pas par tranche d'âge.
Proposer. Dire comment on le vérifierait avec son propre code, concrètement : quelle fonction, quelle coupe, quel tableau.

N'inventez jamais un chiffre : le jury peut le vérifier dans le dépôt, et c'est la seule réponse qui coûte vraiment. Ne répondez pas à une autre question, et ne laissez pas un seul membre répondre pour tous. « Je ne sais pas, voici comment je le trouverais » est une réponse d'ingénieur, en soutenance comme en entretien d'embauche.

Seuil : que devient-il si un défaut coûte moins cher ?
Comparaison : pourquoi ce champion plutôt que le boosting ?
Prédiction conforme : que garantit l'intervalle, et pour qui ?
Équité : quelle variable pourrait servir de relais à un attribut protégé ?
Surveillance : un PSI de 0,3 sur la variable clé, qui décide quoi ?
AI Act : quelle obligation le dépôt couvre-t-il le moins bien ?

Aucune n'est une surprise : chacune vient d'une séance et d'un fichier que l'équipe a écrit. La meilleure répétition ne coûte rien : la veille, chaque membre pose deux questions à un autre. Pendant que les autres équipes soutiennent, demandez-vous ce que cette équipe a tenté que la vôtre a laissé de côté, et pour quelle raison.

Retour au sommaire.

Après la soutenance : entretiens, dépôt lisible, métiers, lectures

Une fois rendu, le projet devient l'histoire que vous racontez en entretien et un dépôt public que les recruteurs lisent sans vous.

En entretien, on demande rarement une AUC. On demande de raconter un projet, et l'on écoute trois choses : savez-vous à quoi il servait, avez-vous pris une vraie décision, savez-vous ce qu'il ne fait pas. Quatre temps en une minute environ y répondent : la décision en une phrase, le choix le plus difficile et sa raison, le résultat avec son intervalle, la limite et la suite. Préparez aussi la question qui suit toujours : comment l'avez-vous fait valider ? La réponse existe déjà : une équipe d'audit, une exécution reproductible, une règle de choix fixée à l'avance.

Le README s'ouvre sur la question traitée et la décision servie ; l'installation vient après.
Le dépôt porte une licence, et chaque source de données est citée avec sa propre licence (l'exemple suivi : UCI, Yeh et Lien, 2009, CC BY 4.0).
Aucune donnée personnelle ni aucun secret dans l'historique git, qui garde tout.
Le README dit qui a fait quoi ; un recruteur vous interrogera sur votre part.

**Tableau 3 :** Cinq familles de métiers de la donnée en finance, et ce que le projet démontre pour chacune.
Famille de métiers	Ce que montre le projet
Modélisation du risque de crédit	Un seuil tiré des coûts, la calibration, une comparaison honnête
Validation des modèles (deuxième ligne de défense)	Reproduire, contester, lire une fiche de modèle
Ingénierie ML et mise en service (MLOps)	Une API testée, l'intégration continue, la surveillance de la dérive
Ingénierie des données	Une coupe figée, un contrat de schéma, une fiche de données
Risque de modèle et conformité IA	Une analyse d'écart à l'AI Act, des limites écrites

Le deck ne donne ni salaires ni nombre de postes, faute de source citable avec certitude pour 2027 ; le conseil est de lire de vraies offres de stage et de compter combien mentionnent la validation, le MLOps ou l'AI Act. Pour aller plus loin sur ces rôles, voir le manuel de l'expert data et IA et la note sur l'ingénierie des données, le SRE et le cloud.

Pour continuer, du plus pratique au plus mathématique : les micro-cours gratuits de Kaggle Learn ; Géron, Hands-On Machine Learning (O'Reilly, 3e édition, 2022) ; Practical Deep Learning for Coders de fast.ai, gratuit ; James, Witten, Hastie et Tibshirani, An Introduction to Statistical Learning (2e édition, 2021, PDF gratuit) ; Hastie, Tibshirani et Friedman, The Elements of Statistical Learning (2e édition, 2009, PDF gratuit) ; Murphy, Probabilistic Machine Learning : An Introduction (MIT Press, 2022). Pour les réseaux, Goodfellow, Bengio et Courville (2016) ; pour la prédiction conforme, Angelopoulos et Bates (2021). Le meilleur pas suivant reste un second projet, sur des données qui vous intéressent.

Retour au sommaire.

À retenir

Une soutenance vérifie trois choses : un dépôt qui tourne sur la machine d'un autre, un modèle relié à une décision chiffrée, une équipe où chacun sait répondre seul.
Ouvrez sur le problème et le coût de chaque erreur ; le seuil, la métrique et la valeur en euros découlent de cette image.
Comparez un modèle naïf, un meilleur et un lourd avec leurs intervalles, et donnez la règle de choix écrite avant les résultats.
Énoncez les limites (données, couverture conforme, équité, dérive) avant qu'on vous les demande ; les découvrir pendant les questions, voilà ce qui coûte.
Face à la question sans réponse : reformuler, séparer ce qu'on sait de ce qu'on ignore, proposer une vérification, et ne jamais inventer un chiffre.
Après le cours, le projet devient une histoire d'une minute en entretien et un dépôt public lisible sans vous.

Glossaire

seuil de décision (decision threshold): La probabilité au-delà de laquelle la sortie du modèle déclenche l'action ; tirée ici des deux coûts d'erreur.
option de rejet (reject option): Le service s'abstient quand l'ensemble conforme contient les deux classes, et confie le dossier à un humain.
prédiction conforme (conformal prediction): Une méthode qui transforme les scores d'un modèle en ensembles de prédiction avec une garantie de couverture, marginale sur la population.
modèle champion (champion model): Le modèle désigné par une règle de choix écrite avant de voir les résultats du test.
test corrigé de Nadeau et Bengio (corrected resampled t-test): Une correction de variance pour les comparaisons appariées sur coupes rééchantillonnées, qui tient compte du recouvrement des jeux d'apprentissage.
variation prédite: Changer une entrée d'un cas réel et prédire le sens, la taille et la conséquence du mouvement du score avant de l'exécuter.
valeurs de Shapley (Shapley values, SHAP): Contributions additives de chaque variable à une prédiction, autour d'une valeur de base.
dérive (drift): Un changement de la distribution des entrées, ou de leur lien avec la cible, après la mise en service.
deuxième ligne de défense: La fonction indépendante, comme la validation des modèles, qui reproduit et conteste les modèles construits par la première ligne.
reproductibilité (reproducibility): Le fait qu'une autre personne, sur une autre machine, obtienne les mêmes chiffres à partir du dépôt rendu.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

IntroductionHivers de l'IA, emploi et méthode
OutilsKaggle, GitHub, Python : les outils
Séance 1Cadrage de projet et moindres carrés
Séance 2Vraisemblance et régression logistique
Séance 3Descente de gradient, ridge et lasso
Séance 4Seuil de décision et ML reproductible
DevoirUn modèle de référence défendable
Séance 5Noyaux, SVM et arbres de décision
Séance 6Forêts, boosting, comparaison honnête
Séance 7SHAP, équité, ACP et partitionnement
DevoirUn modèle champion documenté
Séance 8Réseaux de neurones, dérive, prédiction conforme
DevoirUn projet de machine learning livré
Séance 9Soutenir un projet de machine learning
RéférenceProjet de score de défaut de crédit
RéférenceRendements boursiers : XGBoost et sentiment
RéférenceLe code Python de chaque modèle
RéférenceDeep learning, l'essentiel
RéférenceDonnées ouvertes et projets par secteur
RéférenceManuel de l'expert data et IA
RéférenceData engineering, SRE et cloud
RéférencePanorama des modèles de machine learning

Toutes les fiches, en liste de lecture

L'attention et le transformer, pas à pas

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.