Données ouvertes et projets d'apprentissage automatique par secteur : finance, assurance, logistique, tech, sport

Où trouver des données ouvertes, famille par famille

Les données ouvertes se rangent en cinq familles, des tables nettoyées avec une cible toute prête aux séries publiques brutes qu'il faut nettoyer et croiser soi-même.

Le deck classe les données ouvertes du plus prêt à l'emploi au plus brut. Les plateformes d'apprentissage automatique fournissent des tables nettoyées avec une cible : pratiques, mais des milliers de personnes les ont déjà travaillées. La statistique publique fournit des séries officielles propres, rarement avec une cible. Les API macroéconomiques et financières donnent des taux, des indices et des prix. Les sources du monde réel (actualité, météo, cartes, connaissances encyclopédiques) font rarement un projet à elles seules mais en enrichissent n'importe lequel. Le sport fournit des événements de match très détaillés.

L'arbitrage oppose le confort à l'originalité. Une table Kaggle se charge en une ligne, et votre projet ressemblera à mille autres ; croiser deux sources publiques coûte une semaine de nettoyage et donne un projet que personne n'a fait. Le deck recommande la voie médiane qui a donné les meilleurs projets jusqu'ici : un jeu de départ propre, enrichi d'une source extérieure, par exemple la météo du jour ajoutée aux ventes d'un magasin.

Retour au sommaire.

Lire une licence de données, et ce que le RGPD interdit encore

Deux questions règlent presque toutes les licences : puis-je publier quelque chose de dérivé des données, et puis-je en faire un usage commercial ?

Un dérivé, c'est tout ce qu'on construit à partir des données : un fichier nettoyé, un graphique, un modèle entraîné. Le deck ramène les licences du catalogue à ces deux questions, ce qui suffit pour un projet d'école. Une troisième compte en production et reste juridiquement ouverte pour les licences non commerciales et les corpus collectés sur le web : la licence couvre-t-elle aussi le modèle entraîné ? Dans le doute, le plus honnête est de demander au producteur.

Une licence permissive ne lève jamais le règlement général sur la protection des données (règlement (UE) 2016/679). Une donnée qu'on peut rattacher à une personne, directement ou par recoupement, est personnelle ; remplacer les noms par des codes (pseudonymisation) n'y change rien ; la santé, les opinions ou l'origine sont des catégories particulières au sens de l'article 9. Le fichier DVF des ventes immobilières est ouvert, et pourtant ses conditions interdisent de réidentifier les vendeurs ou de laisser les moteurs de recherche indexer les ventes.

• Travailler sur des données agrégées, anonymisées par leur producteur, ou synthétiques (Synthea pour les patients, PaySim pour les paiements mobiles, les transactions de blanchiment simulées d'IBM).
• Ne pas collecter de profils sur les réseaux sociaux ou les sites d'avis : un projet d'école n'a ni base légale ni moyen d'informer les personnes concernées.
• Ne pousser aucune donnée individuelle dans un dépôt public, même pseudonymisée, et garder les clés d'API dans un fichier .env ignoré par Git.

Retour au sommaire.

Le cahier des charges d'un projet de ML en six lignes

Avant tout code, l'équipe répond à six questions, une phrase chacune ; une ligne impossible à remplir cette semaine signifie qu'il faut changer de sujet, pas de modèle.

Le gabarit

1. Décision. Qui agit grâce à la prédiction, et ce que coûte chaque type d'erreur.
2. Cible. Ce qu'on prédit, à quel horizon, et à quelle date on le connaît.
3. Métrique. Celle qui mesure la décision, avec le niveau à partir duquel le modèle devient utile.
4. Garde-fous. Variables interdites, groupes protégés, fuites possibles venues du futur.
5. Données. Adresse, licence, période couverte, et ce que les données ne contiennent pas.
6. Plan. Trois modèles (naïf, meilleur raisonnable, lourd), les jalons, et qui fait quoi.

Le cahier des charges commence par la décision parce qu'elle fixe tout le reste : la cible utile, la métrique pertinente, les erreurs qui coûtent. Un projet sans décisionnaire identifiable finit en démonstration sans enjeu. Le cahier des charges est un fichier du dépôt, validé et modifié par demande de fusion (pull request), comme le montre la note sur les outils ; le premier devoir y construit le modèle de référence (baseline).

Un exemple rempli : les retards de livraison d'Olist

C'est la ligne de la cible qui travaille le plus : elle dit quand le résultat est connu et quand on prédit, si bien que tout ce qui se passe entre les deux est exclu des variables. La ligne de la licence compte aussi : non commerciale et en partage à l'identique, elle convient à un projet d'école, pas à une revente.

Trois erreurs vues chaque année

• Une cible floue. « La satisfaction » n'est pas une colonne. Une cible est une règle applicable à chaque ligne, avec une date, par exemple une mauvaise note laissée dans le mois qui suit la livraison.
• La mauvaise métrique. Sur le jeu de fraude à la carte de l'ULB, 492 fraudes pour 284 807 transactions ($492/284\,807 \approx 0.173\%$, environ une sur 579), un modèle qui répond toujours « pas de fraude » atteint 99,83 % d'exactitude et n'arrête rien. Mesurez plutôt ce que les analystes attrapent avec le nombre d'alertes qu'ils peuvent traiter.
• Les données du futur. Le nombre de relances prédit très bien le défaut, parce que les relances suivent le défaut. C'est la forme la plus fréquente de fuite de données (data leakage) ; le remède consiste à demander, pour chaque variable, à quelle date elle est connue.

Retour au sommaire.

Idées de projets de machine learning par secteur

Chaque secteur a sa décision typique, un jeu ouvert pour démarrer et un piège propre ; le deck rédige une fiche projet complète par grand secteur.

Une fiche projet reprend la grille du cahier des charges et y ajoute trois cases : ce que l'équipe livre, avec quels paquets, et pourquoi quelqu'un paierait pour ce travail. Le tableau ci-dessous réunit les dix idées que le deck juge faisables en trois mois ; elles couvrent les types de problèmes du cours (classification, régression de comptages et de montants, séries temporelles, classement).

Finance : crédit, fraude, risque de marché

Un projet de crédit suit une boucle : les variables connues le jour de la demande, une probabilité de défaut à douze mois, deux seuils fixés par les coûts qui séparent accepter, vérifier et refuser, puis un réentraînement une fois les issues connues. Son défaut de naissance est un biais de sélection : on n'observe le défaut que chez les dossiers acceptés, et tous les jeux publics ne contiennent que des prêts accordés. L'âge et le sexe sont exclus des variables mais gardés de côté pour mesurer l'équité, et le scoring de crédit des personnes est un système à haut risque au sens de l'annexe III de l'AI Act (règlement (UE) 2024/1689). Pour la fraude, le jeu de l'ULB couvre deux jours : on apprend sur le premier, on teste sur le second, on juge avec la courbe précision-rappel (precision-recall curve) et le rappel à nombre d'alertes fixé, on pondère les classes avant d'essayer le rééchantillonnage, et on recalibre ensuite. En finance de marché, les rendements se prédisent mal (la note sur le prix d'un actif explique pourquoi), la volatilité beaucoup mieux parce qu'elle vient par grappes, et une valeur en risque (value at risk, VaR) à 99 % se vérifie en comptant ses jours de dépassement : environ 2,5 attendus sur 250 jours, et le test de Kupiec (1995) dit si l'écart relève du hasard.

Assurance : la fréquence fois la sévérité

La tarification non-vie multiplie deux modèles. La fréquence, nombre de sinistres par an, est un GLM de Poisson à lien logarithmique où l'exposition (exposure) $e_i$, la durée assurée en années, entre comme terme fixe (offset), pour que six mois comptent comme une demi-année ; la sévérité, coût d'un sinistre, est un GLM Gamma ajusté sur les contrats sinistrés. Leur produit donne la prime pure (pure premium). Le jeu de référence, freMTPL2, est un portefeuille auto français de 678 013 contrats et 26 639 montants de sinistres (tailles lues sur OpenML). Le sexe ne peut plus faire varier une prime dans l'Union depuis l'arrêt Test-Achats (CJUE, 2011). L'étude de l'association des actuaires allemands (DAV, 2024) et Henckaerts et al. (2021) placent le boosting devant le GLM ; une pratique répandue consiste à laisser le boosting révéler les interactions, puis à les ajouter à un GLM qu'un comité de tarification peut défendre, ce qui limite la sélection adverse (adverse selection) sans sacrifier la lisibilité.

Logistique : le modèle prédit, le solveur décide

L'apprentissage automatique prévoit des quantités et des durées ; la recherche opérationnelle les transforme en commandes et en tournées. Dans la compétition M5 (ventes Walmart, 42 840 séries hiérarchiques), les méthodes d'apprentissage menées par LightGBM ont dominé pour la première fois, le vainqueur battant de 22,4 % la meilleure référence statistique selon Makridakis, Spiliotis et Assimakopoulos (International Journal of Forecasting, 2022). L'erreur normalisée RMSSE se lit simplement : sous 1, on bat la prévision naïve. Une prévision du quantile à 90 % fixe directement un stock de sécurité. Le problème de tournées de véhicules (vehicle routing problem, VRP) est un problème d'optimisation, résolu avec OR-Tools, pas d'apprentissage, et le dire montre qu'on a compris le métier. Sur les moteurs simulés C-MAPSS de la NASA, on prédit la durée de vie restante et on coupe par moteur, jamais par ligne.

GAFAM et tech : recommandation, classement, expériences

La recommandation complète une matrice utilisateurs × articles presque vide en donnant à chaque utilisateur et à chaque article un court vecteur de goûts appris : c'est la factorisation de matrices (matrix factorization). Les vrais systèmes voient des clics plutôt que des notes, d'où les moindres carrés alternés sur signaux implicites (la bibliothèque implicit). Sur MovieLens, on coupe dans le temps, et « les plus populaires » se bat difficilement en précision sur les dix premiers ; on rapporte aussi la couverture du catalogue. Le classement de résultats de recherche se mesure par le NDCG@10 sur les requêtes ESCI d'Amazon ; la prédiction de clic publicitaire par la log-loss, parce que l'enchère utilise la probabilité elle-même. Les modèles de modération entraînés sur les commentaires Jigsaw surévaluent les mots d'identité, d'où une erreur mesurée par groupe. Dans tous les cas, la métrique hors ligne est une promesse que seul un test A/B peut tenir.

Football : expected goals et résultats

Un modèle d'expected goals donne à chaque tir sa probabilité de but à partir de la distance, de l'angle et du contexte ; additionnées, ces probabilités donnent le xG d'une équipe ou d'un joueur. Puisqu'on les additionne, la calibration compte plus que le classement : log-loss, score de Brier et courbe de calibration, coupe par match, penalties à part. Pour prédire les résultats, le modèle de Poisson attaque-défense de Maher (1982) puis de Dixon et Coles (1997) est le classique ; la vraie référence est la cote du bookmaker, convertie en probabilité $1/c$ puis renormalisée pour retirer la marge. Le projet mesure des probabilités et ne recommande aucun pari ; les conditions de Transfermarkt interdisent l'entraînement de modèles et football-data.co.uk réserve ses fichiers à l'usage privé.

Sept autres secteurs, une ligne chacun

• Énergie. Consommation nationale du lendemain à partir d'éCO2mix (RTE, Licence Ouverte) et des températures d'Open-Meteo ; utiliser la prévision météo, pas la météo observée après coup.
• Immobilier. Prix au mètre carré à partir de DVF ; apprendre sur 2021 à 2024, tester sur 2025, ne publier que des agrégats.
• Santé. Dossiers synthétiques Synthea, les vraies bases comme MIMIC-IV étant réservées à des chercheurs accrédités ; un score de risque ne dit pas quel traitement marche.
• Ressources humaines. Départs sur le jeu RH fictif d'IBM ; le recrutement est à haut risque selon l'annexe III, et Reuters (2018) a rapporté qu'Amazon avait abandonné un outil de tri de CV qui pénalisait le mot « women's ».
• Secteur public. Gravité des accidents de la route à partir des fichiers d'accidents corporels ; des systèmes de ciblage des contrôles ont été censurés en justice, comme SyRI aux Pays-Bas en 2020.
• Marketing. Churn sur le jeu Telco d'IBM, puis uplift : qui une offre fait vraiment rester, ce qui exige des données randomisées comme le test d'e-mailing de Hillstrom (2008) et se juge avec une courbe de Qini.
• Industrie. Images MVTec AD et capteurs SECOM : la détection d'anomalies (anomaly detection) apprend à quoi ressemble une pièce normale et signale les écarts, à taux de faux rejets fixé.

Retour au sommaire.

Structure du dépôt et paquets Python d'un projet de ML

Tous les projets partagent la même arborescence ; seuls le README des données et le cahier des charges changent d'un secteur à l'autre.

• README.md à la racine : ce que fait le projet, pour qui, et comment le lancer.
• docs/ : le cahier des charges en six lignes et un journal des décisions datées.
• data/README.md : producteur, adresse, licence, date de téléchargement, taille, et ce qui manque aux données. Les données elles-mêmes sont retéléchargées par un script de préparation, obligatoire pour les données de compétition ou d'usage personnel et prudent partout ailleurs.
• notebooks/ pour l'exploration, src/ pour les données, les variables et les modèles, batch/ pour les scripts de préparation, d'entraînement et d'évaluation.
• app/ pour une interface Streamlit, tests/ pour les contrôles de fuite, de cible et de coupe, un fichier de configuration pour les graines, les seuils et les dates, et des versions figées dans requirements.txt.

Le naïf, ou modèle de référence, n'est pas une formalité : c'est lui qui donne un sens à tous les autres chiffres, et il doit ressembler à ce que l'entreprise fait aujourd'hui. Le panorama des modèles détaille chaque famille et ses pièges.

Retour au sommaire.

Ce que rapporte un projet de machine learning, et par rapport à quoi

Un gain se compte par rapport à ce que l'entreprise fait déjà, jamais par rapport à l'absence de modèle, et chaque hypothèse est soit sourcée, soit signalée.

Le deck propose deux façons de chiffrer un gain. La première compte les erreurs évitées : $V$ décisions, la variation $\Delta$ des faux négatifs et des faux positifs, et le coût unitaire $c$ de chacun. En crédit, un faux négatif est un défaut accepté, un faux positif un bon client refusé ; en fraude, un faux positif est le temps perdu d'un analyste ou une carte bloquée à tort. La seconde compte le temps : $N$ dossiers par an, $\Delta t$ heures gagnées par dossier, $w$ le coût horaire chargé. On retranche ensuite les coûts.

Un exemple chiffré sur une banque fictive (toutes les hypothèses sont inventées par le deck)

1. Fraudes. Un million de transactions par carte et par mois, à 0,2 % de fraude, donnent 2 000 fraudes par mois.
2. Fraudes arrêtées en plus. Les règles en arrêtent 40 %, le modèle 60 % avec le même nombre d'alertes : 2 000 × 0,2 = 400 de plus par mois.
3. Gain brut. À 80 € de perte moyenne par fraude, 400 × 80 = 32 000 € par mois, soit 384 000 € par an.
4. Gain net. Une maintenance de 3 000 € par mois coûte 36 000 € par an, ce qui laisse 348 000 € nets.

Dans un vrai projet, le taux de fraude et le taux de détection viennent du jeu de test avec un intervalle de confiance, la perte moyenne d'une source publique ou des données (le fichier de l'ULB contient chaque montant), et le coût de maintenance d'une estimation dont vous donnez le raisonnement. Mieux vaut annoncer une fourchette de gain qu'un seul nombre.

Retour au sommaire.

Comment choisir un projet de machine learning

Un bon sujet obtient quatre oui : les données se téléchargent cette semaine, la décision est claire, trois modèles se comparent, et une page simple montre un cas.

La grille de choix

1. Les données cette semaine. Une adresse, une licence et un téléchargement qui marche maintenant. Ce critère est éliminatoire : un téléchargement qui échoue aujourd'hui ne marchera pas mieux dans deux mois.
2. Une décision claire. Quelqu'un agirait autrement à cause de la prédiction.
3. Trois modèles comparables. Un naïf, un meilleur raisonnable et un lourd, sur la même coupe et la même métrique.
4. Une interface faisable. Une page, par exemple en Streamlit ou Gradio, où l'on saisit un cas et lit la réponse, sans serveur à administrer.

La recette des meilleurs projets des éditions précédentes tient en une phrase : un jeu propre tiré du catalogue, une source extérieure qui ajoute une idée (la météo quand on prévoit la demande, le contexte de chaque tir pour les expected goals, les distances routières pour les colis en retard), et une décision qu'on sait expliquer à un non-spécialiste.

Ce qui tue un projet, modèle mis à part

• Les données absentes : promises pour la semaine prochaine, jamais livrées, ou livrées sans la cible. Le cours cite Gartner (février 2025), qui prévoit l'abandon d'ici 2026 de 60 % des projets d'IA privés de données prêtes pour l'IA.
• Une cible floue : personne ne sait dire quelle ligne compte comme un succès.
• Pas de propriétaire : aucune équipe métier ne s'engage à utiliser la prédiction.
• Les achats : revues de sécurité, contrats et services achats qui prennent plus de temps que le projet lui-même ; travailler sur données ouvertes est la façon dont le cours les contourne, et l'introduction du cours y revient.

Le projet d'équipe est libre dans son sujet mais suit la méthode du fil rouge : un cahier des charges, un dépôt reproductible, trois modèles comparés honnêtement, une fiche de modèle, des slides et une interface. Les notes des devoirs décrivent les étapes, du modèle de référence au modèle champion et au rendu final.

Retour au sommaire.

À retenir

1. Choisir les données avant le modèle : si l'on ne peut pas écrire une adresse et une licence cette semaine, on change de sujet.
2. Deux questions suffisent à lire la plupart des licences, publier un dérivé et l'usage commercial, et aucune licence ne dispense du RGPD.
3. Le cahier des charges en six lignes commence par la décision ; la ligne de la cible dit quand le résultat est connu et quand on prédit.
4. Chaque secteur a son piège : le biais de sélection en crédit, la classe rare en fraude, l'exposition en assurance, le solveur en logistique, le test A/B dans la tech, les petits échantillons au football.
5. Trois modèles à chaque fois, dont un naïf qui ressemble à la pratique actuelle ; le lourd ne reste que s'il change une décision.
6. Un gain se mesure à la marge de ce qui existe déjà, avec des hypothèses sourcées ou signalées, et net des coûts de données, de calcul, de personnes et de maintenance.

Glossaire

données ouvertes (open data)

Données publiées pour que chacun puisse les réutiliser sous une licence déclarée, comme CC BY 4.0, CC0, la Licence Ouverte ou l'ODbL.

cahier des charges (scope document)

Les six lignes écrites avant de coder : décision, cible, métrique, garde-fous, données et plan.

fuite de données (data leakage)

Information présente dans une variable mais indisponible au moment de la décision ; elle flatte le score de test et échoue en production.

modèle de référence (baseline)

Le modèle naïf qu'un projet doit battre, idéalement proche de ce que fait l'entreprise aujourd'hui.

partage à l'identique (share-alike)

Clause de licence (CC BY-SA, ODbL) qui impose de publier les bases dérivées sous la même licence.

prime pure (pure premium)

Fréquence de sinistres attendue fois coût moyen attendu d'un profil, avant frais et marge.

exposition (exposure)

Durée pendant laquelle un contrat a été assuré, en années ; elle entre dans un modèle de fréquence comme terme fixe.

courbe précision-rappel (precision-recall curve)

Précision en fonction du rappel quand le seuil varie ; plus parlante que la courbe ROC quand les positifs sont rares.

valeur en risque (value at risk, VaR)

Perte dépassée avec une petite probabilité donnée sur un horizon, par exemple un jour sur cent à 99 %.

problème de tournées de véhicules (vehicle routing problem, VRP)

Affecter des arrêts à des véhicules et les ordonner sous contraintes de capacité et de créneaux ; un problème d'optimisation résolu par des heuristiques.

factorisation de matrices (matrix factorization)

Approcher une matrice utilisateurs × articles creuse par le produit de deux petites matrices de goûts latents.

sélection adverse (adverse selection)

Les bons risques partent chez un concurrent mieux tarifé et les mauvais restent : le coût d'un tarif imprécis.

détection d'anomalies (anomaly detection)

Apprendre à quoi ressemblent des données normales et signaler les écarts, quand les défauts sont trop rares pour être appris directement.

Les autres fiches du cours

Un résumé public par deck, dans l'ordre du cours.

Précédent : Deep learning, l'essentielSuivant : Manuel de l'expert data et IA

1. IntroductionHivers de l'IA, emploi et méthode
2. OutilsKaggle, GitHub, Python : les outils
3. Séance 1Cadrage de projet et moindres carrés
4. Séance 2Vraisemblance et régression logistique
5. Séance 3Descente de gradient, ridge et lasso
6. Séance 4Seuil de décision et ML reproductible
7. DevoirUn modèle de référence défendable
8. Séance 5Noyaux, SVM et arbres de décision
9. Séance 6Forêts, boosting, comparaison honnête
10. Séance 7SHAP, équité, ACP et partitionnement
11. DevoirUn modèle champion documenté
12. Séance 8Réseaux de neurones, dérive, prédiction conforme
13. DevoirUn projet de machine learning livré
14. Séance 9Soutenir un projet de machine learning
15. RéférenceProjet de score de défaut de crédit
16. RéférenceRendements boursiers : XGBoost et sentiment
17. RéférenceLe code Python de chaque modèle
18. RéférenceDeep learning, l'essentiel
19. RéférenceDonnées ouvertes et projets par secteur
20. RéférenceManuel de l'expert data et IA
21. RéférenceData engineering, SRE et cloud
22. RéférencePanorama des modèles de machine learning

Toutes les fiches, en liste de lecture

L'attention et le transformer, pas à pas

À propos de ces fiches

Écrites par l'enseignant à partir des slides du deck, comme un résumé public : les idées clés, les formules et un exemple calculé. Les exercices, leurs corrigés, les contrôles et la notation restent dans le deck, pour les élèves du cours.

Révision : 16 octobre 2026.