Zum Inhalt springen

~/teaching · machine learning · centrale méditerranée

Machine Learning, die Kursnotizen

Eine öffentliche Zusammenfassung pro Foliensatz des Kurses an der Centrale Méditerranée: die Kernideen, die Formeln, ein durchgerechnetes Beispiel

Die Folien des Kurses sind für seine Studierenden verschlüsselt. Jeder Foliensatz hat außerdem eine öffentliche Seite: was er vermittelt, die sauber gesetzten Formeln, ein von Hand gerechnetes Beispiel, das Glossar und der Aufbau des Foliensatzes.

Lesen Sie sie der Reihe nach, um dem Kurs vom Abstecken des Projektrahmens bis zum Modell im Produktivbetrieb zu folgen, oder springen Sie direkt zu dem Thema, das Sie brauchen.

Die Kursseite: Sitzungen, Termine, Hausaufgaben und die verschlüsselten Folien

Der Kurs, der Reihe nach

  1. Einführung

    KI am Scheideweg: die zwei KI-Winter, der Arbeitsmarkt 2026 für junge Ingenieure und eine Methode, um darin zu arbeiten

    Zwei KI-Winter, das Perzeptron, Expertensysteme, der Arbeitsmarkt 2026 für Junior-Entwickler und die Methode, mit der ein Ingenieur nützlich bleibt.

  2. Werkzeuge

    Kaggle, GitHub und Python: die Konten, der Git-Workflow und das Repository eines Machine-Learning-Projekts

    Kaggle-Wettbewerbe, der tägliche Git-Zyklus, Branches und Pull Requests und der Aufbau eines reproduzierbaren Repositorys für ein ML-Projekt.

  3. Sitzung 1

    Den Rahmen abstecken, bevor man modelliert, dann die kleinsten Quadrate: Entscheidung, Data Leakage, Normalgleichungen und Konditionierung

    Ein ML-Projekt abstecken (Entscheidung, Zielvariable, Metrik, Leitplanken, Data Leakage), dann kleinste Quadrate, Hutmatrix und Konditionszahl herleiten.

  4. Sitzung 2

    Maximum-Likelihood-Schätzung, logistische Regression und ehrliche Validierung, Schritt für Schritt

    Von der Bernoulli-Likelihood zum Log-Loss: Sigmoidfunktion, Gradient, Konvexität, Odds Ratio, Bias-Varianz und Validierung ohne Data Leakage.

  5. Sitzung 3

    Konvexe Optimierung und Regularisierung: Gradientenabstieg, Schrittweite, Ridge und Lasso

    Konvexität, Gradientenabstieg und Schrittweite, SGD, dann Ridge und Lasso als Schrumpfung, mit Rechenbeispielen und Lambda per Kreuzvalidierung.

  6. Sitzung 4

    Kennzahlen, Kalibrierung und eine Entscheidungsschwelle bei asymmetrischen Kosten, dann ein Repository, das andere erneut ausführen können

    Konfusionsmatrix, ROC und AUC, Precision-Recall, Brier-Score, eine aus Kosten abgeleitete Entscheidungsschwelle und ein reproduzierbares ML-Repository.

  7. Hausaufgabe

    Ein Machine-Learning-Projekt abstecken, bevor Code entsteht: die Frage, die Entscheidung, die Zielvariable und ein Projektsteckbrief in sechs Zeilen

    Daten- oder ML-Projekt vor dem Coden abstecken: Frage in einem Satz, Entscheidung, Fehlerkosten, datierte Zielvariable, Metrik, Leitplanken, Daten, Plan.

  8. Sitzung 5

    Der Kernel-Trick, Stützvektormaschinen, Kernel-Ridge und Entscheidungsbäume, mit durchgerechneten Zahlen

    Maximaler Rand, Hinge-Verlust und duale SVM, Kernel-Trick und Kernel-Ridge, dann Entscheidungsbäume (Gini, Entropie, Beschneiden), an Rechenbeispielen.

  9. Sitzung 6

    Random Forests, Gradient Boosting und XGBoost, dann der ehrliche Vergleich zweier Modelle

    Bagging, Random Forests, Gradient Boosting und XGBoost hergeleitet, dann verschachtelte Kreuzvalidierung und korrigierter t-Test nach Nadeau und Bengio.

  10. Sitzung 7

    Einen Kredit-Score mit SHAP erklären, seine Fairness prüfen und mit PCA, k-Means und EM Strukturen finden

    Shapley-Werte von Hand berechnet, Fairness-Maße und ihre Unvereinbarkeit, die KI-Verordnung für Kredite, dann PCA, k-Means und EM an kleinen Beispielen.

  11. Hausaufgabe

    Ein erstes ehrliches Modell für ein neues Projekt: OLS oder logistische Regression, eine eingefrorene Aufteilung, ein naives Referenzmodell und eine Metrik, die sich verteidigen lässt

    Ein erstes ehrliches OLS- oder Logit-Modell auf neuen Daten: Aufteilung ohne Leak, naives Referenzmodell, begründete Metrik, Validierungswerte, Grenzen.

  12. Sitzung 8

    Vom neuronalen Netz zum Modell im Betrieb: Backpropagation, Drift, konforme Vorhersage und eine API

    Vorwärtsdurchlauf und Backpropagation von Hand, Netze auf Tabellendaten, Drift-Überwachung mit PSI, konforme Vorhersage und ein Modellservice mit FastAPI.

  13. Hausaufgabe

    Ein Machine-Learning-Projekt ausliefern: Repository, getesteter Service, nachvollziehbarer Bericht und die Dokumente, die ein Ausschuss liest

    Inhalt eines ausgelieferten ML-Projekts: lauffähiges Repository, getestete Vorhersage-API, nachvollziehbarer Bericht, Modellkarte, Überwachungsplan, Memo.

  14. Sitzung 9

    Ein Machine-Learning-Projekt verteidigen: der Pitch, die Live-Demonstration, die Fragen und was danach kommt

    Was eine ML-Projektverteidigung zeigen muss, welche Fragen eine Jury stellt, die klassischen Fallen und wie Sie das Projekt im Vorstellungsgespräch nutzen.

Referenz-Foliensätze

  1. 15

    Ein Projekt zum Kreditausfallscore, Schritt für Schritt: das reproduzierbare Repository zu den UCI-Daten Default of Credit Card Clients

    Ein reproduzierbares Projekt zum Kreditausfallscore auf den UCI-Kreditkartendaten: Repository, make reproduce, Tests, Kostenschwelle, Robustheit, CI.

  2. 16

    Den Preis eines Vermögenswerts vorhersagen: Zeitreihen, XGBoost und News-Sentiment, ehrlich gemessen

    Ein ML-Projekt: Log-Renditen, Walk-Forward-Validierung, verzögerte Merkmale, Sentiment aus FinBERT und GDELT, Diebold-Mariano-Test, Sharpe nach Kosten.

  3. 17

    Der Code jedes Modells: importieren, per API herunterladen, anpassen, vorhersagen

    Python-Grundlagen, wie Daten zu Zahlen werden, Download per API, dann derselbe Code mit fit und predict für jedes scikit-learn-Modell, mit echten Ausgaben.

  4. 18

    Deep Learning, das Wesentliche: Backpropagation, Batch-Normalisierung, ResNet, Faltung, LSTM, Aufmerksamkeit, VAE und GAN, hergeleitet und überprüft

    Backpropagation, Batch Norm und ihr Gradient, ResNet, Faltung, LSTM, Attention, VAE und GAN, jeweils an der Tafel hergeleitet und in PyTorch geprüft.

  5. 19

    Offene Daten und Machine-Learning-Projekte nach Branche: Finanzen, Versicherung, Logistik, Tech, Sport

    Wo es offene Daten gibt und unter welcher Lizenz, ein Steckbrief in sechs Zeilen und ML-Projektideen für Finanzen, Versicherung, Logistik, Tech und Sport.

  6. 20

    Das Handbuch für Daten- und KI-Fachleute: abgrenzen, Werkzeuge aufsetzen, modellieren, bereitstellen, beobachten

    Ein Datenprojekt abstecken, Werkzeuge (Airflow, Spark, Docker, Kubernetes) und Modell wählen, API und App bereitstellen, dann im Betrieb beobachten.

  7. 21

    Data Engineering, SRE und Cloud: die Befehle, die Prinzipien und die Berufe, vom Junior zum Experten

    Pipelines, Parquet, SQL mit DuckDB, idempotente Ladevorgänge, SLOs und Fehlerbudgets, Terraform, Docker, Kubernetes, FinOps und was jede Stufe erwartet.

  8. 22

    Ein Panorama der Machine-Learning-Modelle: welche, wofür, in welchen Branchen

    Familien von Machine-Learning-Modellen: wofür jede da ist, welche Python-Bibliotheken, die größte Falle und ihr Einsatz in Finanzen, Logistik, Industrie.

Ausführlicher Artikel

  1. 23

    Aufmerksamkeitsmechanismus und Transformer, Schritt für Schritt

    Abfragen, Schlüssel, Werte, Mehrkopf-Aufmerksamkeit, Positionskodierung, Encoder, Decoder: ein einfacher Satz, dann die Mathematik, dann ein Rechenbeispiel.