~/teaching · machine learning · sitzung 9, donnerstag, 11. und freitag, 12. februar 2027 (genauer tag wird noch bestätigt)

Ein Machine-Learning-Projekt verteidigen: der Pitch, die Live-Demonstration, die Fragen und was danach kommt

Fünf Blöcke, die Sie zeigen sollten, vier Fallen, die Sie meiden sollten, und ein Weg, auf das zu antworten, was Sie nicht wissen.

Sitraka Forler, Centrale Méditerranée

Stand 16. Oktober 2026 · etwa 11 Minuten

Zusammenfassung

Dies ist die Zusammenfassung des letzten Foliensatzes des Kurses Machine Learning an der Centrale Méditerranée (Schwerpunkt DDEFI, 2026-2027), der dem Tag gewidmet ist, an dem jedes Team sein Abschlussprojekt vor einer Jury verteidigt. Im Foliensatz geht es weniger um Modelle als um Urteilsvermögen. Eine Verteidigung prüft, ob ein Repository auf dem Rechner einer anderen Person läuft, ob das Modell einer Entscheidung dient, die mit Zahlen hinterlegt ist, und ob jedes Teammitglied allein auf eine Frage antworten kann.

Die Notiz hält fest, was jedem nützt, der ein Data-Science-Projekt verteidigen muss, an der Hochschule oder im Beruf: die fünf Blöcke eines kurzen Pitches, die Live-Prüfungen einer technischen Jury, die Fragen, die jedes Jahr wiederkehren, die Fallen und wie man ihnen begegnet, und eine Methode für die Frage, die man nicht beantworten kann. Der letzte Teil blickt über den Kurs hinaus: wie man das Projekt im Vorstellungsgespräch erzählt, wie ein öffentliches Repository auch ohne Ihre Erklärungen verständlich wird, welche Berufe in der Finanzwirtschaft es anspricht und was man als Nächstes lesen sollte.

Die Notiz setzt die früheren Sitzungen voraus: die kostenbasierte Entscheidungsschwelle (decision threshold), den ehrlichen Vergleich der Modelle, SHAP und Fairness-Audits (Sitzung 7) sowie die konforme Vorhersage (conformal prediction) und die Drift (Sitzung 8).

Die Folien

Tag der Abschlusspräsentationen: die Projektverteidigungen

Sitzung 9, Donnerstag, 11. und Freitag, 12. Februar 2027 (genauer Tag wird noch bestätigt). Machine Learning, Centrale Méditerranée, Schwerpunkt DDEFI, 2026-2027. Die Folien gibt es auf Französisch und Englisch; der Link öffnet die englische Fassung.

Folien öffnen (Passwort vom Dozenten)

Der Foliensatz selbst ist für die Studierenden des Kurses verschlüsselt; diese Seite fasst ihn für alle zusammen.

Die Kursseite · Aufmerksamkeit und Transformer, Schritt für Schritt

Aufbau des Foliensatzes

Der Tag und das Format. Wie eine Verteidigung aufgebaut ist: ein kurzer Pitch, dann ein Live-Lauf des abgegebenen Repositorys, eine vorhergesagte Veränderung, eine Herleitung und offene Fragen.
Was eine Verteidigung zeigen muss. Fünf Blöcke in dieser Reihenfolge: das Problem in einem Bild, die Entscheidung, der das Modell dient, drei verglichene Modelle, die Grenzen, die nächsten Schritte.
Fragen und Fallen. Die vier Fehler, die jedes Jahr vorkommen, die vorhergesagte Veränderung, die wahrscheinlichen Fragen nach Thema und wie man antwortet, ohne die Antwort zu kennen.
Beratung der Jury und gemeinsame Nachbesprechung. Während die Jury berät, sammeln die Teams drei Ideen aus anderen Projekten; die Nachbesprechung zieht die gemeinsamen Lehren.
Danach. Das Projekt im Vorstellungsgespräch, das öffentliche Repository als Zeile im Lebenslauf, Praktika und Datenberufe in der Finanzwirtschaft, Literatur zum Weitermachen.
Was der Kurs hinterlässt. Ein Modell wird nach der Entscheidung beurteilt, der es dient, nach der Unsicherheit, die es einräumt, und danach, ob jemand anderes es nachbauen könnte.

Was eine Verteidigung prüft und wie sie abläuft

Eine Verteidigung prüft nicht, ob Ihr Modell das beste ist; sie prüft, ob es anderswo läuft, ob es einer Entscheidung dient und ob jedes Teammitglied es versteht.

Die Jury sucht nach drei Dingen und nach nichts weiter. Erstens nach einem Repository, das sich reproduzieren lässt, auf einem Rechner, der nicht Ihrer ist: Die Jury klont den letzten Commit, der vor der Abgabefrist gepusht wurde, führt make reproduce aus und startet die API mit make serve. Das ist Reproduzierbarkeit (reproducibility) im strengen Sinn. Was danach korrigiert wurde, existiert für diesen Tag nicht; sagen Sie es, wenn es wichtig ist, aber es läuft die abgegebene Version. Zweitens nach einer Entscheidung: Das Modell ist dazu da, etwas anzunehmen, abzulehnen oder zu markieren, mit einer Schwelle, einer Unsicherheit, einem Wert in Euro und Grenzen, die das Team selbst benennt. Drittens nach einem Team, in dem jedes Mitglied antworten kann: Ein Mitglied, das nur seinen eigenen Teil kennt, fällt innerhalb einer Minute auf.

Der Ablauf einer vierzehnminütigen Verteidigung in diesem Kurs

Pitch. Fünf Minuten, höchstens zehn Folien, jedes Mitglied präsentiert mindestens einen Block.
Demonstration. Die Jury führt das abgegebene Repository auf ihrem eigenen Rechner aus; kein USB-Stick, kein Laptoptausch, kein am selben Morgen verschickter Link.
Vorhergesagte Veränderung. Die Jury ändert eine Eingabe eines Beispielkunden, und ein ausgelostes Mitglied sagt die Wirkung voraus, bevor sie berechnet wird.
Herleitung. Ein ausgelostes Mitglied führt an der Tafel eine Herleitung aus einer Liste vor, die Monate im Voraus veröffentlicht wurde.
Fragen. An beliebige Mitglieder gerichtet, zur Schwelle, zu Intervallen, konformen Mengen, Fairness, Überwachung oder zum AI Act.

Die praktische Folge ist einfach: Was Sie zeigen, ist das, was Sie abgegeben haben. Das Repository muss die Folien als PDF enthalten, eine README-Datei, die erklärt, wie man reproduziert und den Service startet, und eine Datei mit einem Beispielkunden, um den Vorhersage-Endpunkt abzufragen. Eine Demonstration, die nur auf dem Laptop ihres Autors funktioniert, ist keine Demonstration.

Zurück zum Inhalt.

Der Pitch in fünf Blöcken: Problem, Entscheidung, Vergleich, Grenzen, nächste Schritte

Beginnen Sie bei der Entscheidung und bei den Kosten jedes Fehlers, denn Schwelle, Metrik und Wert in Euro folgen alle daraus.

Das Problem in einem Bild. Eine Abbildung, lesbar aus der letzten Reihe: wer der Kunde ist, welche Entscheidung über ihn getroffen wird und was jeder der beiden Fehler kostet. Im durchgehenden Beispiel des Kurses (Kreditausfall-Scoring) wird angenommen, dass die Ablehnung eines guten Kunden 600 € kostet und die Annahme eines Kunden, der ausfällt, 4.500 €, zwei Kursannahmen aus Sitzung 4. Ohne dieses Bild sagt eine ROC-Kurve einer Jury nichts.

Die Entscheidung, der das Modell dient. Drei Zahlen, jede mit ihrer Herkunft. Die Schwelle, aus den Kosten abgeleitet und auf kalibrierte Wahrscheinlichkeiten angewandt. Die Enthaltungsquote, also der Gebrauch der Rückweisungsoption (reject option): der Anteil der Anträge, deren konforme Menge beide Klassen enthält und die an einen Menschen gehen. Und der Jahreswert, immer im Vergleich zu etwas: zur Annahme aller Anträge oder zu der Regel, die die Bank bereits anwendet. Ein Gewinn, der ohne seinen Bezugspunkt verkündet wird, sagt nichts.

t^{*} = \frac{c_{\mathrm{FP}}}{c_{\mathrm{FP}} + c_{\mathrm{FN}}}

(1)

Durchgerechnetes Beispiel: die Schwelle des durchgehenden Beispiels

Kosten. $c_{\mathrm{FP}} = 600$ Euro für einen abgelehnten guten Kunden, $c_{\mathrm{FN}} = 4500$ Euro für einen angenommenen Ausfall.
Schwelle. $t^{*} = 600 / 5100 \approx 0.1176$ , ein Antrag wird also abgelehnt, sobald seine kalibrierte Ausfallwahrscheinlichkeit etwa 12 % übersteigt.
Lesart. Die Schwelle ist niedrig, weil ein übersehener Ausfall 7,5-mal so viel kostet wie ein verlorener Kunde; sie ist eine geschäftliche Entscheidung, in der Konfiguration festgeschrieben, keine Ausgabe des Modells.

Drei Modelle, ehrlich verglichen. Eine Tabelle, drei Zeilen: ein naives Referenzmodell (im durchgehenden Beispiel die logistische Regression), das Champion-Modell und das aufwendigste ausprobierte Modell, Boosting oder ein Netz. Jedes mit seiner AUC und seinem Brier-Score samt 95-%-Intervallen, dazu ein gepaarter Vergleich mit dem Referenzmodell, durchgeführt als korrigierter Resampling-t-Test (corrected resampled t-test) nach Nadeau und Bengio. Am wichtigsten ist der Satz unter der Tabelle: welche Auswahlregel vor dem Blick auf die Zahlen aufgeschrieben wurde und welches Modell sie ausgewählt hat. Schlägt kein Modell die logistische Regression belastbar, ist ihre Beibehaltung ein Ergebnis und kein Scheitern.

\hat\sigma^2_{\text{corr}} = \left(\frac{1}{J} + \frac{n_{\text{test}}}{n_{\text{train}}}\right)\hat\sigma^2

(2)

Hier ist $J$ die Zahl der neu gezogenen Aufteilungen und $\hat\sigma^2$ die Varianz der Score-Differenzen über sie hinweg; der zweite Term berücksichtigt die Überlappung zwischen den Trainingsdatensätzen, die die naive Varianz ignoriert.

**Tabelle 1:** Die vier Grenzen, die ein Pitch benennen sollte, bevor jemand danach fragt.
Grenze	Was dazu zu sagen ist
Daten	Herkunft, Zeitraum und was sie nicht abdecken (das durchgehende Beispiel überträgt Daten einer taiwanischen Bank von 2005 auf eine europäische Bank)
Konforme Überdeckung	Die Garantie ist marginal; angeben, was sie pro Untergruppe wert ist
Fairness	Was das Audit pro Gruppe gezeigt hat und was es nicht zeigen konnte
Drift	Was das Modell zu Fall bringen würde und welcher überwachte Indikator es bemerken würde

Nächste Schritte. Ein guter nächster Schritt benennt eine genaue Maßnahme, was sie ändern soll und wie das gemessen wird, und warum sie zuerst kommt; zum Beispiel das Boosting so einzuschränken, dass es im jüngsten Zahlungsverzug monoton ist, weil heute ein eigenschaftsbasierter Test fehlschlägt. „Andere Modelle ausprobieren“ oder „mehr Daten beschaffen“ ist nicht falsch, sondern leer: Es zeigt nicht, wo die Schwachstelle liegt.

Zurück zum Inhalt.

Die vorhergesagte Veränderung: zeigen, dass Sie Ihr Modell kennen

Die Jury ändert eine Eingabe eines echten Falls und bittet Sie vorherzusagen, bevor gerechnet wird, ob sich der Score bewegt, um wie viel und ob die Entscheidung kippt.

Diese Übung, die vorhergesagte Veränderung (predicted change), prüft Verständnis, nicht Glück. Ein Fall wird aus dem Validierungsdatensatz genommen und eine Eingabe geändert, typischerweise die einflussreichste (im durchgehenden Beispiel der Zahlungsverzug des letzten Monats). Erwartet werden drei Dinge: die Richtung der Bewegung, ihre Größenordnung und ihre Folge für die Entscheidung, angesichts des Abstands zur Schwelle und der konformen Menge.

Die Werkzeuge liegen bereits im Repository. Die Shapley-Werte (Shapley values, SHAP) geben Vorzeichen und Größe des Beitrags jedes Merkmals für diesen Kunden an, weil sie die Vorhersage additiv um einen Basiswert zerlegen:

f(x) = \phi_0 + \sum_{j=1}^{p} \phi_j(x)

(3)

Ein Monotonie-Test, falls einer geschrieben wurde, garantiert die Richtung; die Schwelle sagt, ob der Fall sie überschreitet; die konforme Menge sagt, ob sich der Service enthalten würde. Eine falsche Vorhersage mit einer stichhaltigen Erklärung der Abweichung ist mehr wert als ein richtiger Tipp ohne Begründung.

Zurück zum Inhalt.

Fragen, Fallen und wie man antwortet, ohne die Antwort zu kennen

Die meisten Misserfolge in einer Verteidigung sind vorhersehbar, und die Frage, die Sie nicht beantworten können, kommt ohnehin, also bereiten Sie vor, wie Sie darauf antworten.

**Tabelle 2:** Vier Fallen, die jedes Jahr vorkommen, jeweils mit der Gegenmaßnahme.
Falle	Gegenmaßnahme
Die Folien vorlesen	Stichwörter auf dem Bildschirm, der vollständige Satz mündlich
Eine Demonstration, die scheitert	Am Vortag klont ein Mitglied den abgegebenen Git-Tag auf einem anderen Rechner und folgt allein der README (die üblichen Verdächtigen: eine Abhängigkeit, die in der Lock-Datei fehlt, ein absoluter Pfad)
„Wir hatten keine Zeit“	„Wir haben X statt Y gewählt, weil ...“: eine Entscheidung, keine Ausrede
Eine Zahl ohne ihre Methode	Sagen, auf welchen Daten, wie und mit welchem Intervall, z. B. eine AUC von 0,78 mit ihrem Intervall aus verschachtelter Kreuzvalidierung, nicht eine nackte 0,78

Auf eine Frage antworten, die man nicht beantworten kann

Umformulieren. Sicherstellen, dass man auf die tatsächlich gestellte Frage antwortet, und ein paar Sekunden gewinnen.
Trennen. Sagen, was man gemessen hat und was nicht, z. B. eine nach Geschlecht, aber nicht nach Altersgruppe geprüfte Überdeckung.
Vorschlagen. Sagen, wie man es mit dem eigenen Code prüfen würde, und zwar konkret: welche Funktion, welche Aufteilung, welche Tabelle.

Erfinden Sie niemals eine Zahl: Die Jury kann sie im Repository nachprüfen, und es ist die einzige Antwort, die wirklich schadet. Beantworten Sie keine andere als die gestellte Frage, und lassen Sie nicht ein Mitglied für alle antworten. „Ich weiß es nicht, so würde ich es herausfinden“ ist eine Ingenieursantwort, in einer Verteidigung wie in einem Vorstellungsgespräch.

Schwelle: Was geschieht mit ihr, wenn ein Ausfall billiger wird?
Vergleich: Warum dieser Champion und nicht das Boosting?
Konforme Vorhersage: Was garantiert das Intervall, und für wen?
Fairness: Welches Merkmal könnte als Stellvertreter (Proxy) für ein geschütztes Merkmal wirken?
Überwachung: ein PSI von 0,3 auf der Schlüsselvariable, wer entscheidet was?
AI Act: Welche Pflicht deckt das Repository am schlechtesten ab?

Keine davon ist eine Überraschung: Jede stammt aus einer Sitzung und aus einer Datei, die das Team geschrieben hat. Die beste Probe kostet wenig: Am Vortag stellt jedes Mitglied einem anderen Mitglied zwei Fragen. Während andere Teams ihr Projekt verteidigen, hören Sie mit einer Frage im Kopf zu: Was haben sie gemacht, das wir nicht gemacht haben, und warum?

Zurück zum Inhalt.

Nach der Verteidigung: Vorstellungsgespräche, ein lesbares Repository, Berufe, Lektüre

Einmal abgegeben, wird das Projekt zur Geschichte, die Sie in Vorstellungsgesprächen erzählen, und zu einem öffentlichen Repository, das Recruiter ohne Sie lesen.

In Vorstellungsgesprächen wird selten nach einer AUC gefragt. Man bittet Sie, ein Projekt zu erzählen, und achtet auf drei Dinge: ob Sie wissen, wozu es diente, ob Sie eine echte Entscheidung getroffen haben und ob Sie wissen, was es nicht leistet. Vier Schritte in etwa einer Minute decken sie ab: die Entscheidung in einem Satz, die schwierigste Wahl mit ihrer Begründung, das Ergebnis zusammen mit seinem Intervall, dann eine Grenze und der nächste Schritt, den sie nahelegt. Bereiten Sie auch die Anschlussfrage vor: Wie wurde es validiert? Die Antwort liegt bereits vor: ein prüfendes Team, ein reproduzierbarer Lauf, eine vorab festgelegte Auswahlregel.

Die README beginnt mit dem Problem und der Entscheidung, nicht mit der Installation.
Eine Lizenz ist angegeben, und jeder Datensatz wird mit seiner eigenen Lizenz als Quelle genannt (im durchgehenden Beispiel: UCI, Yeh und Lien, 2009, CC BY 4.0).
Keine personenbezogenen Daten und keine Geheimnisse irgendwo in der Git-Historie, die alles aufbewahrt.
Die README sagt, wer was gemacht hat; ein Recruiter wird nach Ihrem Anteil fragen.

**Tabelle 3:** Fünf Familien von Datenberufen in der Finanzwirtschaft und was das Projekt für jede belegt.
Berufsfamilie	Was das Projekt zeigt
Modellierung von Kreditrisiken	Eine kostenbasierte Schwelle, Kalibrierung, ein ehrlicher Vergleich
Modellvalidierung (zweite Verteidigungslinie)	Reproduzieren, hinterfragen, eine Modellkarte lesen
ML-Engineering und Deployment (MLOps)	Eine getestete API, kontinuierliche Integration, Drift-Überwachung
Data Engineering	Eine eingefrorene Aufteilung, ein Schemavertrag, ein Datenblatt
Modellrisiko und KI-Compliance	Eine Lückenanalyse zum AI Act, schriftlich festgehaltene Grenzen

Der Foliensatz nennt weder Gehälter noch eine Zahl offener Stellen, weil es für 2027 keine Quelle gibt, die er zitieren könnte; der Rat lautet, echte Praktikumsangebote zu lesen und zu zählen, wie oft sie Validierung, MLOps oder den AI Act erwähnen. Mehr zu diesen Rollen bieten das Handbuch für Data- und KI-Engineers und die Notiz zu Data Engineering, SRE und Cloud.

Zum Weitermachen, vom Praktischsten zum Mathematischsten: die kostenlosen Mikrokurse von Kaggle Learn; Géron, Hands-On Machine Learning (O'Reilly, 3. Auflage, 2022); der kostenlose Kurs Practical Deep Learning for Coders von fast.ai; James, Witten, Hastie und Tibshirani, An Introduction to Statistical Learning (2. Auflage, 2021, kostenloses PDF); Hastie, Tibshirani und Friedman, The Elements of Statistical Learning (2. Auflage, 2009, kostenloses PDF); Murphy, Probabilistic Machine Learning: An Introduction (MIT Press, 2022). Für Netze Goodfellow, Bengio und Courville (2016); für konforme Vorhersage Angelopoulos und Bates (2021). Der beste nächste Schritt bleibt ein zweites Projekt mit Daten, die Sie interessieren.

Zurück zum Inhalt.

Das Wichtigste in Kürze

Eine Verteidigung prüft drei Dinge: ein Repository, das auf dem Rechner einer anderen Person läuft, ein Modell, das mit Zahlen an eine Entscheidung geknüpft ist, und ein Team, in dem jedes Mitglied allein antworten kann.
Beginnen Sie mit dem Problem und den Kosten jedes Fehlers; Schwelle, Metrik und Wert in Euro folgen aus diesem Bild.
Vergleichen Sie ein naives, ein bestes und ein aufwendiges Modell mit Intervallen, und nennen Sie die Auswahlregel, die vor den Ergebnissen aufgeschrieben wurde.
Benennen Sie die Grenzen (Daten, konforme Überdeckung, Fairness, Drift), bevor Sie gefragt werden; sie erst in der Fragerunde zu entdecken, ist genau das, was teuer wird.
Bei einer Frage, die Ihre Kenntnisse übersteigt: sie umformulieren, Gemessenes von Nichtgemessenem trennen, einen konkreten Weg zur Prüfung anbieten und keine Zahl erfinden.
Nach dem Kurs ist das Projekt eine einminütige Geschichte für Vorstellungsgespräche und ein öffentliches Repository, das ohne Sie lesbar sein muss.

Glossar

Entscheidungsschwelle (decision threshold): Die Wahrscheinlichkeit, ab der die Ausgabe des Modells die Maßnahme auslöst; hier aus den beiden Fehlerkosten abgeleitet.
Rückweisungsoption (reject option): Der Service verzichtet auf eine Entscheidung, wenn die konforme Menge beide Klassen enthält, und gibt den Antrag an einen Menschen weiter.
konforme Vorhersage (conformal prediction): Eine Methode, die die Scores eines Modells in Vorhersagemengen mit einer Überdeckungsgarantie verwandelt, marginal über die Population.
Champion-Modell: Das Modell, das eine Auswahlregel bestimmt, die aufgeschrieben wurde, bevor die Testergebnisse bekannt waren.
korrigierter Resampling-t-Test (corrected resampled t-test): Eine Varianzkorrektur für gepaarte Vergleiche über neu gezogene Aufteilungen, die die Überlappung der Trainingsdatensätze berücksichtigt.
vorhergesagte Veränderung (predicted change): Eine Eingabe eines echten Falls ändern und Richtung, Größe und Folge der Bewegung des Scores vorhersagen, bevor gerechnet wird.
Shapley-Werte (Shapley values, SHAP): Additive Beiträge jedes Merkmals zu einer einzelnen Vorhersage, um einen Basiswert herum.
Drift: Eine Veränderung nach dem Deployment in der Verteilung der Eingaben oder in ihrem Zusammenhang mit der Zielvariable.
zweite Verteidigungslinie: Die unabhängige Funktion, etwa die Modellvalidierung, die von der ersten Linie gebaute Modelle reproduziert und hinterfragt.
Reproduzierbarkeit (reproducibility): Die Eigenschaft, dass eine andere Person auf einem anderen Rechner aus dem abgegebenen Repository dieselben Zahlen erhält.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

EinführungKI-Winter, Arbeitsmarkt und Methode
WerkzeugeKaggle, GitHub, Python: die Werkzeuge
Sitzung 1Projektrahmen und kleinste Quadrate
Sitzung 2Maximum Likelihood und logistische Regression
Sitzung 3Gradientenabstieg, Ridge und Lasso
Sitzung 4Entscheidungsschwelle und reproduzierbares ML
HausaufgabeML-Projekt abstecken: der Projektsteckbrief
Sitzung 5Kernel, SVM und Entscheidungsbäume
Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
Sitzung 7SHAP, Fairness, PCA und Clustering
HausaufgabeEin einfaches Modell mit vollständiger Methode
Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
Sitzung 9Ein Machine-Learning-Projekt verteidigen
ReferenzProjekt zum Kreditausfallscore
ReferenzAktienrenditen: XGBoost und Sentiment
ReferenzPython-Code für jedes ML-Modell
ReferenzDeep Learning, das Wesentliche
ReferenzML-Projekte mit offenen Daten nach Branche
ReferenzHandbuch für Daten- und KI-Fachleute
ReferenzData Engineering, SRE und Cloud
ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.