~/teaching · machine learning · sitzung 4, donnerstag, 15. oktober 2026

Kennzahlen, Kalibrierung und eine Entscheidungsschwelle bei asymmetrischen Kosten, dann ein Repository, das andere erneut ausführen können

Von einer Ausfallwahrscheinlichkeit zu einer begründeten Entscheidung und von einem Notebook zu einem Repository, das auch anderswo läuft.

Sitraka Forler, Centrale Méditerranée

Stand 16. Oktober 2026 · etwa 15 Minuten

Zusammenfassung

Dieser Foliensatz schließt den ersten Block des Kurses Machine Learning an der Centrale Méditerranée ab (Schwerpunkt DDEFI, 2026-2027). Er behandelt zwei Dinge, die viele Kurse auslassen: die Entscheidung, die aus einem Klassifikator folgt, und die technische Arbeit, mit der ein anderes Team dieselben Zahlen erhält. Das durchgehende Beispiel ist das Kreditscoring, bei dem Ausfälle selten sind und die beiden Fehlerarten nicht gleich viel kosten.

Die erste Hälfte bespricht die klassischen Kennzahlen samt ihren Grenzen: die Konfusionsmatrix, Precision und Recall, die ROC-Kurve und ihre Fläche, die Precision-Recall-Kurve, dann die Kalibrierung und den Brier-Score. Sie endet mit der Entscheidungsschwelle, in vier Zeilen aus zwei betriebswirtschaftlichen Kostengrößen hergeleitet und an einer Kostenkurve überprüft. Jedes Ergebnis wird von Hand an zehn Kreditanträgen nachgerechnet, sodass sich alles mit dem Bleistift prüfen lässt.

Die zweite Hälfte ist eher eine Disziplin als ein Satz: Ein Ergebnis hängt von den Daten, dem Code, dem Startwert des Zufallsgenerators (random seed) und der Umgebung ab, also werden alle vier festgeschrieben. Nach dem Foliensatz können Sie sagen, was jede Kennzahl verbirgt, eine Schwelle vor einem Kreditausschuss begründen und ein Repository mit Tests und einer Pipeline für kontinuierliche Integration (continuous integration, CI) liefern, das Ihre Kennzahlen mit einem einzigen Befehl reproduziert.

Die Folien

Kostenbewusst entscheiden, ein reproduzierbares Repository ausliefern

Sitzung 4, Donnerstag, 15. Oktober 2026. Machine Learning, Centrale Méditerranée, Schwerpunkt DDEFI, 2026-2027. Die Folien gibt es auf Französisch und Englisch; der Link öffnet die englische Fassung.

Folien öffnen (Passwort vom Dozenten)

Der Foliensatz selbst ist für die Studierenden des Kurses verschlüsselt; diese Seite fasst ihn für alle zusammen.

Die Kursseite · Aufmerksamkeit und Transformer, Schritt für Schritt

Aufbau des Foliensatzes

Warum die Accuracy täuscht. Bei 2 % Ausfällen wirkt ein Modell, das nie einen Ausfall vorhersagt, hervorragend und erkennt nichts.
Konfusionsmatrix, Precision, Recall. Vier Zellen, vier Raten mit unterschiedlichen Nennern und warum die Precision von der Basisrate abhängt.
ROC-Kurve und AUC. Ein Punkt pro Schwelle, die Fläche als Wahrscheinlichkeit gelesen und ihre Geschichte vom Radar bis zur Radiologie.
Precision-Recall und der F-Beta-Score. Die Sicht, die man bevorzugen sollte, wenn die positive Klasse selten ist.
Kalibrierung und der Brier-Score. Gut zu ordnen heißt nicht, wahre Wahrscheinlichkeiten zu liefern; die Murphy-Zerlegung zeigt, warum.
Klassengewichte und ihre Korrektur. Die Gewichtung der Positiven bläht die Wahrscheinlichkeiten auf; eine Formel auf Ebene der Odds korrigiert sie wieder nach unten.
Die kostenbasierte Schwelle. Herleitung, Rechenbeispiel mit 600 € und 4.500 € und die Kurve der erwarteten Kosten.
Reproduzierbares Engineering. Gehashte Daten, eingefrorene Aufteilung, ein Seed, Lock-Datei, fünf Tests, ein Befehl, CI, Branches und ein Entscheidungsprotokoll.

Accuracy, Precision und Recall bei seltener positiver Klasse

Wenn nur zwei von hundert Antragstellern ausfallen, liegt ein Modell, das alle annimmt, in 98 von 100 Fällen richtig und ist trotzdem nutzlos, also braucht es Raten, die auf die Ausfälle schauen.

Der Foliensatz arbeitet den ganzen Nachmittag mit demselben Beispielportfolio: 10.000 Kreditanträge, von denen 2 % ausfallen. Ein Modell, das immer „kein Ausfall“ antwortet, erreicht 98 % Accuracy (Anteil richtiger Vorhersagen) und einen Recall von null. Ein echtes Modell lehnt bei einer gegebenen Schwelle 150 der 200 Ausfälle ab und lässt 50 durch, während es 800 der 9.800 guten Kunden zu Unrecht ablehnt. Seine Accuracy beträgt (150 + 9.000) / 10.000 = 91,5 %, weniger als beim nutzlosen Modell, obwohl es drei von vier Ausfällen erkennt. Die Accuracy addiert zwei Fehler, die sich in Anzahl und Preis unterscheiden.

Ein vorhergesagter Ausfall (eine Ablehnung) heißt positiv. Die vier Zellen der Konfusionsmatrix (confusion matrix) sind TP, FP, FN und TN, mit $P = TP + FN$ echten Ausfällen, $N = FP + TN$ guten Kunden und der Basisrate $\pi = P/n$ . Die Raten, also Precision, Recall und Falsch-Positiv-Rate (false positive rate), unterscheiden sich nur im Nenner, und der sagt, wovon die Rede ist: von der Spalte der Ablehnungen, der Zeile der Ausfälle oder der Zeile der guten Kunden.

\text{Precision} = \frac{TP}{TP+FP},\qquad \text{Recall} = \frac{TP}{P},\qquad \mathrm{FPR} = \frac{FP}{N}

(1)

Zwei kurze Umformungen erklären die Fallen. Erweitert man mit $P$ und $N$ , zeigt sich, dass die Accuracy ein mit den Klassengrößen gewichteter Mittelwert aus Recall und Spezifität ist; bei $\pi = 0.02$ machen die Ausfälle also 2 % davon aus. Teilt man Zähler und Nenner der Precision durch $n$ , ergibt sich die Bayes-Formel im Vokabular des Kreditgeschäfts.

\text{Accuracy} = \pi\,\text{Recall} + (1-\pi)(1-\mathrm{FPR})

(2)

\text{Precision} = \frac{\pi\,\text{Recall}}{\pi\,\text{Recall} + (1-\pi)\,\mathrm{FPR}}

(3)

**Tabelle 1:** Die 10.000 Beispielanträge (2 % Ausfälle) bei einer gegebenen Schwelle.
Größe	Rechnung	Wert
Precision	150 / 950	15,8 %
Recall	150 / 200	75 %
Falsch-Positiv-Rate	800 / 9.800	8,2 %
Accuracy	9.150 / 10.000	91,5 %

Bemerkung (Gleiches Modell, andere Population.). Recall und FPR beschreiben das Modell, die Precision beschreibt auch die Population. Hält man den Recall bei 0,75 und die FPR bei 0,0816 fest, verschiebt aber die Ausfallrate von 2 % auf 22 %, steigt die Precision von 15,8 % auf etwa 72 %, ohne dass sich am Modell etwas ändert.

Zurück zum Inhalt.

ROC-Kurve, AUC und die Precision-Recall-Sicht

Verschiebt man die Schwelle, entsteht eine Kurve der erkannten Ausfälle gegen die zu Unrecht abgelehnten Kunden, und die Fläche darunter ist die Wahrscheinlichkeit, dass ein zufälliger Ausfall einen höheren Score erhält als ein zufälliger guter Kunde.

Jede Schwelle ergibt eine Konfusionsmatrix und damit einen Punkt mit der Falsch-Positiv-Rate auf der x-Achse und dem Recall (der Richtig-Positiv-Rate) auf der y-Achse. Senkt man die Schwelle von 1 auf 0, entsteht die ROC-Kurve. Ihre Fläche lässt sich auf drei gleichwertige Arten lesen: als geometrische Fläche, als Wahrscheinlichkeit und als Anzahl richtig geordneter Paare, also als Mann-Whitney-Statistik geteilt durch die Zahl der Paare. Von der ersten zur zweiten Lesart gelangt man durch eine Variablensubstitution und anschließend den Satz von der totalen Wahrscheinlichkeit.

\mathrm{AUC} = \int_0^1 \mathrm{TPR}\,\mathrm{d}(\mathrm{FPR}) = \mathbb{P}\big(s^{+} > s^{-}\big)

(4)

\widehat{\mathrm{AUC}} = \frac{1}{n^{+}n^{-}}\sum_{i=1}^{n^{+}}\sum_{j=1}^{n^{-}} \mathbf{1}\{s_i^{+} > s_j^{-}\}

(5)

**Tabelle 2:** Die zehn Beispielanträge aus der Validierung, die den ganzen Foliensatz begleiten.
Ergebnis	Antrag	Vorhergesagte Wahrscheinlichkeit
guter Kunde	1	0,05
guter Kunde	2	0,08
guter Kunde	3	0,10
Ausfall	4	0,15
guter Kunde	5	0,20
guter Kunde	6	0,30
guter Kunde	7	0,40
Ausfall	8	0,55
guter Kunde	9	0,70
Ausfall	10	0,90

Die Paare der zehn Anträge zählen

Paare. Drei Ausfälle und sieben gute Kunden ergeben 21 Paare (Ausfall, guter Kunde).
Antrag 4 (0,15). Er liegt nur über den drei guten Kunden mit 0,05; 0,08 und 0,10, gewinnt also 3 Paare.
Antrag 8 (0,55). Er schlägt sechs gute Kunden und verliert nur gegen Antrag 9 mit 0,70: 6 Paare.
Antrag 10 (0,90). Er schlägt alle sieben: 7 Paare.
Ergebnis. U = 16, also ist die AUC 16/21, etwa 0,762, und der im Kreditgeschäft verwendete Gini (2 AUC minus 1) etwa 0,524.

Da nur die Reihenfolge der Scores zählt, lässt jede monoton steigende Transformation des Scores die AUC unverändert. Das ist ihre Stärke und ihre Grenze zugleich, denn über die Schwelle, die Kosten oder die Richtigkeit der Wahrscheinlichkeiten sagt sie nichts. Die Kurve stammt aus der Signalerkennung beim Radar (Peterson, Birdsall und Fox, 1954); Hanley und McNeil (1982) zeigten, dass ihre Fläche die normierte Mann-Whitney-Statistik ist, und Bradley (1997) führte sie in den Vergleich von Lernalgorithmen ein.

Bei einer seltenen Klasse schmeichelt die ROC-Kurve. Im Beispiel mit 10.000 Anträgen sind 800 falsch Positive 8 % der guten Kunden, was harmlos aussieht, aber 84 % aller Ablehnungen. Die Precision-Recall-Kurve zeigt diese zweite Tatsache; ihre Zufallsbasislinie ist die Ausfallrate, keine Diagonale. Der $F_\beta$ -Score fasst einen ihrer Punkte als gewichtetes harmonisches Mittel zusammen, und $\beta > 1$ gibt dem Recall mehr Gewicht. Der Foliensatz warnt, dass die Wahl von $\beta$ eine verkappte Kostenentscheidung ist.

F_\beta = (1+\beta^{2})\,\frac{\text{Precision}\times\text{Recall}}{\beta^{2}\,\text{Precision} + \text{Recall}}

(6)

Zurück zum Inhalt.

Kalibrierung und der Brier-Score

Ein Modell ist kalibriert, wenn von den Anträgen, die es mit 10 % bewertet, tatsächlich etwa jeder zehnte ausfällt; eine gute Rangfolge garantiert das nicht.

Zwei Modelle können dieselbe AUC haben, während eines von ihnen 50 % angibt, wo die beobachtete Ausfallrate 10 % beträgt. Die Zuverlässigkeitskurve (reliability curve) zeigt das: Man fasst die Vorhersagen in Intervalle (Bins) zusammen und trägt die mittlere vorhergesagte Wahrscheinlichkeit gegen die beobachtete Häufigkeit auf; ein kalibriertes Modell liegt auf der Diagonale. Der Brier-Score, entstanden in der Wettervorhersage (Brier, 1950), misst die Werte selbst als mittlere quadratische Abweichung zwischen der Wahrscheinlichkeit und dem 0/1-Ergebnis.

\mathbb{E}[\,Y \mid s(X) = s\,] = s

(7)

\text{Brier} = \frac{1}{n}\sum_{i=1}^{n}(s_i - y_i)^2

(8)

Innerhalb eines Intervalls mit Score $p$ und Ausfallhäufigkeit $\pi$ verschwindet der Kreuzterm, wenn man $\pi$ addiert und subtrahiert und das Quadrat ausmultipliziert; übrig bleiben der quadrierte Kalibrierungsfehler plus die Bernoulli-Varianz $\pi(1-\pi)$ . Mittelt man über die Intervalle und wendet den Satz von der totalen Varianz an, erhält man die Murphy-Zerlegung (1973).

\text{Brier} = \underbrace{\mathbb{E}_p\big[(p-\pi_p)^2\big]}_{\text{Zuverlässigkeit}} - \underbrace{\operatorname{Var}_p(\pi_p)}_{\text{Auflösung}} + \underbrace{\bar\pi(1-\bar\pi)}_{\text{Unsicherheit}}

(9)

Probe an den zehn Anträgen

Quadrierte Abweichungen. Die zehn Werte von (p minus y) zum Quadrat summieren sich zu 1,734, der Brier-Score beträgt also etwa 0,173.
Der falsch eingeordnete Ausfall. Antrag 4, ein Ausfall mit Score 0,15, kostet 0,85 zum Quadrat, also 0,7225, das sind allein schon 0,072 der 0,173.
Konstantes Modell. Allen 0,3 vorherzusagen ist kalibriert, ergibt aber nur ein einziges Intervall; sein Brier-Score ist daher die Unsicherheit, 0,3 mal 0,7, also 0,21.
Deutung. Das Modell schlägt die Konstante: Seine Auflösung bringt mehr ein, als seine Kalibrierungsfehler kosten.

Dieselbe Überlegung liefert den Referenzpunkt des Projekts: Auf dem Datensatz UCI Default mit 22,1 % Ausfällen hat das konstante Modell einen Brier-Score von etwa 0,172, und ein Referenzmodell sollte auf der Validierung besser abschneiden. Zum Rekalibrieren passt man Platt Scaling (eine logistische Regression auf den Score) oder eine isotone Regression (stückweise steigend) auf dem Validierungsdatensatz an, nie auf dem Testdatensatz. Im Bankwesen ist das nicht freiwillig: Die EBA-Leitlinien zur PD-Schätzung (EBA/GL/2017/16, 2017) verlangen Ausfallwahrscheinlichkeiten, die an der langfristigen Ausfallrate ausgerichtet sind.

Zurück zum Inhalt.

Klassengewichte blähen Wahrscheinlichkeiten auf: vor der Entscheidung korrigieren

Wer beim Training die Ausfälle stärker gewichtet, lässt das Modell glauben, Ausfälle seien häufig, also müssen seine Ausgaben zurückskaliert werden, bevor irgendeine Schwelle angewandt wird.

Die Positiven mit $w$ zu gewichten oder sie zu duplizieren, heißt, auf einer Population zu trainieren, in der die A-priori-Wahrscheinlichkeit eines Ausfalls $w$ -mal größer ist, während die klassenbedingten Verteilungen unverändert bleiben. Nach der Bayes-Formel werden die A-posteriori-Odds mit $w$ multipliziert. Durch Umkehrung erhält man die wahre Wahrscheinlichkeit zurück. Bei einer logistischen Regression verschiebt das nur den Achsenabschnitt, und zwar um den Logarithmus von $w$ , auch wenn sich in der Praxis die Steigungen ebenfalls etwas bewegen, weshalb auf die Korrektur eine Rekalibrierung folgt.

\frac{p_w}{1-p_w} = w\,\frac{p}{1-p}

(10)

p = \frac{p_w}{w - (w-1)\,p_w}

(11)

**Tabelle 3:** Mit class_weight='balanced' bei 2 % Ausfällen beträgt das Gewichtsverhältnis 98/2 = 49 (zur Veranschaulichung).
Wahre Wahrscheinlichkeit	Odds	Odds × 49	Angezeigte Wahrscheinlichkeit
0,02	0,020	1,00	0,500
0,12	0,136	6,68	0,870
0,30	0,429	21,0	0,955

Eine Schwelle von 12 %, auf die angezeigten Zahlen angewandt, würde alle drei Anträge ablehnen, auch den mit 2 %, den die Bank annehmen will. Die Hin- und Rückrechnung prüft die Formel: 0,12 steigt auf 0,870, und 0,870 geteilt durch 49 minus 48 × 0,870 (also 7,24) ergibt wieder 0,120. Die Reihenfolge lautet daher: korrigieren, auf der Validierung rekalibrieren und erst dann die Schwelle anwenden. Der Foliensatz nennt eine vergessene Korrektur den häufigsten Fehler in Notebooks von Einsteigern.

Zurück zum Inhalt.

Die Entscheidungsschwelle aus asymmetrischen Kosten herleiten

Ein Antrag wird abgelehnt, wenn die Ablehnung im Mittel weniger kostet als die Annahme; die daraus folgende Schwelle hängt nur von den beiden Kosten ab, nicht vom Modell.

Für einen Antrag mit kalibrierter Ausfallwahrscheinlichkeit $p$ verliert die Annahme $c_{FN}$ mit Wahrscheinlichkeit $p$ , die Ablehnung $c_{FP}$ mit Wahrscheinlichkeit $1-p$ . Jede der beiden Entscheidungen hat damit erwartete Kosten (expected cost), und abgelehnt wird, wenn die der Ablehnung kleiner sind. Ausmultiplizieren, den Term mit $p$ auf eine Seite bringen und durch die positive Summe der Kosten teilen ergibt die Regel, also die Entscheidungsschwelle (decision threshold). Der Standardwert 0,5 von scikit-learn ist der Sonderfall gleicher Kosten, den es im Kreditgeschäft nie gibt.

\text{ablehnen} \iff (1-p)\,c_{FP} < p\,c_{FN} \iff p > t^{*} = \frac{c_{FP}}{c_{FP} + c_{FN}}

(12)

Das Beispiel des Foliensatzes, mit ausdrücklichen Annahmen

Kosten. Ein abgelehnter guter Kunde kostet 600 € Marge; ein angenommener Ausfall bei einem Kredit über 10.000 € kostet 4.500 €, eine Verlustquote bei Ausfall von 45 % (der Basel-II-Wert des IRB-Basisansatzes für vorrangige unbesicherte Forderungen an Unternehmen, hier nur als Richtwert verwendet).
Schwelle. 600 / 5.100 ergibt etwa 0,1176, die Bank lehnt also ab, sobald das Risiko etwa 12 % erreicht, weil ein Ausfall 7,5-mal so viel kostet wie eine Ablehnung zu Unrecht.
Indifferenz. Ist p gleich der Schwelle, kostet die Annahme 0,1176 × 4.500 und die Ablehnung 0,8824 × 600, beides etwa 529 €.
Drei Anträge. Bei 5 % Risiko kostet die Annahme 225 € gegenüber 570 € für die Ablehnung, also annehmen; bei 30 % sind es 1.350 € gegenüber 420 €, also ablehnen.

Ist die Kalibrierung zweifelhaft, minimiert die robuste Variante die auf dem Validierungsdatensatz gezählten Gesamtkosten, Schwelle für Schwelle. Sind die Wahrscheinlichkeiten kalibriert, zeigt das Ersetzen jedes $y_i$ durch $p_i$ , dass jeder Term der erwarteten Kosten durch dieselbe Regel minimiert wird; das empirische Minimum sollte also nahe $t^{*}$ liegen, und eine große Abweichung ist selbst schon die Diagnose einer schlechten Kalibrierung.

C(t) = c_{FP}\,FP(t) + c_{FN}\,FN(t)

(13)

**Tabelle 4:** Gesamtkosten für die zehn Anträge, mit 600 € und 4.500 € (zur Veranschaulichung).
Schwelle	FP	FN	Gesamtkosten
1 (alle annehmen)	0	3	13.500 €
0,50	1	1	5.100 €
0,12	4	0	2.400 €
0 (alle ablehnen)	7	0	4.200 €

Bei den 10.000 Anträgen kostet die Annahme aller Anträge 200 × 4.500 € = 900.000 €, so viel zahlt die Bank ohne Modell, und die Ablehnung aller 9.800 × 600 € = 5,88 Millionen €. An der Kostenschwelle, mit 800 falsch Positiven und 50 falsch Negativen, beläuft sich die Rechnung auf 705.000 €: Das Modell spart etwa 195.000 € pro 10.000 Anträge. Bei 0,5 zeigt die Kurve des Foliensatzes etwa 870.000 €, nahe an „alle annehmen“, weil bei einer seltenen Klasse nur wenige Anträge überhaupt über die Hälfte kommen.

Bemerkung (Eine Entscheidung, keine Einstellung.). Die Idee geht auf Neyman und Pearson (1933) und die Entscheidungstheorie von Wald zurück; Elkan (2001) formulierte die Kostenschwelle für das Machine Learning, und scikit-learn 1.5 (Mai 2024) führte TunedThresholdClassifierCV ein. Zwei Banken mit demselben Modell und unterschiedlichen Margen erhalten zwei Schwellen, und beide liegen richtig. Die Kosten gehören in die Konfiguration und ihre Begründung in ein schriftliches Protokoll, das sich ohne erneutes Training revidieren lässt. Sitzung 8 vertieft das mit der konformen Vorhersage.

Zurück zum Inhalt.

Ein reproduzierbares ML-Repository: Seed, Umgebung, Tests und CI

Ein berichteter Score hängt von den Daten, dem Code, dem Zufalls-Seed und den Softwareversionen ab, also wird jedes der vier festgeschrieben, und eine neutrale Maschine führt bei jedem Push alles erneut aus.

\text{Ergebnis} = F(\text{Daten},\ \text{Code},\ \text{Seed},\ \text{Umgebung})

(14)

Eine AUC von 0,78 bedeutet für sich genommen nichts. Ändert sich eine der vier Eingangsgrößen unbemerkt, ändert sich die Zahl, und niemand weiß, warum. Das Repository des Kursprojekts legt jede davon fest und sichert so die Reproduzierbarkeit (reproducibility): Die CSV-Datei wird mit SHA-256 gehasht und der Hash gespeichert; die Aufteilung in Training, Validierung und Test ist durch einen Seed eingefroren und wird über einen eigenen Hash geprüft; der Code liegt in importierbaren Modulen unter git, die von den Notebooks importiert statt kopiert werden; ein einziger Seed steht in config.yaml neben den Kosten und der Schwelle; die Umgebung besteht aus einer Lock-Datei (lockfile) plus einer festen Python-Version in einem Devcontainer.

Lock-Datei. Eine bloße Zeile scikit-learn bedeutet „die Version, die am Tag der Installation aktuell ist“; Monate später kann ein geänderter Standardwert die AUC verschieben, ohne dass sich am Code etwas geändert hat. Die Lock-Datei legt exakte Versionen und Paket-Hashes fest, wird aus einer kurzen Eingabedatei erzeugt (mit pip-compile --generate-hashes oder uv lock), nie von Hand bearbeitet und mit eingecheckt.
Fünf Tests, unter einer Minute. Ein Schemavertrag für die eingehenden Daten (Typen, Grenzen, Anteil fehlender Werte), eine Aufteilung mit dem erwarteten Hash, eine AUC von 1 auf separierbaren Daten, unveränderte Vorhersagen bei vertauschter Zeilenreihenfolge und eine neu geladene Pipeline, die bis auf $10^{-12}$ genauso vorhersagt wie die trainierte. Ein Test ist eine Eigenschaft, die immer gelten muss, nicht „die AUC sieht gut aus“.
Ein Befehl. make reproduce prüft den Hash der Daten, wiederholt die Aufteilung, trainiert die sklearn-Pipeline (nur auf dem Trainings-Fold angepasst, also konstruktionsbedingt ohne Data Leakage) und schreibt die Datei mit den Kennzahlen. Zweimal ausgeführt, muss der Befehl identische Dateien liefern; ein Unterschied deutet auf einen nicht festgelegten Seed hin.
Kontinuierliche Integration. Bei jedem Push und jedem Pull Request installiert eine saubere Maschine die Lock-Datei, führt die Tests und die Reproduktion aus und vergleicht dann AUC und Brier-Score mit einer eingecheckten Referenz, mit einer Toleranz von 0,005. Ein roter Build ist eine Information: Entweder war die Änderung beabsichtigt, und die Referenz wird mit einer Begründung angepasst, oder es wurde gerade frühzeitig ein Fehler gefunden.
Branches und Review. Niemand pusht direkt auf den Hauptbranch. Ein Branch pro Aufgabe, ein kleiner Pull Request, eine Review-Checkliste (grüne CI, ein Test für die Änderung, nichts aus dem Testdatensatz im Modell, Kennzahlen und Protokoll aktualisiert, wenn sich eine Zahl bewegt, lesbar ohne den Autor) und ein Merge durch jemand anderen.
Ein Entscheidungsprotokoll. Jeder Eintrag nennt das Datum, die Entscheidung, den Kontext, die verworfene Alternative mit der Zahl, die sie ausgeschlossen hat, und den Befehl, der das Ergebnis reproduziert. Zum Beispiel: Schwelle 0,12 statt 0,5, 705.000 € gegenüber 870.000 € auf der Validierung. Ein Werkzeug kann ein Modell erzeugen; die Geschichte der Zweifel des Teams kann es nicht schreiben.

Dieselbe Logik zieht sich durch die früheren Sitzungen des Kurses, von den kleinsten Quadraten über die logistische Regression bis zu ihrer Regularisierung: einfache Modelle, sauber umgesetzt und erklärt. KI-Assistenten sind für die Infrastrukturarbeit willkommen, etwa für einen CI-Workflow oder ein Makefile, sofern ihr Einsatz offengelegt wird; die Herleitung der Schwelle und die Modellierungsentscheidungen bleiben beim Team.

Zurück zum Inhalt.

Das Wichtigste in Kürze

Die Accuracy ist ein gewichteter Mittelwert aus Recall und Spezifität, bei einer seltenen Klasse misst sie also vor allem die Mehrheit.
Recall und Falsch-Positiv-Rate beschreiben das Modell; die Precision hängt außerdem davon ab, wie selten die positive Klasse ist.
Die AUC ist die Wahrscheinlichkeit, dass ein Ausfall einen höheren Score erhält als ein guter Kunde; gemessen wird also eine Reihenfolge, nicht Wahrscheinlichkeiten, Schwellen oder Kosten.
Kalibrierung ist eine eigene Qualität, gemessen mit der Zuverlässigkeitskurve und dem Brier-Score, und sie ist das, worauf die Bankenaufsicht zuerst schaut.
Bei kalibrierten Wahrscheinlichkeiten lehnt man ab, wenn die Wahrscheinlichkeit die Kosten eines falsch Positiven geteilt durch die Summe beider Kosten übersteigt; mit 600 € und 4.500 € sind das etwa 0,12, nicht 0,5.
Klassengewichte multiplizieren die Odds; vor jeder Schwelle korrigieren und rekalibrieren.
Daten, Code, Seed und Umgebung festschreiben, Eigenschaften testen, alles mit einem Befehl neu ausführen und die CI bei jedem Push die Kennzahlen vergleichen lassen.

Glossar

Konfusionsmatrix (confusion matrix): Die 2 × 2-Tabelle der richtig Positiven, falsch Positiven, falsch Negativen und richtig Negativen bei einer gegebenen Schwelle.
Precision, Recall: Anteil echter Ausfälle unter den Ablehnungen; Anteil der echten Ausfälle, die erkannt werden.
Falsch-Positiv-Rate (false positive rate): Anteil der guten Kunden, die zu Unrecht abgelehnt werden; die x-Achse der ROC-Kurve.
ROC-Kurve, AUC: Recall gegen Falsch-Positiv-Rate über alle Schwellen; ihre Fläche ist die Wahrscheinlichkeit, dass ein positives Beispiel einen höheren Score erhält als ein negatives.
Precision-Recall-Kurve: Precision gegen Recall über alle Schwellen; aussagekräftiger als die ROC-Kurve, wenn die positive Klasse selten ist.
Zuverlässigkeitskurve (reliability curve): Zeigt die Kalibrierung, also die Übereinstimmung zwischen vorhergesagten Wahrscheinlichkeiten und beobachteten Häufigkeiten, Intervall für Intervall gegen die Diagonale aufgetragen.
Brier-Score: Mittlere quadratische Abweichung zwischen vorhergesagter Wahrscheinlichkeit und 0/1-Ergebnis; Zuverlässigkeit minus Auflösung plus Unsicherheit.
Entscheidungsschwelle (decision threshold): Die Wahrscheinlichkeit, ab der ein Antrag abgelehnt wird; bei kalibrierten Wahrscheinlichkeiten ein Verhältnis von Kosten.
erwartete Kosten (expected cost): Jeder mögliche Verlust mal die Wahrscheinlichkeit, dass er eintritt, aufsummiert; die Größe, die die Schwelle minimiert.
Startwert des Zufallsgenerators (random seed): Kurz Seed: die Zahl, die jede Zufallsziehung festlegt (Aufteilung, Mischen, Initialisierung), damit sich ein Lauf wiederholen lässt.
Lock-Datei (lockfile): Eine erzeugte Datei, die exakte Paketversionen und Hashes festschreibt, damit sich die Umgebung identisch wieder aufbauen lässt.
kontinuierliche Integration (continuous integration, CI): Automatische erneute Ausführung von Tests und Reproduktion auf einer sauberen Maschine bei jedem Push oder Pull Request.
Reproduzierbarkeit (reproducibility): Eine andere Person erhält mit denselben Daten, demselben Code, demselben Seed und derselben Umgebung dieselben Zahlen.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

EinführungKI-Winter, Arbeitsmarkt und Methode
WerkzeugeKaggle, GitHub, Python: die Werkzeuge
Sitzung 1Projektrahmen und kleinste Quadrate
Sitzung 2Maximum Likelihood und logistische Regression
Sitzung 3Gradientenabstieg, Ridge und Lasso
Sitzung 4Entscheidungsschwelle und reproduzierbares ML
HausaufgabeML-Projekt abstecken: der Projektsteckbrief
Sitzung 5Kernel, SVM und Entscheidungsbäume
Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
Sitzung 7SHAP, Fairness, PCA und Clustering
HausaufgabeEin einfaches Modell mit vollständiger Methode
Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
Sitzung 9Ein Machine-Learning-Projekt verteidigen
ReferenzProjekt zum Kreditausfallscore
ReferenzAktienrenditen: XGBoost und Sentiment
ReferenzPython-Code für jedes ML-Modell
ReferenzDeep Learning, das Wesentliche
ReferenzML-Projekte mit offenen Daten nach Branche
ReferenzHandbuch für Daten- und KI-Fachleute
ReferenzData Engineering, SRE und Cloud
ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.