Maximum-Likelihood-Schätzung, logistische Regression und ehrliche Validierung, Schritt für Schritt

Von der Bernoulli-Likelihood zum Log-Loss

Ein guter Klassifikator gibt dem, was tatsächlich passiert ist, eine hohe Wahrscheinlichkeit, und der Log-Loss ist einfach der Preis, den er zahlt, wenn das nicht der Fall ist.

Jeder Kunde fällt entweder aus ($y_i = 1$) oder nicht ($y_i = 0$). Dieses Ergebnis modelliert man als gezinkte Münze, deren Trefferwahrscheinlichkeit $p_i$ von den Merkmalen $x_i$ des Kunden abhängt. Das ist eine Bernoulli-Verteilung. Mit einem kleinen Trick in den Exponenten lässt sich die Wahrscheinlichkeit des beobachteten Ergebnisses ohne Fallunterscheidung schreiben, denn $p_i^{y_i}(1-p_i)^{1-y_i}$ ist gleich $p_i$, wenn der Kunde ausgefallen ist, und gleich $1-p_i$, wenn nicht.

Nimmt man an, dass die Kunden bei gegebenen Merkmalen unabhängig sind, ist die Wahrscheinlichkeit des gesamten Datensatzes das Produkt dieser Terme. Dieses Produkt, als Funktion der Parameter $\beta$ betrachtet, ist die Likelihood-Funktion (likelihood), kurz Likelihood. Die Maximum-Likelihood-Schätzung (maximum likelihood estimation, MLE) wählt das $\beta$, das sie am größten macht.

Zwei praktische Gründe sprechen für den Logarithmus. Ein Produkt aus 30.000 Zahlen unter 1 rutscht in Gleitkommaarithmetik unter den darstellbaren Bereich (Underflow), und eine Summe lässt sich leichter ableiten als ein Produkt. Da der Logarithmus monoton steigt, verschiebt sich die Maximalstelle nicht. Im Machine Learning minimiert man lieber, also kehrt man das Vorzeichen um und erhält den Log-Loss, auch binäre Kreuzentropie (binary cross-entropy) genannt.

Für einen Kunden, der tatsächlich ausfällt, bleibt nur $-\log p_i$ übrig. Die Tabelle zeigt, wie hart die Verlustfunktion selbstsichere Fehler bestraft (natürlicher Logarithmus, die Einheit ist also das Nat).

Zurück zum Inhalt.

Dasselbe Rezept, normalverteilte Zielvariable: die kleinsten Quadrate

Die kleinsten Quadrate sind keine willkürliche Wahl, sondern genau das, was die Maximum-Likelihood-Schätzung liefert, wenn das Rauschen um die Vorhersage normalverteilt ist.

Wenden wir das Rezept auf eine stetige Zielvariable an. Angenommen, der beobachtete Preis ist normalverteilt um die lineare Vorhersage, $y_i \sim \mathcal N(x_i^{\top}\beta, \sigma^2)$. Jede Dichte ist eine Konstante mal $e^{-e_i^2/(2\sigma^2)}$, wobei $e_i$ das Residuum ist. Nimmt man den Logarithmus des Produkts, sammeln sich die Konstanten in einem Term, der nicht von $\beta$ abhängt, und die Exponenten addieren sich zu einer Summe quadrierter Residuen.

Ein positiver Faktor und eine additive Konstante verschieben kein Minimum, also ist die Maximum-Likelihood-Schätzung unter Normalverteilung genau der gewöhnliche Kleinste-Quadrate-Schätzer des Vormittags, mit seinen Normalgleichungen. Wäre das Rauschen stattdessen Laplace-verteilt, stünde im Exponenten $|e_i|$, und das Rezept ergäbe die Methode der kleinsten absoluten Abweichungen, also den Median statt des Mittelwerts.

Die Untergrenze, die jedes Modell schlagen muss

Man sagt für jeden Kunden die Basisrate $\bar p = 0.221$ voraus. Ihr mittlerer Log-Loss ist die Entropie der Zielvariable, etwa 0,528 Nat. Ein Kreditmodell, das auf dem Validierungsdatensatz nicht unter diesen Wert kommt, hat nichts Brauchbares gelernt.

Der Foliensatz zeigt außerdem die Form, die Bibliotheken tatsächlich berechnen, geschrieben mit dem Score $z_i = x_i^{\top}\beta$, nämlich den Mittelwert von $\log(1+e^{z_i}) - y_i z_i$. Die Funktion $\log(1+e^{z})$ ist die Softplus-Funktion, die sich auch für stark negative Scores ohne Überlauf auswerten lässt.

Zurück zum Inhalt.

Die Sigmoidfunktion und das Logit

Die Sigmoidfunktion presst jeden reellen Score in eine Wahrscheinlichkeit, und ihre Umkehrung zeigt, dass die logistische Regression auf der Skala der Log-Odds eine Gerade ist.

Ein linearer Score $z = x^{\top}\beta$ durchläuft die ganze reelle Achse, eine Wahrscheinlichkeit liegt in $]0, 1[$. Die Sigmoidfunktion (sigmoid) verbindet beides. Da $e^{-z} > 0$ ist, ist der Nenner größer als 1, und das Ergebnis bleibt streng zwischen 0 und 1: Das Modell sagt nie Gewissheit voraus, was den Log-Loss auch von $\log 0$ fernhält.

Die Ableitung ist die eine Formel, die man auswendig kennen sollte: Mit ihr ergibt sich der Gradient in wenigen Zeilen, und ihr Maximum von einem Viertel bei $z = 0$ wird später erklären, warum Gradienten in tiefen Netzen mit Sigmoid-Aktivierung verschwinden. Löst man $p = \sigma(z)$ nach $z$ auf, erhält man das Logit (log-odds), den Logarithmus der Odds:

Probe bei einem Score von 2

1. Exponentialfunktion. $e^{-2} \approx 0.135$, der Nenner beträgt also etwa 1,135.
2. Wahrscheinlichkeit. $\sigma(2) = 1/1.135 \approx 0.881$.
3. Steigung. $0.881 \times 0.119 \approx 0.105$, unter der Obergrenze von 0,25.
4. Zurück zum Score. $\log(0.881/0.119) = \log 7.39 \approx 2.00$, das Logit macht die Sigmoidfunktion also rückgängig.

Zurück zum Inhalt.

Gradient, Hesse-Matrix und Konvexität

Die Richtung, in die sich die Koeffizienten bewegen sollen, ergibt sich aus der Differenz zwischen Vorhersage und tatsächlichem Ergebnis, und die Verlustfunktion hat nur ein einziges Tal.

Jeder Term der Log-Likelihood hängt von $\beta$ nur über den Score $z_i$ ab. Man leitet zuerst nach dem Score ab: Dank $\sigma' = \sigma(1-\sigma)$ kürzen sich alle Nenner, und übrig bleibt $y_i - p_i$, Beobachtung minus Vorhersage. Die Kettenregel multipliziert dann mit $x_i$, und das Stapeln der Kunden ergibt ein Matrixprodukt.

Zum Vergleich die kleinsten Quadrate, deren Gradient $X^{\top}(X\beta - y)$ ist. Dieselbe Form, ein anderes Residuum. Die Sigmoidfunktion verhindert eine Lösung in geschlossener Form, daher werden die Koeffizienten iterativ bestimmt, durch Gradientenabstieg (gradient descent) oder mit dem Newton-Verfahren (in der Statistik als IRLS bekannt).

Eine weitere Ableitung liefert die Hesse-Matrix (Hessian), eine $p \times p$-Matrix mit derselben Struktur wie $X^{\top}X$, aber gewichtet mit $w_i = p_i(1-p_i)$, also mit Zahlen zwischen 0 und einem Viertel. Für jede Richtung $v$ ist die quadratische Form $v^{\top}X^{\top}WXv = \sum_i w_i (x_i^{\top}v)^2$ eine gewichtete Quadratsumme und damit nie negativ. Der Log-Loss ist also konvex: Jedes lokale Minimum ist global, und es ist eindeutig, wenn die Spalten von $X$ linear unabhängig sind.

Durchgerechnetes Beispiel: fünf Kunden, ein Merkmal (Monate im Zahlungsrückstand)

1. Daten. Rückstände $x = (0, 1, 3, 0, 2)$, Ergebnisse $y = (0, 0, 1, 0, 1)$, vorhergesagte Wahrscheinlichkeiten $p = (0.10, 0.20, 0.80, 0.15, 0.70)$ (Zahlen zur Veranschaulichung).
2. Abweichungen. $p - y = (0.10, 0.20, -0.20, 0.15, -0.30)$, die beiden ausgefallenen Kunden werden also unterschätzt.
3. Gradient. Jede Abweichung mit $x_i$ gewichten und addieren: $0 + 0.20 - 0.60 + 0 - 0.60 = -1.00$. Negativ, also senkt eine Erhöhung des Rückstandskoeffizienten den Verlust.
4. Hesse-Matrix. $\sum_i p_i(1-p_i)x_i^2 = 0.16 + 1.44 + 0.84 = 2.44 > 0$, die Verlustfunktion ist also nach oben gekrümmt.
5. Newton-Schritt. Minus Gradient durch Hesse-Matrix, $1.00/2.44 \approx 0.41$, ist der Betrag, um den der Koeffizient in einem Schritt steigen würde.

Zurück zum Inhalt.

Softmax und Kreuzentropie für mehrere Klassen

Bei mehr als zwei Klassen bekommt jede Klasse einen Score, die Softmax-Funktion macht daraus Wahrscheinlichkeiten, und der Gradient behält die Form Vorhersage minus Beobachtung.

Man gibt jeder der $K$ Klassen einen eigenen linearen Score, wendet die Exponentialfunktion an, damit alle positiv werden, und teilt durch ihre Summe. Die Zielvariable ist ein One-Hot-Vektor, daher behält die Kreuzentropie nur einen Term: minus den Logarithmus der Wahrscheinlichkeit, die der wahren Klasse zugewiesen wird. Die Ableitung durch die Log-Sum-Exp-Funktion hindurch liefert ein verblüffend einfaches Ergebnis.

Mit den Scores $(2, 1, 0)$ betragen die Exponentialwerte etwa 7,389; 2,718 und 1 (Summe 11,107), die Wahrscheinlichkeiten 0,665; 0,245 und 0,090. Ist die erste Klasse die wahre, beträgt der Verlust $-\log 0.665 \approx 0.408$, und der Gradient $(-0.335, 0.245, 0.090)$ hebt den wahren Score an und senkt die anderen. Er summiert sich zu null, weil es nichts ändert, wenn man zu allen Scores dieselbe Konstante addiert.

Bei zwei Klassen ergibt das Teilen von Zähler und Nenner durch $e^{z_1}$ den Ausdruck $\sigma(z_1 - z_2)$. Die binäre logistische Regression ist die Softmax-Funktion mit $K = 2$, und nur die Differenz der Scores zählt, weshalb sie mit einem einzigen Koeffizientenvektor auskommt. Dieselbe Schicht schließt fast jedes Klassifikationsnetz ab (siehe den Artikel zu Attention).

Zurück zum Inhalt.

Einen Koeffizienten als Odds Ratio lesen

Ein logistischer Koeffizient multipliziert die Odds mit einem festen Faktor, doch die Änderung der Wahrscheinlichkeit hängt davon ab, wo der Kunde startet.

Die Odds (die Chance im statistischen Sinn) sind $p/(1-p)$, ein Kunde mit 10 % Ausfallwahrscheinlichkeit hat also Odds von 1 zu 9, etwa 0,111. Da das Logit linear ist, addiert eine Erhöhung von $x_j$ um eine Einheit bei sonst gleichen Werten $\beta_j$ zu den Log-Odds und multipliziert die Odds mit $e^{\beta_j}$, dem Chancenverhältnis (Odds Ratio). Dieser Faktor ist für alle Kunden gleich, und genau deshalb ist er die richtige Zahl für eine Veröffentlichung.

Das Intervall wird auf der Skala des Koeffizienten gebildet, wo die Normalapproximation gilt, und dann exponenziert, daher ist es asymmetrisch um das Odds Ratio. Der Standardfehler stammt aus der inversen Hesse-Matrix $(X^{\top}WX)^{-1}$ am Schätzwert.

Gleiches Odds Ratio, doppelte Wirkung auf die Wahrscheinlichkeit. Die Formulierung „das Risiko steigt um 82 %“ ist daher falsch, und Validierer bemerken das sofort. Ein solider Bericht nennt das Odds Ratio mit seinem Intervall sowie die Wahrscheinlichkeit vorher und nachher für einen typischen Kunden. Sind kategoriale Variablen One-Hot-kodiert, nennt er außerdem die Referenzkategorie.

Zurück zum Inhalt.

Bias-Varianz und Validierung ohne Data Leakage

Der Testfehler hat drei Quellen, von denen Sie nur eine beeinflussen, und ihn ehrlich zu messen heißt, dass keine Information aus dem Testdatensatz das Modell erreichen darf.

Für $y = f(x) + \varepsilon$ und ein Modell $\hat f$, das auf einer Zufallsstichprobe $D$ angepasst wurde, zerfällt der erwartete quadratische Fehler an einer Stelle in das nicht reduzierbare Rauschen, den quadrierten Bias (die systematische Abweichung einer zu einfachen Modellfamilie) und die Varianz (wie stark sich die Anpassung bewegt, wenn die Stichprobe neu gezogen wird). Das ist das Bias-Varianz-Dilemma (bias-variance trade-off). Der Beweis addiert und subtrahiert zweimal die mittlere Vorhersage, und beide Kreuzterme verschwinden.

In der Praxis sieht man die drei Terme nie getrennt; man sieht einen Trainingsfehler, der immer weiter sinkt, und einen Validierungsfehler, der wieder ansteigt. Die Kreuzvalidierung (cross-validation) schätzt diese zweite Kurve, ohne den Testdatensatz anzurühren: Man teilt die übrigen Zeilen in $k$ stratifizierte Teilmengen (Folds), trainiert auf $k-1$, bewertet den zurückgehaltenen Fold und mittelt. Der Mittelwert ist für das Verfahren nahezu erwartungstreu, die angezeigte Standardabweichung ist aber kein Konfidenzintervall, da sich die Trainingsdatensätze stark überlappen (Bengio und Grandvalet, 2004).

Als Data Leakage gilt jede Statistik der Testdaten, die in das Modell einfließt. Die zwei Klassiker sind das Skalieren der Merkmale auf der gesamten Datei vor der Aufteilung (Abhilfe: eine Pipeline, die innerhalb jedes Folds angepasst wird) und ein Target Encoding, das auf allen Zeilen berechnet wird, sodass jede Zeile ihr eigenes Label sieht (Abhilfe: eine Kodierung außerhalb des jeweiligen Folds). Bei datierten Daten lassen gemischte Folds das Modell auf der Zukunft trainieren; ein TimeSeriesSplit trainiert auf der Vergangenheit und validiert auf dem, was folgt.

Bleibt die Frage, wie weit man einem Testergebnis trauen kann. Die Hoeffding-Ungleichung (Hoeffding's inequality) beschränkt die Abweichung zwischen gemessenem und wahrem Fehler für eine Verlustfunktion mit Werten in $[0, 1]$ und unabhängige Zeilen, ohne jede Annahme über das Modell. Legt man das Risiko $\delta$ fest und löst auf, erhält man die Fehlermarge:

Mit $\delta = 0.05$ und 1.000 Testzeilen ist $\ln 40 \approx 3.689$; teilt man durch 2.000 und zieht die Wurzel, erhält man etwa 0,043: Zwei Modelle mit 81 % und 84 % lassen sich nicht unterscheiden. Die Marge schrumpft wie $n^{-1/2}$, sie zu halbieren kostet also viermal so viele Zeilen; die 6.000 Testzeilen des Projekts ergeben etwa 1,8 Prozentpunkte. Die Garantie gilt nur, wenn man den Testdatensatz ein einziges Mal ansieht.

Der Start des Teamprojekts wendet all das auf die Kreditdaten an: ein SQL-Audit mit DuckDB, ein Datenblatt, das genau festhält, was die Zielvariable bedeutet, eine Leakage-Karte, die jede Spalte relativ zum Vorhersagezeitpunkt datiert, eine stratifizierte 60/20/20-Aufteilung, eingefroren durch einen Seed und einen Datei-Hash, und zwei Referenzmodelle (das konstante Modell bei 0,528 und eine logistische Regression mit Standardeinstellungen in einer Pipeline). Wie es weitergeht, zeigt die Projektseite.

Zurück zum Inhalt.

Das Wichtigste in Kürze

1. Wer eine Verteilung für die Zielvariable wählt, wählt die Verlustfunktion: Normalverteiltes Rauschen ergibt die kleinsten Quadrate, eine Bernoulli-Zielvariable den Log-Loss.
2. Die Sigmoidfunktion bildet einen Score auf eine Wahrscheinlichkeit ab, ihre Ableitung ist $\sigma(1-\sigma)$, und ihre Umkehrung, das Logit, ist linear in den Merkmalen.
3. Der logistische Gradient ist $X^{\top}(p - y)$, dieselbe Form wie bei den kleinsten Quadraten; die Hesse-Matrix $X^{\top}WX$ macht die Verlustfunktion konvex.
4. Ein Koeffizient multipliziert die Odds mit $e^{\beta_j}$. Berichten Sie das Odds Ratio mit seinem Intervall und die Wahrscheinlichkeiten vorher und nachher, nie eine prozentuale Änderung des Risikos.
5. Der Testfehler ist Rauschen plus quadrierter Bias plus Varianz; nur der Kompromiss zwischen den beiden letzten hängt von Ihren Modellierungsentscheidungen ab.
6. Jede Statistik des Testdatensatzes, die das Modell erreicht, ist ein Leak: Skalierung und Kodierungen innerhalb der Folds anpassen und bei datierten Daten die zeitliche Reihenfolge respektieren.
7. Ein Testergebnis hat eine Marge von ungefähr $\sqrt{\ln(2/\delta)/2n}$, daher können einige hundert Testzeilen nahe beieinanderliegende Modelle nicht trennen.

Glossar

Likelihood-Funktion (likelihood)

Die Wahrscheinlichkeit der beobachteten Daten, betrachtet als Funktion der Modellparameter.

Maximum-Likelihood-Schätzung (maximum likelihood estimation, MLE)

Die Wahl der Parameter, unter denen die beobachteten Daten am wahrscheinlichsten sind.

binäre Kreuzentropie (binary cross-entropy)

Auch Log-Loss genannt: minus die mittlere Log-Likelihood einer 0/1-Zielvariable; die Verlustfunktion, die die logistische Regression minimiert.

Sigmoidfunktion (sigmoid)

Die Funktion $1/(1+e^{-z})$, die einen reellen Score auf eine Wahrscheinlichkeit streng zwischen 0 und 1 abbildet.

Logit (log-odds)

Der Logarithmus von $p/(1-p)$, die Umkehrfunktion der Sigmoidfunktion; in der logistischen Regression linear in den Merkmalen.

Chancenverhältnis (Odds Ratio)

Der Faktor $e^{\beta_j}$, mit dem sich die Odds multiplizieren, wenn ein Merkmal um eine Einheit steigt.

Hesse-Matrix (Hessian)

Die Matrix der zweiten Ableitungen der Verlustfunktion; hier positiv semidefinit, daher die Konvexität.

Softmax

Wandelt K Scores durch Exponenzieren und Normieren in K Wahrscheinlichkeiten um.

Bias-Varianz-Dilemma (bias-variance trade-off)

Einfachere Modelle irren systematisch, flexible schwanken mit der Stichprobe; der Testfehler addiert beides zum Rauschen.

Kreuzvalidierung (cross-validation)

Mittelung des Fehlers über k Folds, von denen jeder einmal zurückgehalten wird, um den Fehler eines Verfahrens zu schätzen.

Data Leakage

Jede Information aus den Testdaten oder aus der Zukunft, die in das Training des Modells einfließt.

Target Encoding

Ersetzt eine Kategorie durch den Mittelwert der Zielvariable in dieser Kategorie; erzeugt ein Leak, wenn es nicht außerhalb des Folds berechnet wird.

Hoeffding-Ungleichung (Hoeffding's inequality)

Eine Schranke für die Abweichung zwischen gemessenem und wahrem Fehler, die nur eine beschränkte Verlustfunktion und unabhängige Zeilen voraussetzt.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

Zurück: Projektrahmen und kleinste QuadrateWeiter: Gradientenabstieg, Ridge und Lasso

1. EinführungKI-Winter, Arbeitsmarkt und Methode
2. WerkzeugeKaggle, GitHub, Python: die Werkzeuge
3. Sitzung 1Projektrahmen und kleinste Quadrate
4. Sitzung 2Maximum Likelihood und logistische Regression
5. Sitzung 3Gradientenabstieg, Ridge und Lasso
6. Sitzung 4Entscheidungsschwelle und reproduzierbares ML
7. HausaufgabeML-Projekt abstecken: der Projektsteckbrief
8. Sitzung 5Kernel, SVM und Entscheidungsbäume
9. Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
10. Sitzung 7SHAP, Fairness, PCA und Clustering
11. HausaufgabeEin einfaches Modell mit vollständiger Methode
12. Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
13. HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
14. Sitzung 9Ein Machine-Learning-Projekt verteidigen
15. ReferenzProjekt zum Kreditausfallscore
16. ReferenzAktienrenditen: XGBoost und Sentiment
17. ReferenzPython-Code für jedes ML-Modell
18. ReferenzDeep Learning, das Wesentliche
19. ReferenzML-Projekte mit offenen Daten nach Branche
20. ReferenzHandbuch für Daten- und KI-Fachleute
21. ReferenzData Engineering, SRE und Cloud
22. ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.