Den Rahmen abstecken, bevor man modelliert, dann die kleinsten Quadrate: Entscheidung, Data Leakage, Normalgleichungen und Konditionierung

Von der Entscheidung ausgehen, nicht von den Daten

Ein Modell lohnt sich nur, wenn jemand nach dem Lesen seiner Ausgabe anders handeln wird, deshalb wird die Entscheidung vor allem anderen aufgeschrieben.

Kommt eine CSV-Datei an, ist der erste Reflex, sie zu öffnen und nach Mustern zu suchen. Der Foliensatz verlangt die umgekehrte Reihenfolge. Zuerst schreibt man auf, wer entscheidet, zwischen welchen Optionen und was jede Art von Fehler kostet. Im durchgehenden Projekt genehmigt ein Kreditanalyst einen Antrag, lehnt ihn ab oder gibt ihn zur manuellen Prüfung weiter, ein Ausschuss legt die Schwelle fest, und einen Kunden anzunehmen, der dann ausfällt, ist teurer, als einen guten abzuweisen. Diese Asymmetrie bestimmt die Metrik und später im Kurs die Schwelle.

Ein vages Ziel wie Ausfall vorhersagen ist ein Verb und eine Spalte, keine Frage. Eine brauchbare Frage benennt vier Dinge: eine Entscheidung, ein Erfolgsmaß, einen Geltungsbereich (dieses Portfolio, dieser Monat) und eine verantwortliche Person, die auf die Antwort hin handelt. Fehlt eines der vier, optimiert das Projekt am Ende meist eine Zahl, die niemand liest.

Die Zielvariable ist eine datierte Spur

Die Zielvariable (target) ist die Spalte, die das Modell lernt, und sie ist nie das Phänomen selbst. In den Kreditdaten ist es Zahlungsverzug im Folgemonat, erfasst nach der bankeigenen Regel für Oktober 2005. Ein Kunde, der im Oktober zu spät zahlt und im November begleicht, zählt als Ausfall; ein Kunde, der im Dezember mit dem vollen Kreditrahmen verschwindet, nicht. Die Zielvariable ist also weder ein „schlechter Kunde“ noch ein Verlust in Euro. Die erste Frage an ein Fachteam lautet, wie die Spalte gebildet wurde, von wem und an welchem Datum ihr Wert bekannt ist.

Zurück zum Inhalt.

Zwei Metriken, die Accuracy-Falle und die Leitplanken

Eine Zahl hilft dem Datenteam, zwischen Modellen zu wählen, eine andere sagt dem Fachbereich, ob das Modell ausgerollt werden soll, und keine von beiden ist die Accuracy.

Der Foliensatz unterscheidet eine Modellmetrik von einer Geschäftsmetrik, weil sie unterschiedliche Leser haben. Die Modellmetrik (Log-Loss, AUC, Brier-Score) wird bei jedem Trainingslauf auf dem Validierungsdatensatz berechnet und muss auf kleine Verbesserungen reagieren. Die Geschäftsmetrik wird in verlorenen Euro oder abgelehnten guten Kunden ausgedrückt und nach dem Deployment vom Kreditausschuss gelesen. Beide werden vor dem ersten Trainingslauf im Entscheidungsprotokoll festgelegt.

Sobald eine Klasse selten ist, schmeichelt die Accuracy einem Modell, das nichts gelernt hat. Dieses konstante Modell ist trotzdem nützlich: Es wird das erste Referenzmodell (baseline) des Projekts, und sein Log-Loss, der der Entropie der Zielvariable entspricht, ist die Messlatte, die jedes echte Modell schlagen muss.

Leitplanken (guard-rails), vor dem Training festgelegt

• Was das Modell nie tut. Es lehnt keinen Kunden eigenständig ab, und es verwendet das Geschlecht nicht, weder direkt noch über eine Stellvertretervariable (Proxy). Der Familienstand bleibt als Eingabe erhalten, steht aber unter Prüfung: Er wird nur behalten, wenn er über die Zahlungshistorie hinaus Information liefert und wenn sich die Ungleichbehandlung, die er erzeugt, rechtfertigen lässt.
• Wer unterschreibt. Eine namentlich benannte Person genehmigt die Schwelle und das Deployment.
• Wann man aufhört. Die Abbruchkriterien (AUC unter dem Referenzmodell, Drift der Eingaben, eine begründete Beschwerde) werden aufgeschrieben, bevor das Modell existiert, damit man sie nicht passend zum Ergebnis zurechtbiegen kann.
• Regulierung. Die Bonitätsbewertung natürlicher Personen ist nach Anhang III, Nummer 5 Buchstabe b der KI-Verordnung der EU (AI Act, Verordnung (EU) 2024/1689) eine Hochrisiko-Anwendung, die Pflichten zu Dokumentation, menschlicher Aufsicht und Protokollierung mit sich bringt.

Zurück zum Inhalt.

Data Leakage: stichtagsgenaue Verknüpfung, eingefrorene Aufteilung, Leakage-Karte

Ein Modell, das Informationen aus der Zeit nach dem Vorhersagedatum gesehen hat, glänzt in der Entwicklung und scheitert im Betrieb, deshalb werden die Daten in einer strikten Reihenfolge aufbereitet.

Der Foliensatz stellt das Projekt eher als Schleife denn als Pipeline dar: Eine Evaluation kann Data Leakage aufdecken, also Information, die zum Zeitpunkt der Vorhersage noch nicht bekannt wäre; das Leak verändert die Datenkarte, die Karte verändert die Frage. Jede Runde wird in einem Entscheidungsprotokoll festgehalten, mit dem Datum, der verworfenen Alternative, der Begründung und einer Zahl, die ein Befehl reproduziert. Innerhalb einer Runde ist die Reihenfolge der Datenschritte jedoch fest.

Die Datenschritte, der Reihe nach

1. Quellen. Jede Tabelle mit ihrer Lizenz und der genauen Definition jeder Spalte auflisten.
2. Stichtagsgenaue Verknüpfung. Um zum Datum $t$ vorherzusagen, behält die stichtagsgenaue Verknüpfung (point-in-time join) nur die Einträge mit Datum $t' \le t$. In den Kreditdaten enden die Merkmale (Features) Ende September 2005, und die Zielvariable betrifft Oktober, also ist alles, was später bekannt ist, verboten.
3. Eingefrorene Aufteilung. In Trainings-, Validierungs- und Testdatensatz aufteilen, stratifiziert nach der Zielvariable, damit jeder Teil 22,1 % Ausfälle behält, und die Aufteilung mit einem Zufalls-Seed und dem SHA-256-Hash der Datei fixieren. Der Testdatensatz wird ein einziges Mal geöffnet, beim Meilenstein.
4. Leakage-Karte. Die Leakage-Karte (leakage map) hat eine Zeile pro Spalte: wann sie bekannt ist, ob sie verwendet werden darf und warum. Sie entsteht aus den Spaltendefinitionen und kann daher erstellt werden, bevor man die Daten ansieht.
5. Modell. Erst jetzt, und das erste Modell ist eine Konstante.

Zurück zum Inhalt.

Die Methode der kleinsten Quadrate und die Normalgleichungen

Gesucht ist die Gerade, die die Summe der quadrierten vertikalen Abstände so klein wie möglich macht, und setzt man die Steigung dieser Summe auf null, erhält man ein kleines lineares Gleichungssystem.

Schreiben Sie die $n$ Beobachtungen als Vektor $y$ und die Variablen als Matrix $X \in \R^{n\times p}$, deren erste Spalte nur Einsen enthält, für den Achsenabschnitt. Das Modell lautet $y = X\beta + \varepsilon$, und die gewöhnliche Kleinste-Quadrate-Schätzung (ordinary least squares, OLS) wählt das $\beta$, das die quadrierte Norm des Residuums minimiert.

Das Ausmultiplizieren nutzt nur zwei Tatsachen: Die Transponierte eines Produkts kehrt die Reihenfolge um, und ein Skalar ist gleich seiner eigenen Transponierten, sodass sich die beiden gemischten Terme zusammenfassen lassen. Das Ableiten nutzt zwei Regeln: Der Gradient von $\beta\T b$ ist $b$, und der Gradient von $\beta\T A\beta$ ist $2A\beta$, wenn $A$ symmetrisch ist.

Diese Normalgleichungen (normal equations) entstehen, wenn man den Gradienten null setzt, und ein verschwindender Gradient genügt, weil $J$ konvex ist: Seine Hesse-Matrix $2X\T X$ ist positiv semidefinit (der Beweis folgt mit der konvexen Optimierung). $X\T X$ ist genau dann invertierbar, wenn sich keine Spalte von $X$ aus den anderen Spalten zusammensetzen lässt, was zum Beispiel denselben Betrag in Euro und in Tausend Euro ausschließt.

Durchgerechnetes Beispiel: fünf Kunden

Der Foliensatz verwendet fünf veranschaulichende Kunden: Dauer der Kundenbeziehung $x = (1, 2, 3, 4, 5)$ Jahre und durchschnittlicher Saldo $y = (2, 3, 5, 4, 6)$ in Tausend Euro. Eine von Hand gezogene Gerade $\hat y = 1 + x$ hinterlässt eine Quadratsumme von 2,0. Geht es mit einer anderen Geraden besser?

Schritt für Schritt

1. Vier Summen. $n = 5$, $\sum x_i = 15$, $\sum x_i^2 = 55$, $\sum y_i = 20$, $\sum x_i y_i = 69$, also hat $X\T X$ die Zeilen $(5, 15)$ und $(15, 55)$, und $X\T y = (20, 69)$.
2. Zwei Gleichungen. $5\beta_0 + 15\beta_1 = 20$ und $15\beta_0 + 55\beta_1 = 69$. Zieht man das Dreifache der ersten von der zweiten ab, bleibt $10\beta_1 = 9$.
3. Lösung. $\hat\beta_1 = 0.9$, dann $\hat\beta_0 = (20 - 13.5)/5 = 1.3$. Die Gerade $\hat y = 1.3 + 0.9x$ hinterlässt 1,9, weniger als 2,0.
4. Probe. Bei $(1, 1)$ ist der Gradient $(0, 2)$, nicht null: Die von Hand gezogene Gerade war nicht das Minimum.

Zurück zum Inhalt.

Die angepassten Werte sind eine Projektion: Hutmatrix, Xᵀe = 0, R²

Die beste Gerade ist der Punkt der von den Spalten aufgespannten Ebene, der den Daten am nächsten liegt, deshalb steht der verbleibende Fehler im rechten Winkel zu dieser Ebene.

Setzt man $\hat\beta$ in $\hat y = X\hat\beta$ ein, erscheint vor $y$ eine Matrix, die Hutmatrix (hat matrix), so genannt, weil sie $y$ in $\hat y$ verwandelt, also $y$ den Hut aufsetzt. Sie hat die Größe $n \times n$, während $X\T X$ nur $p \times p$ ist.

Die beiden Identitäten rechts besagen, dass $H$ eine Orthogonalprojektion (orthogonal projection) ist: Zweimal projizieren ändert nichts, und die Projektion ist nicht schief. Jedes $X\beta$ liegt im Spaltenraum von $X$, das beobachtete $y$ dagegen nicht. Der nächstgelegene Punkt dieses Raums ist der Fußpunkt des Lots, $\hat y$, und das Residuum $e = y - \hat y$ steht senkrecht auf jeder Spalte. Das ist die Bedingung des verschwindenden Gradienten, geometrisch gelesen.

Die zweite Formel liefert einen Beweis für die Kleinste-Quadrate-Lösung ohne Ableitungen: Der Abstand zu jeder anderen Geraden ist das Residuum plus ein Stück innerhalb der Ebene, und Pythagoras lässt den gemischten Term verschwinden.

Mit denselben Zahlen geht Pythagoras auf die Dezimalstelle genau auf: $\lVert y\rVert^2 = 90 = 88.1 + 1.9$, und für die von Hand gezogene Gerade $2.0 = 1.9 + 0.1$. Die Spur von $H$ ist gleich $p = 2$, eine schnelle Plausibilitätsprüfung.

R² braucht den Achsenabschnitt

Bei den fünf Kunden hinterlässt die Vorhersage des Mittelwerts 4 für alle $\text{SST} = 10$, die Gerade hinterlässt $\text{SSE} = 1.9$, also beträgt das Bestimmtheitsmaß (coefficient of determination, R²) $R^2 = 0.81$. Die Zerlegung der Gesamtvarianz beruht darauf, dass sich die Residuen zu null summieren, was nur garantiert ist, wenn die Einsenspalte im Modell ist. Ohne sie kann die übliche Formel negativ werden: Der Foliensatz zeigt eine Anpassung an zwei Punkte durch den Ursprung, die $R^2 = -3$ ergibt. Ein negatives R² in einem Bericht bedeutet meist einen vergessenen Achsenabschnitt oder einen Testwert, der nach einem Leak berechnet wurde.

Zurück zum Inhalt.

Konditionszahl und SVD: warum man XᵀX nie invertiert

Computer runden jede Zahl, und die Bildung von XᵀX quadriert, wie stark diese Rundungsfehler anwachsen können, deshalb lösen Bibliotheken das Kleinste-Quadrate-Problem auf anderem Weg.

Die Singulärwertzerlegung (singular value decomposition, SVD) schreibt $X = U\Sigma V\T$, wobei $U$ orthonormale Spalten hat, die dieselbe Ebene aufspannen wie $X$, $\Sigma$ die Singulärwerte $\sigma_1 \ge \dots \ge \sigma_p > 0$ enthält und $V$ eine Drehung der Koeffizienten ist. In dieser Basis braucht die Lösung keine Matrixinverse, nur Divisionen, und die Hutmatrix wird zu $UU\T$.

Jede Komponente von $y$ entlang $u_j$ wird durch $\sigma_j$ geteilt, also verstärkt ein kleiner Singulärwert alles, was in seine Richtung fällt, Rauschen eingeschlossen. Die Konditionszahl (condition number) $\kappa$ begrenzt diese Verstärkung: Ein relativer Fehler in den Daten kann auf den Koeffizienten um bis zu einem Faktor $\kappa$ anwachsen. Die Bildung von $X\T X$ quadriert sie. Bei $\kappa = 10^4$ arbeitet die Maschine mit $10^8$, was bereits die Hälfte der signifikanten Stellen einer Gleitkommazahl doppelter Genauigkeit verbraucht. Deshalb geht np.linalg.lstsq über die SVD und andere Löser über QR, nie über $(X\T X)^{-1}$.

Die praktische Antwort lautet: die Spalten standardisieren und np.linalg.cond(X) festhalten, bevor man ein Modell abgibt. In der Übung liegt $\kappa(X)$ auf dem rohen California-Housing-Datensatz bei etwa $2\cdot 10^5$, nach der Standardisierung fällt es auf etwa 7, und die drei Implementierungen stimmen bis auf $10^{-13}$ überein.

Multikollinearität

Sind zwei Spalten fast parallel, liegt Multikollinearität (multicollinearity) vor: Die Richtung, die sie trennt, ist in den Daten kaum vorhanden, ihr Singulärwert ist winzig, und die Varianz $\sigma^2/\sigma_j^2$ entlang dieser Richtung explodiert. Der Foliensatz ergänzt die fünf Kunden um ein zweites, leicht verrauschtes Maß der Beziehungsdauer, das mit dem ersten zu 0,998 korreliert. Die Koeffizienten springen auf $-1.29$ und $+2.26$, mit Standardfehlern nahe 5, und $\kappa(X)$ steigt von 8,4 auf 85. Ihre Summe, 0,97, bleibt nahe an der ursprünglichen Steigung 0,9, und die Vorhersage für Kunde 3 bewegt sich nur von 4,00 auf 4,23: Die Daten legen den Gesamteffekt fest, nicht seine Aufteilung. Abhilfe schaffen das Entfernen einer Spalte oder die Ridge-Regularisierung, die zu jedem $\sigma_j^2$ ein $\lambda$ addiert.

import numpy as np

x = np.array([1, 2, 3, 4, 5.])
y = np.array([2, 3, 5, 4, 6.])
X = np.column_stack([np.ones(5), x])

# Weg über die SVD: Divisionen durch Singulärwerte, keine Inverse
U, s, Vt = np.linalg.svd(X, full_matrices=False)
beta = Vt.T @ ((U.T @ y) / s)      # [1.3, 0.9]
e = y - X @ beta
print(X.T @ e)                     # ~[0, 0]: Residuum orthogonal
print(s[0] / s[-1])                # Konditionszahl, etwa 8,4

Zurück zum Inhalt.

Das Wichtigste in Kürze

1. Schreiben Sie die Entscheidung, die verantwortliche Person und die Kosten jedes Fehlers auf, bevor Sie die Daten anfassen; Zielvariable, Metrik und Schwelle ergeben sich daraus.
2. Die Zielvariable ist ein datierter Eintrag, den eine Regel erzeugt, nicht das Phänomen selbst, und die Accuracy führt in die Irre, sobald eine Klasse selten ist.
3. Schützen Sie die Evaluation in fester Reihenfolge: stichtagsgenaue Verknüpfung, per Seed und Datei-Hash eingefrorene Aufteilung, Leakage-Karte, dann ein konstantes Referenzmodell.
4. Die Methode der kleinsten Quadrate löst die Normalgleichungen $X\T X\hat\beta = X\T y$, und geometrisch ist $\hat y = Hy$ eine Orthogonalprojektion mit $X\T e = 0$.
5. R² zerlegt die Varianz nur dann sauber, wenn das Modell den Achsenabschnitt enthält; ein negatives R² deutet meist auf eine fehlende Konstante oder ein Leak hin.
6. Prüfen Sie $\kappa(X)$ vor der Abgabe, standardisieren Sie die Spalten und lösen Sie über SVD oder QR, nie über $(X\T X)^{-1}$.

Glossar

gewöhnliche Kleinste-Quadrate-Schätzung (ordinary least squares, OLS)

Schätzung eines linearen Modells durch Minimierung der Summe der quadrierten Residuen.

Normalgleichungen (normal equations)

Das $p \times p$-System $X\T X\hat\beta = X\T y$, das die Kleinste-Quadrate-Lösung erfüllt.

Hutmatrix (hat matrix)

$H = X(X\T X)^{-1}X\T$, die die Beobachtungen $y$ auf die angepassten Werte $\hat y$ abbildet.

Orthogonalprojektion (orthogonal projection)

Eine lineare Abbildung mit $H^2 = H = H\T$, die einen Vektor auf den nächstgelegenen Punkt eines Unterraums abbildet.

Residuum

Der Abstand $e = y - \hat y$ zwischen beobachteten und angepassten Werten; bei der Kleinste-Quadrate-Schätzung ist er orthogonal zu den Spalten von $X$.

Bestimmtheitsmaß (coefficient of determination, R²)

Anteil der Varianz um den Mittelwert, den das Modell erklärt, $1 - \text{SSE}/\text{SST}$.

Singulärwertzerlegung (singular value decomposition, SVD)

Faktorisierung $X = U\Sigma V\T$ in orthonormale Spalten, Singulärwerte und eine Drehung.

Konditionszahl (condition number)

Verhältnis des größten zum kleinsten Singulärwert; sie begrenzt, wie stark relative Fehler verstärkt werden können.

Multikollinearität (multicollinearity)

Nahezu lineare Abhängigkeit zwischen Spalten, die die Varianz einzelner Koeffizienten aufbläht.

Data Leakage

Information, die zum Zeitpunkt der Vorhersage nicht verfügbar ist, aber in die Trainingsdaten gelangt und die Werte aufbläht.

stichtagsgenaue Verknüpfung (point-in-time join)

Ein Join, der für eine Vorhersage zum Datum $t$ nur Einträge behält, die zu $t$ oder früher bekannt waren.

Leakage-Karte (leakage map)

Eine Tabelle mit einer Zeile pro Spalte, die angibt, wann sie bekannt ist, ob sie verwendet werden darf und warum.

Referenzmodell (baseline)

Das einfachste Vergleichsmodell, hier eine konstante Vorhersage, das jedes nützliche Modell schlagen muss.

Leitplanken (guard-rails)

Grenzen dessen, was das Modell tun darf, vor dem Training festgelegt: ausgeschlossene Variablen, unterschreibende Person, Abbruchkriterien.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

Zurück: Kaggle, GitHub, Python: die WerkzeugeWeiter: Maximum Likelihood und logistische Regression

1. EinführungKI-Winter, Arbeitsmarkt und Methode
2. WerkzeugeKaggle, GitHub, Python: die Werkzeuge
3. Sitzung 1Projektrahmen und kleinste Quadrate
4. Sitzung 2Maximum Likelihood und logistische Regression
5. Sitzung 3Gradientenabstieg, Ridge und Lasso
6. Sitzung 4Entscheidungsschwelle und reproduzierbares ML
7. HausaufgabeML-Projekt abstecken: der Projektsteckbrief
8. Sitzung 5Kernel, SVM und Entscheidungsbäume
9. Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
10. Sitzung 7SHAP, Fairness, PCA und Clustering
11. HausaufgabeEin einfaches Modell mit vollständiger Methode
12. Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
13. HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
14. Sitzung 9Ein Machine-Learning-Projekt verteidigen
15. ReferenzProjekt zum Kreditausfallscore
16. ReferenzAktienrenditen: XGBoost und Sentiment
17. ReferenzPython-Code für jedes ML-Modell
18. ReferenzDeep Learning, das Wesentliche
19. ReferenzML-Projekte mit offenen Daten nach Branche
20. ReferenzHandbuch für Daten- und KI-Fachleute
21. ReferenzData Engineering, SRE und Cloud
22. ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.