~/teaching · machine learning · sitzung 6, mittwoch, 16. dezember 2026

Random Forests, Gradient Boosting und XGBoost, dann der ehrliche Vergleich zweier Modelle

Warum das Mitteln von Bäumen funktioniert, wie Boosting einen Gradientenabstieg ausführt und wann ein Vorsprung von 0,01 AUC nichts bedeutet.

Sitraka Forler, Centrale Méditerranée

Stand 16. Oktober 2026 · etwa 16 Minuten

Zusammenfassung

Dieser Foliensatz ist Sitzung 6 des Kurses Machine Learning an der Centrale Méditerranée (Schwerpunkt DDEFI, 2026-2027). Er setzt dort an, wo die Entscheidungsbäume aufgehört haben: Ein tiefer Baum ist auf seinen Trainingszeilen genau und überall sonst instabil. Der Vormittag behebt diese Instabilität auf zwei entgegengesetzte Weisen. Ein Random Forest lässt viele Bäume nebeneinander wachsen und mittelt sie; Boosting lässt sie nacheinander wachsen, jeden angepasst an das, was die vorherigen falsch gemacht haben.

Jeder Mechanismus wird an der Tafel hergeleitet und dann an kleinen Zahlen geprüft: die 63,2 % der Zeilen in einer Bootstrap-Ziehung, die Varianz eines Mittelwerts korrelierter Bäume, das Pseudo-Residuum des Log-Loss, der optimale Blattwert und der Split-Gewinn von XGBoost. Der letzte Teil stellt die Frage, der jedes Projekt irgendwann begegnet: Der Herausforderer schlägt das Referenzmodell (baseline) um 0,01 AUC: Ist das ein Ergebnis oder bloß Glück mit den Folds? Die verschachtelte Kreuzvalidierung und der korrigierte Resampling-t-Test von Nadeau und Bengio beantworten sie.

Nach der Lektüre können Sie erklären, warum das Dekorrelieren von Bäumen mehr bringt als das Hinzufügen weiterer, eine Variablenwichtigkeit lesen, ohne sich täuschen zu lassen, Gradient Boosting in wenigen Zeilen Python schreiben und zwei Modelle mit einer Regel vergleichen, die vor den Ergebnissen feststeht. Das durchgehende Beispiel ist der Kreditausfall-Datensatz von Yeh und Lien (2009), der im ganzen Kurs verwendet wird.

Die Folien

Random Forests, Boosting und der ehrliche Vergleich

Sitzung 6, Mittwoch, 16. Dezember 2026. Machine Learning, Centrale Méditerranée, Schwerpunkt DDEFI, 2026-2027. Die Folien gibt es auf Französisch und Englisch; der Link öffnet die englische Fassung.

Folien öffnen (Passwort vom Dozenten)

Der Foliensatz selbst ist für die Studierenden des Kurses verschlüsselt; diese Seite fasst ihn für alle zusammen.

Die Kursseite · Aufmerksamkeit und Transformer, Schritt für Schritt

Aufbau des Foliensatzes

Bootstrap und Bagging. Die Trainingszeilen mit Zurücklegen neu ziehen, und warum ein Mittelwert instabiler Bäume eine geringere Varianz hat.
Random Forests. Die Ziehung von Kandidatenvariablen an jedem Knoten, die die Korrelation zwischen den Bäumen senkt, der Out-of-Bag-Fehler und die Einstellungen, auf die es ankommt.
Variablenwichtigkeit. Unreinheitsbasierte Wichtigkeit gegen Permutationswichtigkeit, und warum Erstere verzerrt ist.
Gradient Boosting. AdaBoost als Vorgeschichte, dann Friedmans Boosting als Gradientenabstieg über die Vorhersagen, von Hand an drei Punkten durchgerechnet.
XGBoost und seine Verwandten. Entwicklung zweiter Ordnung, regularisierte Blätter, Histogramme und fehlende Werte, mit LightGBM und CatBoost auf einer Folie.
Übung: Boosting von Grund auf. Ein kurzer Regressor, der scikit-learn reproduziert, und ein XGBoost, dessen Zahl der Bäume durch frühes Stoppen festgelegt wird.
Der ehrliche Vergleich. Verschachtelte Kreuzvalidierung, die Varianz einer Kreuzvalidierung, der korrigierte gepaarte Test und multiples Testen.
Die Champion-Regel. Die Entscheidungsregel vor der Tabelle aufschreiben, die schlimmsten Fehler lesen und einen kleinen Gewinn gegen seine Kosten abwägen.

Bagging: warum ein Mittelwert von Bäumen weniger Varianz hat

Trainiert man viele Bäume auf leicht unterschiedlichen Kopien der Daten und mittelt sie, heben sich die Schwankungen der einzelnen Bäume teilweise auf, solange nicht alle dieselben Fehler machen.

Der erwartete quadratische Fehler eines Modells zerfällt in Rauschen, quadrierten Bias und Varianz. Ein tiefer, unbeschnittener Baum hat einen kleinen Bias, weil er den Daten eng folgt, und eine große Varianz: Entfernt man ein paar Zeilen, ändert sich der erste Split und mit ihm der ganze Baum. Breiman (1996) nannte solche Verfahren instabil und zeigte, dass gerade sie vom Mitteln profitieren. Ein Mittelwert behält den Bias seiner Mitglieder und wirkt nur auf die Varianz.

Um aus einem einzigen Datensatz viele Bäume zu gewinnen, nutzt Bagging (Bootstrap Aggregating) den Bootstrap von Efron (1979): $n$ Zeilen mit Zurücklegen aus den $n$ Trainingszeilen ziehen, einen tiefen Baum auf dieser Ziehung trainieren, das $B$ -mal wiederholen und die Vorhersagen mitteln. Eine gegebene Zeile wird von einer Ziehung mit Wahrscheinlichkeit $1 - 1/n$ verfehlt, von allen $n$ Ziehungen also mit Wahrscheinlichkeit $(1 - 1/n)^n$ , was gegen $e^{-1}$ strebt.

\Big(1 - \frac{1}{n}\Big)^{n} \longrightarrow e^{-1} \approx 0.368, \qquad 1 - e^{-1} \approx 0.632

(1)

Auf den 18.000 Trainingszeilen des Kurses enthält jede Ziehung daher etwa 11.378 verschiedene Zeilen, und die übrigen 36,8 % sind für diesen Baum Out-of-Bag. Die Schlüsselformel des Abschnitts ist die Varianz eines Mittelwerts von $B$ Bäumen mit jeweils der Varianz $\sigma^2$ und der paarweisen Korrelation $\rho$ (Hastie, Tibshirani und Friedman, 2009, Gleichung 15.1).

\operatorname{Var}\Big(\frac{1}{B}\sum_{b=1}^{B} \hat f_b(x)\Big) = \rho\,\sigma^{2} + \frac{1 - \rho}{B}\,\sigma^{2}

(2)

Der Beweis ist ein Abzählargument: Die Varianz einer Summe ist die Summe aller Kovarianzen, es gibt $B$ Diagonalterme mit dem Wert $\sigma^2$ und $B(B-1)$ Kreuzterme mit dem Wert $\rho\sigma^2$ , und alles wird durch $B^2$ geteilt. Der zweite Term schwindet, je mehr Bäume hinzukommen; der erste, $\rho\sigma^2$ , ist eine Untergrenze, die auch eine noch so große Zahl von Bäumen nicht verschiebt.

**Tabelle 1:** Varianz des Mittelwerts von $B$ Bäumen mit $\sigma^2 = 1$ . Unabhängige Bäume verbessern sich immer weiter; korrelierte Bäume bleiben nahe ihrer Untergrenze $\rho$ stehen.
Bäume $B$	$\rho = 0.3$	$\rho = 0.1$	$\rho = 0$
10	0,370	0,190	0,100
100	0,307	0,109	0,010
1.000	0,3007	0,1009	0,001

Probe für zehn Bäume und $\rho = 0.3$ mit der Abzählung: Zehn Diagonalterme und neunzig Kreuzterme ergeben $(10 + 90 \times 0.3)/100 = 0.37$ , dasselbe wie $0.3 + 0.7/10$ . Der Schritt von 100 auf 1.000 Bäume senkt die Varianz um 0,006, eine Senkung von $\rho$ von 0,3 auf 0,1 dagegen um 0,2. Die Lehre für die Praxis: zuerst dekorrelieren.

Zurück zum Inhalt.

Random Forests: die Bäume dekorrelieren

Ein Random Forest ist Bagging plus ein Kniff: Bei jedem Split darf ein Baum nur unter wenigen zufällig gezogenen Variablen wählen, sodass die Bäume einander nicht mehr gleichen.

In den Kreditdaten dominiert eine Variable, der Rückzahlungsstatus des letzten Monats. Einfaches Bagging setzt sie an die Wurzel fast jedes Baums, die Bäume ähneln einander, $\rho$ ist hoch, und die Varianz stößt an ihre Untergrenze. Breimans Random Forest von 2001 bietet jedem Knoten nur $m$ aus $p$ gezogene Variablen an. Mit der Voreinstellung von scikit-learn für Klassifikation, $m = \lfloor\sqrt{23}\rfloor = 4$ , steht die dominante Variable an einer gegebenen Wurzel nur in etwa 17 % der Fälle zur Verfügung. Jeder Baum wird etwas schlechter, der Wald wird besser. Mit $m = p$ ist man wieder beim Bagging.

Der Algorithmus

Neu ziehen. Für jeden der $B$ Bäume eine Bootstrap-Stichprobe der Trainingszeilen ziehen.
Ohne Beschneiden wachsen lassen. An jedem Knoten $m$ Kandidatenvariablen ziehen und nach der besten von ihnen splitten; den Baum tief wachsen lassen, damit sein Bias gering bleibt.
Mitteln. Mit dem Mittelwert der Bäume vorhersagen; scikit-learn mittelt Wahrscheinlichkeiten, Breimans ursprüngliche Regel nimmt eine Mehrheitsentscheidung.

Breiman bewies außerdem, dass der Fehler des Waldes mit wachsendem $B$ konvergiert: Mehr Bäume kosten Zeit und Speicher, nie Vorhersagegüte. Die Zahl der Bäume ist daher keine Einstellung, die zu Überanpassung führt; man erhöht sie, bis sich der Out-of-Bag-Fehler (out-of-bag error) nicht mehr bewegt. Dieser Fehler ist eine kostenlose Validierung: Jede Zeile wird nur von den Bäumen vorhergesagt, deren Bootstrap-Ziehung sie verfehlt hat, grob 184 von 500 Bäumen.

\mathrm{Err}_{\mathrm{OOB}} = \frac{1}{n}\sum_{i=1}^{n} L\Big(y_i,\ \frac{1}{|\mathcal{B}_i|}\sum_{b \in \mathcal{B}_i} \hat f_b(x_i)\Big)

(3)

max_features wirkt auf $\rho$ und ist meist die einflussreichste Einstellung (Probst, Wright und Boulesteix, 2019).
min_samples_leaf glättet die Wahrscheinlichkeiten: Bei Blättern mit einer einzigen Zeile antwortet jeder Baum 0 oder 1.
n_estimators wirkt nur auf den verschwindenden Term; man legt es anhand der Out-of-Bag-Kurve fest, statt es zu tunen.
Die Wahrscheinlichkeiten eines Waldes meiden tendenziell 0 und 1, prüfen Sie also die Zuverlässigkeitskurve, bevor Sie sie mit einer Entscheidungsschwelle verwenden.

Zurück zum Inhalt.

Variablenwichtigkeit: MDI ist verzerrt, Permutation ist ehrlich

Der in einen Wald eingebaute Wichtigkeitswert bevorzugt Variablen mit vielen möglichen Schwellenwerten; messen Sie die Wichtigkeit besser, indem Sie auf zurückgehaltenen Daten eine Spalte durchmischen und beobachten, wie stark der Score fällt.

Die mittlere Abnahme der Unreinheit (mean decrease in impurity, MDI), das Attribut feature_importances_ von scikit-learn, summiert die Gini-Gewinne aller Splits nach Variable $j$ , gewichtet mit dem Anteil $p(t)$ der Zeilen, die den Knoten erreichen, und mittelt über die Bäume. Die Permutationswichtigkeit (permutation importance) stellt eine andere Frage: Wie viel Validierungs-AUC verliert man, wenn die Verbindung zwischen $j$ und der Zielvariable durch Durchmischen ihrer Spalte zerstört wird?

\mathrm{MDI}(j) = \frac{1}{B}\sum_{b=1}^{B}\ \sum_{t \in b,\ v(t) = j} p(t)\,\Delta i(t)

(4)

\mathrm{PI}(j) = s - \frac{1}{R}\sum_{r=1}^{R} s_{r,j}

(5)

In der Illustration des Foliensatzes fällt eine Validierungs-AUC von 0,780 bei drei Durchmischungen der Rückzahlungsvariable auf 0,742, 0,748 und 0,745, eine Wichtigkeit von $0.780 - 0.745 = 0.035$ . Strobl, Boulesteix, Zeileis und Hothorn (2007) erklärten, warum MDI in die Irre führt. Eine stetige Variable bietet Tausende von Schwellenwerten, und einer davon trennt die Klassen immer zufällig ein wenig; eine binäre Variable hat nur einen Versuch. MDI wird auf den Trainingszeilen berechnet, wo der untere Teil eines tiefen Baums nach Rauschen splittet und das als Gewinn verbucht. Und sie beschreibt, was der Baum benutzt hat, nicht, was tatsächlich Vorhersagekraft hat. In einer Simulation im Foliensatz landet eine reine Rauschspalte nach MDI auf Platz drei und nach Permutation nahe null.

Bemerkung (Die Grenze der Permutation). Korrelierte Variablen teilen sich das Verdienst: Die sechs monatlichen Rechnungsbeträge können einander ersetzen, also kostet das Durchmischen eines von ihnen wenig, und jeder wirkt unwichtig, während die Gruppe zählt. Permutieren Sie die Gruppe gemeinsam, fügen Sie eine Rauschspalte als Kontrolle hinzu, wiederholen Sie etwa zehn Durchmischungen und behandeln Sie jede Wichtigkeit unter zwei Standardabweichungen als null. SHAP-Werte übernehmen in der nächsten Sitzung.

Zurück zum Inhalt.

Gradient Boosting: Gradientenabstieg über die Vorhersagen

Boosting baut Bäume nacheinander, und jeder neue Baum wird darauf trainiert, die Fehler zu korrigieren, die die Summe der vorherigen Bäume noch macht.

AdaBoost (Freund und Schapire, 1997) gewichtete falsch klassifizierte Punkte neu, damit sich der nächste schwache Lerner auf sie konzentriert. Friedman, Hastie und Tibshirani (2000) deuteten das Verfahren als additives Modell, das für einen exponentiellen Verlust angepasst wird, und öffneten damit die Tür zu jeder Verlustfunktion. Friedman (2001) formulierte Boosting dann als den Gradientenabstieg des Kurses neu, mit einem Wechsel der Unbekannten: Statt eines Parametervektors ist die Unbekannte der Vektor der $n$ Vorhersagen $F(x_i)$ . Die Abstiegsrichtung für Kunde $i$ ist das Pseudo-Residuum (pseudo-residual).

r_{im} = -\left[\frac{\partial L\big(y_i, F(x_i)\big)}{\partial F(x_i)}\right]_{F = F_{m-1}}

(6)

Ein bloßer Abstiegsschritt würde nichts über einen Kunden außerhalb des Trainingsdatensatzes aussagen, also wird ein Regressionsbaum $h_m$ an die $r_{im}$ angepasst und mit einem kleinen Schritt $\nu$ addiert. Für den quadratischen Verlust ist das Pseudo-Residuum der einfache Fehler $y - F$ . Für den Log-Loss mit $p = \sigma(F)$ liefern die Kettenregel und $\sigma' = p(1-p)$ die Überraschung des Modells.

\frac{\partial L}{\partial F} = -y(1 - p) + (1 - y)\,p = p - y \quad\Longrightarrow\quad r = y - p

(7)

F_m = F_{m-1} + \nu\, h_m, \qquad F_M(x) = F_0 + \nu \sum_{m=1}^{M} h_m(x)

(8)

Durchgerechnetes Beispiel: drei Punkte, Stümpfe, ν = 0,5

Nehmen wir die Punkte $(1, 1)$ , $(2, 5)$ , $(3, 12)$ und den quadratischen Verlust. Startwert ist der Mittelwert, $F_0 = 6$ , also sind die ersten Residuen $-5, -1, 6$ . Ein Entscheidungsstumpf (ein Baum mit einem einzigen Split) vergleicht den Schnitt bei 1,5 (Quadratsumme 24,5) mit dem Schnitt bei 2,5 (Summe 8) und behält 2,5, mit der Vorhersage $-3$ links und 6 rechts. Die Hälfte davon wird addiert. In Runde 2 sind die Residuen $-3.5, 0.5, 3$ , und nun gewinnt der Schnitt bei 1,5 (3,125 gegen 8): Der zweite Baum splittet dort, wo der erste es nicht tat, weil er an dem arbeitet, was übrig bleibt.

**Tabelle 2:** Zwei Runden Gradient Boosting von Hand. Mittlerer quadratischer Fehler: 20,67 mit $F_0$ , 7,17 mit $F_1$ , 2,57 mit $F_2$ .
$x$	$y$	$F_0$	$r_1$	$h_1$	$F_1$	$r_2$	$h_2$	$F_2$
1	1	6	−5	−3	4,5	−3,5	−3,5	2,75
2	5	6	−1	−3	4,5	0,5	1,75	5,375
3	12	6	6	6	9	3	1,75	9,875

Drei Einstellungen hängen zusammen. Eine kleine Lernrate (learning rate, shrinkage) generalisiert besser, auf Kosten von mehr Bäumen: In der Simulation des Foliensatzes erreicht $\nu = 0.5$ seinen besten Validierungsverlust nach 5 Bäumen und verschlechtert sich dann, während $\nu = 0.05$ bei 87 Bäumen in einem breiten Tal den Tiefpunkt erreicht. Die Bäume bleiben kurz, weil die Tiefe die Ordnung der Wechselwirkungen festlegt und Boosting den Bias verringert, indem es schwache Lerner addiert, statt die Varianz durch das Mitteln starker zu verringern: Hastie et al. empfehlen 4 bis 8 Blätter. Die Zahl der Bäume ergibt sich dann durch frühes Stoppen (early stopping) auf einem Validierungsdatensatz.

Zurück zum Inhalt.

XGBoost: ein Newton-Schritt pro Blatt

XGBoost ist dasselbe Boosting mit einer besseren lokalen Näherung der Verlustfunktion, einer Strafe auf die Blätter und technischen Kniffen, die es schnell und robust gegenüber fehlenden Werten machen.

Chen und Guestrin (2016) ersetzen den Verlust jedes Kunden durch seine Taylor-Entwicklung zweiter Ordnung um das aktuelle Modell, mit Gradient $g_i$ und Krümmung $h_i$ (für den Log-Loss $p_i - y_i$ und $p_i(1 - p_i)$ ), und fügen eine Strafe $\gamma$ pro Blatt sowie $\lambda$ auf die quadrierten Blattwerte hinzu. Da ein Baum jedem Kunden in Blatt $j$ denselben Wert $w_j$ gibt, zerfällt die Zielfunktion in eine Parabel pro Blatt, mit einem Minimum in geschlossener Form.

\mathcal{L}^{(m)} \approx \sum_{j=1}^{T}\Big[G_j\, w_j + \tfrac12\,(H_j + \lambda)\, w_j^{2}\Big] + \gamma T, \qquad G_j = \sum_{i \in I_j} g_i,\ H_j = \sum_{i \in I_j} h_i

(9)

w_j^{\star} = -\frac{G_j}{H_j + \lambda}

(10)

\text{Gewinn} = \frac12\left[\frac{G_L^{2}}{H_L + \lambda} + \frac{G_R^{2}}{H_R + \lambda} - \frac{(G_L + G_R)^{2}}{H_L + H_R + \lambda}\right] - \gamma

(11)

Durchgerechnetes Beispiel: vier Kunden, λ = 1, γ = 0

Gradienten. Zwei Ausfälle, vorhergesagt mit 0,6 und 0,3, zwei gute Kunden mit 0,4 und 0,2: $g = (-0.4, -0.7, 0.4, 0.2)$ und $h = (0.24, 0.21, 0.24, 0.16)$ .
Ein Blatt. $G = -0.5$ , $H = 0.85$ , also $w^{\star} = 0.5/1.85 = 0.270$ , und alle steigen ein wenig, weil die beiden verfehlten Ausfälle schwerer wiegen.
Zwei Blätter. Ausfälle getrennt: $w_L^{\star} = 1.1/1.45 = 0.759$ , und für die guten Kunden $w_R^{\star} = -0.6/1.40 = -0.429$ , gegenüber $-1.5$ ohne $\lambda$ , was zeigt, wie die Strafe kleine Blätter schrumpft.
Gewinn. $\tfrac12(0.834 + 0.257 - 0.135) = 0.478$ , weit über den 0,000 und 0,095 der beiden Splits, die einen einzelnen Kunden isolieren. Mit $\gamma = 0.5$ käme kein Split durch: Das Beschneiden ist ins Wachstum eingebaut.

Für den quadratischen Verlust ist $h_i = 1$ , und ohne $\lambda$ ist das optimale Blatt der Mittelwert seiner Residuen, genau Friedmans Version. Zwei technische Ergänzungen zählen in der Praxis: Schwellenwerte, die auf Quantil-Histogrammen (standardmäßig 256 Bins) statt auf jedem einzelnen Wert gesucht werden, und eine gelernte Standardrichtung für fehlende Werte an jedem Split. LightGBM (2017) lässt Bäume blattweise wachsen, um schneller zu sein; CatBoost (2018) verwendet symmetrische Bäume und geordnete Zielstatistiken für kategoriale Variablen. Gut eingestellt, landen die drei meist nah beieinander.

Zurück zum Inhalt.

Verschachtelte Kreuzvalidierung: innen wählen, außen messen

Wer die besten Einstellungen auf einigen Folds auswählt und dann den Score auf denselben Folds angibt, meldet die glücklichste Einstellung, nicht die wahre Qualität des Modells.

Angenommen, zwanzig Einstellungen haben alle eine wahre AUC von 0,770, und jede kreuzvalidierte Schätzung ist verrauscht, mit einer Standardabweichung von 0,005. Die beste zu behalten, heißt, die glücklichste zu wählen: Das Maximum von zwanzig normalverteilten Ziehungen liegt im Mittel 1,87 Standardabweichungen über dem Mittelwert, also liegt der berichtete Score nahe 0,779 für ein Modell, das 0,770 wert ist. Varma und Simon (2006) sowie Cawley und Talbot (2010) zeigten, dass diese Selektionsverzerrung so groß sein kann wie der Abstand zwischen zwei Algorithmen.

Die Gegenmaßnahme trennt das Wählen vom Messen. Eine äußere Schleife teilt die Daten in fünf Folds; für jeden wählt eine vollständige innere Kreuzvalidierung auf den anderen vier die Hyperparameter, der Gewinner wird auf diesen vier neu trainiert und ein einziges Mal auf dem zurückgehaltenen Fold bewertet. Das ist die verschachtelte Kreuzvalidierung (nested cross-validation). Die fünf Scores messen das Verfahren „suchen, dann trainieren“, nicht ein festes Modell. Frühes Stoppen ist eine Einstellung wie die anderen und findet in der inneren Schleife statt.

from sklearn.model_selection import GridSearchCV, StratifiedKFold, cross_val_score

inner = StratifiedKFold(3, shuffle=True, random_state=1)   # zum Auswählen
outer = StratifiedKFold(5, shuffle=True, random_state=1)   # zum Messen
search = GridSearchCV(model, grid, cv=inner, scoring="roc_auc")
scores = cross_val_score(search, X, y, cv=outer, scoring="roc_auc")
# fünf ehrliche AUCs; für das ausgelieferte Modell search auf allen Zeilen neu anpassen

Eine zweite Falle steckt in der Streuung dieser Scores. Bei fünf Folds teilen sich zwei Trainingsdatensätze 75 % ihrer Zeilen, also sind die Scores der Folds korreliert. Für ihren Mittelwert gilt dieselbe Varianzformel wie für den Wald: $\sigma^2/K$ plus eine Kovarianz-Untergrenze $\gamma$ . Bengio und Grandvalet (2004) bewiesen, dass es keinen erwartungstreuen Schätzer dieser Varianz aus einer einzigen Kreuzvalidierung gibt. Mit $\sigma^2 = 1$ und $\gamma = 0.3$ beträgt die wahre Varianz des Mittelwerts 0,44, während das naive $s^2/K$ 0,2 angibt.

\operatorname{Var}\big(\bar e\big) = \frac{\sigma^{2}}{K} + \frac{K - 1}{K}\,\gamma

(12)

Zurück zum Inhalt.

Der korrigierte Resampling-t-Test von Nadeau und Bengio

Weil sich die Folds überlappen, ist der übliche gepaarte t-Test viel zu selbstsicher; die Korrektur verbreitert den Fehlerbalken um einen Faktor, den die Größe der Folds vorab festlegt.

Beide Modelle werden auf denselben Folds bewertet, also arbeitet man mit den gepaarten Differenzen $d_k$ (Herausforderer minus Referenzmodell), was alles entfernt, was für einen einzelnen Fold spezifisch ist. Dietterich (1998) zeigte, dass ein t-Test, der diese Differenzen als unabhängig behandelt, die Gleichheit viel zu oft verwirft. Als Abhilfe dient ein korrigierter Resampling-t-Test (corrected resampled t-test), den Nadeau und Bengio (2003) vorgeschlagen haben: Er ersetzt $1/J$ durch $1/J + n_2/n_1$ , wobei $n_2/n_1$ die Größe des gemessenen Folds im Verhältnis zur Größe des Trainingsdatensatzes ist, $1/4$ bei fünf Folds, $1/9$ bei zehn. Bouckaert und Frank (2004) bestätigten, dass er sich bei wiederholter Kreuzvalidierung gut verhält.

t = \frac{\bar d}{\Big[\big(\tfrac{1}{J} + \tfrac{n_2}{n_1}\big)\, s^{2}\Big]^{1/2}}, \qquad t \sim \text{Student}(J - 1)

(13)

Durchgerechnetes Beispiel: Boosting gegen logistische Regression auf fünf Folds

Differenzen. AUC-Abstände von 0,014, 0,002, 0,017, 0,006 und 0,011 (illustrative Werte aus dem Foliensatz): Mittelwert $\bar d = 0.010$ , $s^2 = 3.65 \times 10^{-5}$ , $s = 0.00604$ .
Naiver Test. Standardfehler $\sqrt{s^2/5} = 0.00270$ , $t = 3.70$ , $p = 0.021$ bei 4 Freiheitsgraden: Das wirkt gesichert.
Korrektur. Faktor $1/5 + 1/4 = 0.45$ statt 0,2: Die Varianz wird mit 2,25 multipliziert und der Standardfehler mit 1,5, auf 0,00405.
Korrigierter Test. $t = 2.47$ , $p = 0.069$ . Das 95-%-Intervall, $0.010 \pm 2.776 \times 0.00405$ , reicht von etwa $-0.001$ bis $0.021$ und enthält die Null: Der Vorsprung ist nicht gesichert.

Die illustrative Vergleichstabelle des Foliensatzes zeigt dasselbe in größerem Maßstab: Mit drei Seeds mal fünf Folds erhält ein Boosting mit 0,010 Vorsprung ein korrigiertes $p$ von 0,07, wo der naive Test 0,0008 ausgegeben hätte. Drei Herausforderer mit demselben Referenzmodell zu vergleichen, bringt ein weiteres Risiko: Wenn keiner wirklich gewinnt, beträgt die Wahrscheinlichkeit, dass mindestens ein Test anschlägt, $1 - 0.95^3$ , also 14,3 %. Die Bonferroni-Schranke, $p < 0.05/3$ , gilt ohne jede Unabhängigkeitsannahme.

Bemerkung (Die Regel vor der Tabelle aufschreiben). Mit vier Modellen, zwei Metriken und mehreren Schwellenwerten gibt es immer ein Kriterium, nach dem ein Favorit gewinnt (der „Garten der sich verzweigenden Pfade“ von Gelman und Loken). Der Kurs verlangt von jedem Team eine Präregistrierung (preregistration): Es hinterlegt seine Champion-Regel, einschließlich des Vorgehens bei Gleichstand, als Issue mit Zeitstempel, bevor es den Vergleich startet. Und ein gesicherter Gewinn muss seine Komplexität noch bezahlen: Ein Kredit-Score ist nach Anhang III der KI-Verordnung der EU (AI Act) ein Hochrisiko-System, eine Ablehnung muss erklärt werden, und eine kalibrierte logistische Regression ist billiger zu begründen, zu betreiben und zu warten.

Zurück zum Inhalt.

Das Wichtigste in Kürze

Ein Mittelwert von $B$ Bäumen hat die Varianz $\rho\sigma^2 + (1 - \rho)\sigma^2/B$ , weitere Bäume entfernen also nur den zweiten Term, eine geringere Korrelation senkt die Untergrenze.
Ein Random Forest ist Bagging plus eine zufällige Auswahl von Kandidatenvariablen an jedem Knoten; mehr Bäume führen nie zu Überanpassung, und der Out-of-Bag-Fehler ist eine kostenlose Kontrolle.
Die unreinheitsbasierte Wichtigkeit bevorzugt Variablen mit vielen Schwellenwerten und wird auf Trainingsdaten berechnet; verwenden Sie die Permutation auf dem Validierungsdatensatz, mit einer Rauschspalte als Kontrolle.
Gradient Boosting passt jeden Baum an die Pseudo-Residuen $-\partial L/\partial F$ an, die für den Log-Loss $y - p$ betragen; verwenden Sie einen kleinen Schritt, kurze Bäume und frühes Stoppen.
Der Blattwert $-G/(H + \lambda)$ von XGBoost ist ein regularisierter Newton-Schritt, und sein Split-Gewinn vergleicht den Score der Kinder mit dem des Elternknotens, minus $\gamma$ .
Wählen Sie die Hyperparameter in einer inneren Schleife und messen Sie in einer äußeren; vergleichen Sie dann die Modelle über gepaarte Differenzen mit der Korrektur von Nadeau und Bengio, nach einer vorab aufgeschriebenen Regel.

Glossar

Bootstrap: Eine Stichprobe von $n$ Zeilen, mit Zurücklegen aus den $n$ Trainingszeilen gezogen; sie enthält etwa 63,2 % der verschiedenen Zeilen.
Random Forest: Bagging tiefer Bäume, bei dem jeder Knoten nur nach $m$ zufällig aus $p$ gezogenen Variablen splitten darf.
Out-of-Bag-Fehler (out-of-bag error): Der Fehler jeder Zeile, vorhergesagt nur von den Bäumen, die sie in ihrer Bootstrap-Stichprobe nicht gesehen haben.
mittlere Abnahme der Unreinheit (mean decrease in impurity, MDI): Summe der gewichteten Unreinheitsgewinne der Splits nach einer Variable, gemittelt über die Bäume; verzerrt zugunsten von Variablen mit vielen Schwellenwerten.
Permutationswichtigkeit (permutation importance): Verlust an Validierungsscore, wenn eine Spalte durchmischt wird, was ihre Verbindung zur Zielvariable zerstört und ihre Verteilung erhält.
Pseudo-Residuum (pseudo-residual): Minus die Ableitung des Verlusts nach der aktuellen Vorhersage, Kunde für Kunde; die Zielvariable des nächsten Boosting-Baums.
Lernrate (learning rate, shrinkage): Der Faktor $\nu$ , mit dem jeder neue Baum multipliziert wird, bevor er addiert wird; kleine Werte generalisieren besser.
frühes Stoppen (early stopping): Das Hinzufügen von Bäumen beenden, wenn sich der Validierungsverlust über eine festgelegte Zahl von Runden nicht verbessert hat.
XGBoost: Gradient Boosting mit einer Entwicklung zweiter Ordnung, bestraften Blättern, Split-Suche auf Histogrammen und nativer Behandlung fehlender Werte (Chen und Guestrin, 2016).
verschachtelte Kreuzvalidierung (nested cross-validation): Eine innere Kreuzvalidierung, die die Einstellungen innerhalb jedes Folds einer äußeren, messenden Kreuzvalidierung wählt.
korrigierter Resampling-t-Test (corrected resampled t-test): Gepaarter t-Test auf den Differenzen pro Fold, dessen Varianzfaktor $1/J$ zu $1/J + n_2/n_1$ wird (Nadeau und Bengio, 2003).
Präregistrierung (preregistration): Die Entscheidungsregel und die Metrik aufschreiben, bevor man die Ergebnisse sieht, damit die Wahl nicht den Zahlen folgen kann.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

EinführungKI-Winter, Arbeitsmarkt und Methode
WerkzeugeKaggle, GitHub, Python: die Werkzeuge
Sitzung 1Projektrahmen und kleinste Quadrate
Sitzung 2Maximum Likelihood und logistische Regression
Sitzung 3Gradientenabstieg, Ridge und Lasso
Sitzung 4Entscheidungsschwelle und reproduzierbares ML
HausaufgabeML-Projekt abstecken: der Projektsteckbrief
Sitzung 5Kernel, SVM und Entscheidungsbäume
Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
Sitzung 7SHAP, Fairness, PCA und Clustering
HausaufgabeEin einfaches Modell mit vollständiger Methode
Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
Sitzung 9Ein Machine-Learning-Projekt verteidigen
ReferenzProjekt zum Kreditausfallscore
ReferenzAktienrenditen: XGBoost und Sentiment
ReferenzPython-Code für jedes ML-Modell
ReferenzDeep Learning, das Wesentliche
ReferenzML-Projekte mit offenen Daten nach Branche
ReferenzHandbuch für Daten- und KI-Fachleute
ReferenzData Engineering, SRE und Cloud
ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.