~/teaching · machine learning · sitzung 7, mittwoch, 16. dezember 2026

Einen Kredit-Score mit SHAP erklären, seine Fairness prüfen und mit PCA, k-Means und EM Strukturen finden

Sitzung 7 des Kurses Machine Learning: drei Fragen, die eine Bank stellt, bevor ein Modell entscheidet.

Sitraka Forler, Centrale Méditerranée

Stand 16. Oktober 2026 · etwa 16 Minuten

Zusammenfassung

Diese halbtägige Sitzung des Kurses Machine Learning an der Centrale Méditerranée (Schwerpunkt DDEFI, 2026-2027) nimmt das Champion-Modell eines Kreditausfallprojekts und stellt ihm drei Fragen. Welche Eingaben haben jede einzelne Entscheidung bestimmt? Wie werden verschiedene Kundengruppen behandelt? Und welche Struktur zeigen die Antragsteller von sich aus, wenn man die Ausfallspalte beiseitelässt?

Der erste Teil baut den Shapley-Wert aus der kooperativen Spieltheorie auf, berechnet ihn von Hand an einem Beispiel mit drei Merkmalen und geht dann zu SHAP und TreeSHAP mit ihren Fallstricken über. Der zweite Teil misst Fairness mit Raten, die Gruppe für Gruppe berechnet werden, beweist, warum sie nicht alle zugleich gleich sein können, und ordnet das Kredit-Scoring in das europäische Recht ein. Der dritte Teil lässt die Labels beiseite: Hauptkomponentenanalyse (PCA) über die SVD, k-Means und gaußsche Mischungen, angepasst mit EM, jeweils an einer Handvoll Zahlen, die Sie mit dem Bleistift prüfen können.

Nach der Lektüre können Sie einen Shapley-Wert aus den Werten aller Koalitionen berechnen, ein Fairness-Maß wählen und begründen und eine Iteration von PCA, k-Means oder EM ohne Bibliothek durchführen.

Die Folien

Erklären, Fairness prüfen, ohne Labels entdecken

Sitzung 7, Mittwoch, 16. Dezember 2026. Machine Learning, Centrale Méditerranée, Schwerpunkt DDEFI, 2026-2027. Die Folien gibt es auf Französisch und Englisch; der Link öffnet die englische Fassung.

Folien öffnen (Passwort vom Dozenten)

Der Foliensatz selbst ist für die Studierenden des Kurses verschlüsselt; diese Seite fasst ihn für alle zusammen.

Die Kursseite · Aufmerksamkeit und Transformer, Schritt für Schritt

Aufbau des Foliensatzes

Eine Vorhersage erklären. Shapleys Aufteilungsregel von 1953, ihre vier Axiome, SHAP, TreeSHAP, lokale und globale Lesart und drei Fallstricke.
SHAP am Champion-Modell. Eine kurze Übung: ein Explainer mit fester Hintergrundstichprobe, eine Prüfung der Additivität, ein Beeswarm-Plot und zwei kommentierte Waterfall-Plots.
Fairness. Stellvertretervariablen, drei Familien von Maßen, ein durchgerechnetes Audit zweier Gruppen, das Unmöglichkeitsresultat und das Recht.
Hauptkomponentenanalyse. Die Achsen so drehen, dass sich die Varianz von selbst ordnet, hergeleitet als Eigenvektorproblem und mit der SVD berechnet.
k-Means. Lloyds Schritte Zuordnen und Neuzentrieren, die Wahl von k und warum die Startzentren zählen.
Gaußsche Mischungen und EM. Weiche Gruppen, Verantwortlichkeiten aus der Bayes-Formel und eine Likelihood, die nie sinkt.
Zurück zum Kredit-Score. Segmente, Anomalien und eine Zusammenfassung der ganzen Sitzung auf drei Karten.

Shapley-Werte: eine Vorhersage auf die Merkmale aufteilen

Ein Shapley-Wert teilt den Abstand zwischen der Vorhersage für einen Kunden und der durchschnittlichen Vorhersage fair auf die Merkmale auf, indem er mittelt, was jedes Merkmal beiträgt.

Ein Modell gibt einem Kunden eine Ausfallwahrscheinlichkeit von 62 %, während seine durchschnittliche Vorhersage bei 22 % liegt. Diese vierzig Punkte müssen jemandem zugerechnet werden. Lloyd Shapley beantwortete 1953 dieselbe Frage für Spieler: Wenn eine Koalition gemeinsam gewinnt, wie soll der Gewinn aufgeteilt werden? Hier sind die Spieler die Merkmale (Features), und der Wert $v(S)$ einer Koalition $S$ ist die Vorhersage, wenn nur die Merkmale in $S$ bekannt sind und über die anderen gemittelt wird.

Die klarste Definition nutzt Ankunftsreihenfolgen. Man lässt die Merkmale einzeln eintreten, schreibt jedem die Veränderung gut, die es bei seiner Ankunft bewirkt, und mittelt dann über alle $n!$ Reihenfolgen. Das Mitteln ist wichtig, weil der Beitrag eines Merkmals davon abhängt, wer schon da ist: Eine Wechselwirkung wird geteilt, statt dem zuletzt Angekommenen zugeschlagen zu werden. Gruppiert man die Reihenfolgen nach der Menge $S$ der bereits anwesenden Merkmale, erhält man die klassische Formel, ein gewichtetes Mittel der Zuwächse. Das ist der Shapley-Wert (Shapley value), und ein einzelner Zuwachs heißt marginaler Beitrag (marginal contribution):

\varphi_i(v) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!\,(n - |S| - 1)!}{n!}\,\big[v(S \cup \{i\}) - v(S)\big]

(1)

Das Gewicht zählt die Reihenfolgen, in denen genau $S$ vor $i$ steht, nämlich $|S|!$ Möglichkeiten, $S$ davor anzuordnen, und $(n-|S|-1)!$ Möglichkeiten, den Rest danach anzuordnen, von insgesamt $n!$ . Für drei Merkmale sind die Gewichte $2/6$ , $1/6$ , $1/6$ und $2/6$ , und ihre Summe ist eins.

Durchgerechnetes Beispiel: drei Merkmale, ein Kunde

Der Foliensatz verwendet illustrative Werte für die Kreditmerkmale PAY_0 (letzter Zahlungsverzug), LIMIT_BAL (Kreditlimit) und AGE. In Prozent gilt $v(\varnothing)=22$ , $v(\{P\})=52$ , $v(\{L\})=28$ , $v(\{A\})=22$ , $v(\{P,L\})=58$ , $v(\{P,A\})=54$ , $v(\{L,A\})=30$ und $v(\{P,L,A\})=62$ . Jede Zeile der Tabelle gibt an, was jedes Merkmal in einer Ankunftsreihenfolge hinzufügt.

**Tabelle 1:** Zuwächse in Vorhersagepunkten für jede der sechs Ankunftsreihenfolgen. Jede Zeile ergibt in der Summe 40; die Spaltenmittelwerte sind die Shapley-Werte. Illustrative Daten aus dem Foliensatz.
Reihenfolge	PAY_0	LIMIT_BAL	AGE
P, L, A	30	6	4
P, A, L	30	8	2
L, P, A	30	6	4
L, A, P	32	6	2
A, P, L	32	8	0
A, L, P	32	8	0
Mittelwert	31	7	2

PAY_0 erhält 31 Punkte, LIMIT_BAL 7 und AGE 2, und $31 + 7 + 2 = 40 = 62 - 22$ . AGE ist der lehrreiche Fall: Allein fügt es nichts hinzu, neben den beiden anderen fügt es 4 hinzu, und sein Anteil ist das Mittel über die Kontexte. Dieselben 31 ergeben sich aus der Koalitionsformel: $(2\cdot 30 + 30 + 32 + 2\cdot 32)/6 = 186/6$ .

Bemerkung (Warum diese Regel und keine andere). Shapley bewies, dass sie die einzige Aufteilungsregel mit vier Eigenschaften ist: Effizienz (nichts vom Abstand bleibt unverteilt, und nichts kommt hinzu), Symmetrie (austauschbare Spieler erhalten gleiche Anteile), Nullspieler (ein Merkmal, das nie etwas ändert, erhält null, etwa ein vom Lasso auf null gesetzter Koeffizient) und Additivität (die Anteile an einer Summe von Spielen addieren sich). Die Additivität erlaubt es, die Erklärung eines Waldes als Mittelwert der Erklärungen seiner Bäume zu bilden.

Zurück zum Inhalt.

SHAP und TreeSHAP in der Praxis, und was sie nicht sagen

SHAP zerlegt jede Vorhersage in den Durchschnitt plus einen Anteil pro Merkmal; für Bäume arbeitet es exakt und schnell, beschreibt aber das Modell, nicht die Welt.

Lundberg und Lee (NeurIPS 2017) machten die Übertragung explizit: Spieler sind Merkmale, $v(S)$ ist die erwartete Vorhersage, bedingt auf die bekannten Merkmale, und jede Vorhersage zerfällt in die durchschnittliche Ausgabe plus einen Anteil pro Merkmal. Ihr Artikel ordnet auch ältere Attributionsverfahren, LIME eingeschlossen, in diese eine additive Familie ein.

f(x) = \varphi_0 + \sum_{j=1}^{p} \varphi_j(x), \qquad \varphi_0 = \mathbb{E}[f(X)]

(2)

Das Hindernis sind die Kosten. Die 23 Merkmale des UCI-Kreditkartendatensatzes ergeben $2^{23}$ , also 8.388.608 Koalitionen für einen einzigen Kunden. KernelSHAP zieht Stichproben von Koalitionen und funktioniert mit jedem Modell, näherungsweise und langsam. TreeSHAP (Lundberg et al., Nature Machine Intelligence, 2020) geht die Pfade des Baums ab und berechnet die exakten Werte für Bäume, Wälder und Boosting in polynomieller Zeit. An einem Spielzeugbaum des Foliensatzes erhält LIMIT_BAL 4,2 Punkte, obwohl der Pfad des Kunden dieses Merkmal nie prüft: $v(S)$ berücksichtigt auch Kunden, die den anderen Weg genommen hätten, ein Waterfall ist also nicht der Pfad, dem das Modell gefolgt ist.

I_j = \frac{1}{n}\sum_{i=1}^{n} \big|\varphi_j(x_i)\big|

(3)

Lokal zeigt der Waterfall, wie ein Kunde vom Durchschnitt zu seiner Vorhersage gelangt. Global ordnet der mittlere absolute Anteil die Merkmale; der Absolutbetrag verhindert, dass sich Ausschläge nach oben und nach unten aufheben, kostet aber die Richtung; diese liefert der Beeswarm-Plot zurück, mit einem Punkt pro Kunde, eingefärbt nach dem Wert des Merkmals. Achten Sie auf die Skala: Beim Boosting gilt die exakte Additivität auf der Log-Odds-Skala, nicht auf den Wahrscheinlichkeiten.

Korrelierte Merkmale. Die sechs monatlichen Rechnungsbeträge sind fast Zwillinge; wie ihr Anteil aufgeteilt wird, hängt von der Definition von $v(S)$ ab (interventionell oder bedingt), nicht von der Welt. Gruppieren Sie sie und lesen Sie die Summe.
Erklären ist nicht Verursachen. Ein hohes Kreditlimit senkt das vorhergesagte Risiko, weil Banken hohe Limits an Kunden vergeben, die sie bereits für sicher halten. Das Limit eines gefährdeten Kunden anzuheben, ist eine andere, kausale Frage.
Geschichten im Nachhinein. Erklärungen lassen sich täuschen (Slack et al., 2020), und unter mehreren Einstellungen lässt sich die passende herauspicken. Legen Sie Explainer, Hintergrundstichprobe und Skala fest, bevor Sie hinschauen, gleichen Sie mit der Permutationswichtigkeit ab, und ziehen Sie, wenn viel auf dem Spiel steht, ein Modell vor, das schon durch seine Konstruktion lesbar ist (Rudin, 2019).

Zurück zum Inhalt.

Fairness-Maße: was der Score mit Gruppen macht

Die sensible Spalte zu entfernen, macht einen Score nicht fair; man muss Gruppe für Gruppe messen, wie oft er ablehnt, wie oft er sich irrt und ob seine Wahrscheinlichkeiten stimmen.

SEX aus den Eingaben zu streichen, die sogenannte Fairness durch Unkenntnis (fairness through unawareness), genügt nicht, wie Dwork und Koautoren 2012 gezeigt haben: Andere Spalten können dieselbe Information tragen. Jede solche Spalte ist eine Stellvertretervariable (proxy variable). Der Test kehrt das Problem um: SEX aus allen anderen Spalten vorhersagen, mit derselben Modellfamilie wie der Champion und Kreuzvalidierung auf dem Trainingsdatensatz. Eine AUC nahe 0,5 bedeutet, dass wenig durchsickert; liegt sie weiter davon entfernt, benennt die Permutationswichtigkeit dieses Modells die Spalten, die die Information tragen.

Barocas, Hardt und Narayanan (2023) ordnen die vielen Maße in drei Familien. Mit der Kodierung des Kurses bedeutet positiv Ausfall und $\hat Y = 1$ abgelehnt, ein falsch positiver Fall ist also ein guter Kunde, der abgewiesen wird.

**Tabelle 2:** Die drei Familien von Fairness-Kriterien nach Barocas, Hardt und Narayanan (2023), wobei $A$ die Gruppe, $Y$ das tatsächliche Ergebnis und $S$ der Score ist.
Familie	Bedingung	Übliches Maß	Beantwortete Frage
Unabhängigkeit	$\hat Y \perp A$	Demografische Parität	Lehnt er in jeder Gruppe gleich oft ab?
Separation	$\hat Y \perp A \mid Y$	Chancengleichheit, Equalized Odds	Macht er dieselben Fehler?
Suffizienz	$Y \perp A \mid S$	Kalibrierung nach Gruppe	Bedeutet ein Score von 30 % für alle 30 %?

Die demografische Parität (demographic parity) lässt sich ablesen, ohne zu wissen, wer ausfällt, und eignet sich daher vom ersten Tag an für die Überwachung, ignoriert aber unterschiedliche Basisraten. Die Chancengleichheit (equal opportunity) nach Hardt, Price und Srebro (2016) verlangt denselben Anteil abgelehnter guter Kunden, also dieselbe Falsch-Positiv-Rate; Equalized Odds gleichen zusätzlich die Richtig-Positiv-Rate an. Beide brauchen die tatsächlichen Ergebnisse und sind daher Audit-Maße. Die Kalibrierung nach Gruppe (calibration by group) prüfen Banken oft zuerst, weil eine Ausfallwahrscheinlichkeit auch in Rückstellungen und Eigenkapital einfließt.

Durchgerechnetes Beispiel: zwei Gruppen mit je 1.000 Anträgen

Gleiches Modell, gleicher Schwellenwert. Gruppe A: 150 richtig positive, 100 falsch negative, 75 falsch positive und 675 richtig negative Fälle. Gruppe B: 120, 80, 60 und 740. Daraus folgen die fünf Raten.

**Tabelle 3:** Raten nach Gruppe, berechnet aus den beiden Konfusionsmatrizen des Foliensatzes (illustrative Daten).
Rate	Formel	Gruppe A	Gruppe B
Basisrate	$(TP+FN)/n$	25,0 %	20,0 %
Ablehnungsquote	$(TP+FP)/n$	22,5 %	18,0 %
TPR	$TP/(TP+FN)$	60,0 %	60,0 %
FPR	$FP/(FP+TN)$	10,0 %	7,5 %
PPV	$TP/(TP+FP)$	66,7 %	66,7 %

Der Score ist also fair im Sinne von TPR und PPV und unfair im Sinne der Ablehnungen und der FPR: Ein guter Kunde aus Gruppe A wird in einem von zehn Fällen zu Unrecht abgelehnt, gegenüber etwa einem von dreizehn in Gruppe B. Beide Lesarten sind korrekt; sie beantworten verschiedene Fragen. Deshalb muss das Maß gewählt und aufgeschrieben werden, bevor man die Zahlen sieht, und deshalb braucht jeder Abstand ein Konfidenzintervall: Bei kleinen Gruppen lautet das ehrliche Urteil oft „nicht schlüssig“.

Zurück zum Inhalt.

Warum sich nicht alle Raten zugleich angleichen lassen

Wenn zwei Gruppen mit unterschiedlichen Raten ausfallen, kann ein unvollkommener Score ihnen nicht gleichzeitig dieselbe Precision, dieselbe Richtig-Positiv-Rate und dieselbe Falsch-Positiv-Rate geben.

Das obige Beispiel ist nicht manipuliert. Chouldechova (2017) schrieb eine Identität auf, die allein aus den Definitionen folgt, wobei $p$ die Basisrate (base rate) der Gruppe ist: Die Zahl der erkannten Ausfälle ist $\text{TPR}\cdot pn$ , die falsch positiven Fälle folgen aus dem PPV, und die Division durch die $(1-p)n$ guten Kunden ergibt die FPR. Die Gruppengröße kürzt sich heraus.

\text{FPR} = \frac{p}{1 - p} \cdot \frac{1 - \text{PPV}}{\text{PPV}} \cdot \text{TPR}

(4)

Bei gleichem PPV und gleicher TPR wächst die FPR mit $p/(1-p)$ , einer streng monoton steigenden Funktion. Probe an den beiden Gruppen: für A $\tfrac{0.25}{0.75}\cdot\tfrac12\cdot 0.6 = 0.10$ , für B $\tfrac{0.20}{0.80}\cdot\tfrac12\cdot 0.6 = 0.075$ . Das sind genau die Raten der Tabelle.

Kleinberg, Mullainathan und Raghavan bewiesen 2016 die Version für Scores: Kalibrierung innerhalb der Gruppen und Ausgewogenheit für beide Klassen sind unvereinbar, außer bei perfekter Vorhersage oder gleichen Basisraten. Beide Ergebnisse entstanden aus der Debatte über das Rückfallprognose-Werkzeug COMPAS in den Vereinigten Staaten. Die praktische Konsequenz ist ein Verfahren, keine Zahl: nach Gruppe mit Intervallen messen, das für die Verwendung relevante Maß wählen und begründen, dann an der Quelle korrigieren (eine Stellvertretervariable, die sich entfernen lässt, eine schlecht definierte Zielvariable, ein schlecht gesetzter Schwellenwert).

Bemerkung (Ein Schwellenwert pro Gruppe). Hardt, Price und Srebro zeigten, dass sich Chancengleichheit nach dem Training erreichen lässt, indem man jeder Gruppe einen eigenen Schwellenwert gibt. Das wirkt auf die Raten, aber zwei Kunden mit demselben Score erhalten dann unterschiedliche Entscheidungen, und die Gruppe muss zum Zeitpunkt der Entscheidung verwendet werden. Beim Zugang zu Finanzdienstleistungen ist eine Entscheidung auf Grundlage des Geschlechts nach der Richtlinie 2004/113/EG eine unmittelbare Diskriminierung. Das ist also eine Frage für Juristen, aus der die Sitzung eine Debatte macht.

Zurück zum Inhalt.

Kredit-Scoring nach der KI-Verordnung der EU

Das europäische Recht stuft die Bonitätsbewertung natürlicher Personen als hochriskant ein, mit Pflichten, die Daten auf Verzerrungen zu prüfen, das System zu dokumentieren und Entscheidungen zu erklären.

Die Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act) stuft in Anhang III Nummer 5 Buchstabe b Systeme zur Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen als hochriskant ein, mit Ausnahme der Betrugserkennung. Laut Foliensatz hat die Verordnung (EU) 2026/1744 die Anwendung der Vorschriften von Anhang III auf den 2. Dezember 2027 verschoben; solche Termine haben sich schon einmal verschoben, daher sollte man den konsolidierten Text erneut lesen, bevor man einen davon zitiert.

Artikel 9 bis 15: Risikomanagement, Daten-Governance, technische Dokumentation (Anhang IV), automatische Protokollierung, Transparenz gegenüber dem Betreiber, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit.
Artikel 10 Absatz 2 Buchstabe f: die Daten auf mögliche Verzerrungen prüfen, die zu einer verbotenen Diskriminierung führen könnten. Der Test auf Stellvertretervariablen und das Audit nach Gruppen sind genau diese Prüfung.
Artikel 86: Eine Person, die von einer auf ein Hochrisiko-System gestützten Entscheidung betroffen ist, kann eine klare Erläuterung der Rolle des Systems verlangen. Das SCHUFA-Urteil des EuGH (C-634/21, 2023) hatte maßgebliche Kredit-Scores bereits Artikel 22 der DSGVO unterstellt.
Richtlinie 2004/113/EG: Eine mittelbare Diskriminierung liegt vor, wenn ein dem Anschein nach neutrales Kriterium Personen eines Geschlechts ohne sachliche Rechtfertigung in besonderer Weise benachteiligt. Es zählt die Wirkung, nicht die Absicht, weshalb das Audit die Abstände auch ohne SEX im Modell misst.

Der Foliensatz ordnet jeden dieser Artikel Dateien zu, die ein studentisches Projekt ohnehin erzeugt: ein Entscheidungsprotokoll, eine Model Card im Format von Mitchell et al. (2019), Service-Logs und eine Rückweisungsoption, die später im Kurs folgen (siehe Drift und konforme Vorhersage). Für die Bankenaufsicht stellte der Bericht EBA/REP/2023/28 der Europäischen Bankenaufsichtsbehörde über Machine Learning in internen Ratingmodellen fest, dass Banken Shapley-Werte häufiger als jede andere Erklärungsmethode nennen.

Zurück zum Inhalt.

Hauptkomponentenanalyse über die SVD

Die PCA dreht die Achsen so, dass die erste Richtung so viel wie möglich von der Streuung der Daten trägt, dann die nächste, dazu senkrechte, und so weiter.

Ohne Zielvariable ist $X$ das einzige Material. Die Hauptkomponentenanalyse (principal component analysis), bei Pearson die am besten angepasste Gerade (1901), bei Hotelling die Richtung maximaler Varianz (1933), sucht den Blickwinkel, aus dem die Punktwolke am breitesten aussieht. Die Varianz der Projektionen auf einen Einheitsvektor $u$ ist $u^{\mathsf T}Su$ , wobei $S$ die Kovarianz der zentrierten Spalten ist. Sie unter $u^{\mathsf T}u = 1$ mit einem Lagrange-Multiplikator zu maximieren, ergibt eine Eigenvektorgleichung, und die getragene Varianz ist der Eigenwert.

S = \frac{1}{n-1}X^{\mathsf T}X, \qquad S v_j = \lambda_j v_j, \qquad \operatorname{Var}(Xv_j) = \lambda_j

(5)

In der Praxis erledigt die SVD aus der Sitzung zu den kleinsten Quadraten dieselbe Arbeit, ohne $S$ zu bilden. Mit $X = UDV^{\mathsf T}$ sind die Spalten von $V$ die Hauptrichtungen, die Koordinaten sind $UD$ , und es gilt $d_j^2 = (n-1)\lambda_j$ . Eckart und Young (1936) liefern den Grund, warum das Abschneiden legitim ist: Die ersten $q$ Komponenten zu behalten, ergibt die beste Approximation vom Rang $q$ , und der Fehler ist die Summe der verworfenen $d_j^2$ .

Fünf Punkte in zwei Dimensionen

Zentrieren. Die Punkte (1, 1), (2, 3), (3, 2), (4, 4) und (5, 5) haben den Mittelwert (3, 3); drei liegen auf der Diagonale, zwei knapp daneben.
Kovarianz. Die zentrierten Quadratsummen sind 10 und 10, die Kreuzsumme ist 9; geteilt durch $n-1=4$ ergeben sich Varianzen von 2,5 und eine Kovarianz von 2,25.
Eigenwerte. Spur 5, Determinante $2.5^2 - 2.25^2 = 1.1875$ , also $\lambda_1 = 4.75$ und $\lambda_2 = 0.25$ , mit $v_1 = (1,1)/\sqrt2$ , der Diagonale.
Den Anteil ablesen. Die erste Komponente trägt $4.75/5 = 95\,\%$ der Varianz; die SVD liefert $d^2 = (19, 1)$ , dasselbe Verhältnis.
Den Verlust prüfen. Die Projektion auf die Diagonale verschiebt die beiden Punkte neben der Achse jeweils um einen quadrierten Abstand von 0,5, also beträgt der Gesamtfehler 1, das verworfene $d_2^2$ .

Bemerkung (Die Falle der Skalen). Bei rohen Kreditdaten erdrücken Beträge in Taiwan-Dollar Altersangaben in Jahren, und die ersten Komponenten entdecken einfach die Währungsspalten wieder. Standardisieren Sie mit Mittelwerten und Standardabweichungen aus dem Training, dann arbeitet die PCA mit den Korrelationen. Die PCA entdeckt nichts von selbst; sie dreht die Achsen so, dass die Varianz in absteigender Reihenfolge herauskommt.

Zurück zum Inhalt.

k-Means und gaußsche Mischmodelle, angepasst mit EM

k-Means ordnet jeden Kunden genau einer Gruppe um ein Zentrum zu; ein gaußsches Mischmodell gibt jedem Kunden eine Wahrscheinlichkeit, zu jeder Gruppe zu gehören, und EM passt es an.

Das k-Means-Clustering (k-means clustering) minimiert die Trägheit (inertia), die Summe der quadrierten Abstände jedes Punkts zu seinem Zentrum. Lloyds Algorithmus (1957 geschrieben, 1982 veröffentlicht) wechselt zwischen zwei Schritten, von denen jeder die Trägheit nur senken kann: jeden Punkt dem nächsten Zentrum zuordnen, dann jedes Zentrum auf den Mittelwert seiner Gruppe verschieben, der wie bei den kleinsten Quadraten die quadrierten Abweichungen minimiert. Er hält an, aber in einem lokalen Minimum, das vom Start abhängt.

J = \sum_{k=1}^{K} \sum_{i \in C_k} \lVert x_i - \mu_k \rVert^{2}, \qquad \mu_k = \frac{1}{|C_k|}\sum_{i \in C_k} x_i

(6)

Bei den sechs Werten 1, 2, 4, 7, 8, 9 mit den Startzentren 1 und 4 fällt die Trägheit nach der ersten Iteration von 51 auf 14,5 (Zentren 1,5 und 7), dann auf etwa 6,67, wenn der Punkt 4 die Seite wechselt (Zentren 7/3 und 8); danach bewegt sich nichts mehr. Bei drei Gruppen bleibt ein schlechter Start bei 7, 8, 9 bei 5,17 stecken, während das Optimum 2,5 beträgt. Deshalb zieht k-means++ (Arthur und Vassilvitskii, 2007) weit gestreute Startzentren, und deshalb behält man das Beste aus mehreren Neustarts. Der Ellbogen der Trägheitskurve und Rousseeuws Silhouette helfen bei der Wahl von $k$ .

Ein gaußsches Mischmodell (Gaussian mixture model) nimmt $K$ Glockenkurven mit Gewichten $\pi_k$ , Zentren $\mu_k$ und Varianzen $\sigma_k^2$ an. Die Log-Likelihood hat eine Summe innerhalb des Logarithmus und keine geschlossene Form. EM (Dempster, Laird und Rubin, 1977) wechselt zwischen einem E-Schritt, der mit der Bayes-Formel die Verantwortlichkeit (responsibility) jeder Gruppe für jeden Kunden berechnet, und einem M-Schritt, der Gewichte, Mittelwerte und Varianzen als mit diesen Verantwortlichkeiten gewichtete Mittel neu berechnet.

\gamma_{ik} = \frac{\pi_k\,\mathcal{N}(x_i \mid \mu_k, \sigma_k^{2})}{\sum_{j} \pi_j\,\mathcal{N}(x_i \mid \mu_j, \sigma_j^{2})}

(7)

Bei den vier Werten 1, 2, 5 und 8, ausgehend von Glocken bei 2 und 8 mit Varianz 1 und gleichen Gewichten, liegt der Wert 5 genau in der Mitte und erhält für jede Glocke eine Verantwortlichkeit von 1/2, während die anderen fast ganz zur jeweils nächsten Glocke gehören. Nach einem M-Schritt wird das zweite Zentrum von 8 in Richtung 5 gezogen, beide Glocken werden breiter, und die Log-Likelihood steigt von etwa $-10.76$ auf $-9.09$ , wie es der Satz von 1977 garantiert. Erzwingt man Verantwortlichkeiten von 0 oder 1 bei gleichen, festen Varianzen, erhält man wieder k-Means.

Zurück zum Inhalt.

Das Wichtigste in Kürze

Ein Shapley-Wert ist ein gewichtetes Mittel dessen, was ein Merkmal über alle Koalitionen hinweg beiträgt; die Anteile ergeben in der Summe genau den Abstand zwischen der Vorhersage und dem Durchschnitt.
TreeSHAP macht die Berechnung für Bäume, Wälder und Boosting exakt, aber SHAP beschreibt das Modell, nicht eine kausale Wirkung in der Welt.
Eine sensible Spalte zu entfernen, genügt nicht: Prüfen Sie, ob die anderen Spalten sie vorhersagen, und messen Sie dann die Raten Gruppe für Gruppe, mit Intervallen.
Bei unterschiedlichen Basisraten kann ein unvollkommener Score PPV, TPR und FPR nicht zugleich angleichen, also ist das Fairness-Maß eine Wahl, die vor der Berechnung aufzuschreiben ist.
Kredit-Scoring natürlicher Personen ist nach der KI-Verordnung der EU eine Hochrisiko-Anwendung, mit Pflichten zu Verzerrungen in den Daten, Dokumentation, Aufsicht und Erklärung.
Die PCA ist die SVD der zentrierten, meist standardisierten Spalten; die Eigenwerte geben die Varianz an, die jede Richtung trägt.
k-Means und EM folgen einem gemeinsamen Schema, zwei abwechselnden Schritten, die die Zielfunktion nie verschlechtern, und beide brauchen mehrere Starts.

Glossar

Shapley-Wert (Shapley value): Der einem Spieler zugewiesene Anteil am Gewinn einer Koalition, gemittelt über alle Ankunftsreihenfolgen; im Machine Learning der Anteil eines Merkmals an einer Vorhersage.
marginaler Beitrag (marginal contribution): Was ein Merkmal zur Vorhersage hinzufügt, wenn es zu einer gegebenen Menge bereits bekannter Merkmale hinzukommt.
Stellvertretervariable (proxy variable): Eine mit einem sensiblen Attribut korrelierte Spalte, über die ein Modell dieses Attribut zurückgewinnen kann, selbst wenn es entfernt wurde.
demografische Parität (demographic parity): Die Anforderung, dass die Ablehnungsquote in jeder Gruppe gleich ist.
Chancengleichheit (equal opportunity): Die Anforderung, dass qualifizierte Personen, hier gute Kunden, in jeder Gruppe dieselbe Chance auf die günstige Entscheidung haben.
Basisrate (base rate): Der Anteil tatsächlich positiver Fälle, hier der Ausfälle, in einer Gruppe; eine Eigenschaft der Daten, keine Wahl des Modells.
Kalibrierung nach Gruppe (calibration by group): Die Anforderung, dass ein gegebener Score in jeder Gruppe derselben beobachteten Ausfallrate entspricht.
Hauptkomponentenanalyse (principal component analysis): Ein Wechsel der Orthonormalbasis, der die Richtungen nach der von ihnen getragenen Varianz ordnet, berechnet aus der Kovarianz oder der SVD.
k-Means-Clustering (k-means clustering): Die Aufteilung von Punkten in k Gruppen, welche die Summe der quadrierten Abstände zu ihren Zentren minimiert.
Trägheit (inertia): Die Zielfunktion von k-Means: der gesamte quadrierte Abstand jedes Punkts zum Zentrum seiner Gruppe.
gaußsches Mischmodell (Gaussian mixture model): Eine Dichte, geschrieben als gewichtete Summe gaußscher Glocken, die jedem Punkt eine Wahrscheinlichkeit gibt, zu jeder Komponente zu gehören.
Verantwortlichkeit (responsibility): In EM die A-posteriori-Wahrscheinlichkeit, dass ein Punkt aus einer gegebenen Komponente stammt, berechnet mit der Bayes-Formel.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

EinführungKI-Winter, Arbeitsmarkt und Methode
WerkzeugeKaggle, GitHub, Python: die Werkzeuge
Sitzung 1Projektrahmen und kleinste Quadrate
Sitzung 2Maximum Likelihood und logistische Regression
Sitzung 3Gradientenabstieg, Ridge und Lasso
Sitzung 4Entscheidungsschwelle und reproduzierbares ML
HausaufgabeML-Projekt abstecken: der Projektsteckbrief
Sitzung 5Kernel, SVM und Entscheidungsbäume
Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
Sitzung 7SHAP, Fairness, PCA und Clustering
HausaufgabeEin einfaches Modell mit vollständiger Methode
Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
Sitzung 9Ein Machine-Learning-Projekt verteidigen
ReferenzProjekt zum Kreditausfallscore
ReferenzAktienrenditen: XGBoost und Sentiment
ReferenzPython-Code für jedes ML-Modell
ReferenzDeep Learning, das Wesentliche
ReferenzML-Projekte mit offenen Daten nach Branche
ReferenzHandbuch für Daten- und KI-Fachleute
ReferenzData Engineering, SRE und Cloud
ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.