Ein Panorama der Machine-Learning-Modelle: welche, wofür, in welchen Branchen

Die Karte: sechs Familien und ein Raster

Bevor Sie ein Modell wählen, entscheiden Sie, welche Art von Frage Sie stellen: eine bekannte Antwort vorhersagen, ohne Antwort eine Struktur finden oder auf ein System einwirken.

Überwachtes Lernen (supervised learning) verfügt über Beispiele mit der richtigen Antwort und lernt, sie zu reproduzieren: eine Zahl (Regression) oder eine Klasse (Klassifikation). Unüberwachtes Lernen (unsupervised learning) hat keine Antwort und sucht nach Gruppen, Achsen oder auffälligen Punkten. Ein dritter Block versammelt Daten mit besonderer Form, jede mit eigenen Modellen: eine geordnete Reihe, eine dünn besetzte Matrix aus Nutzern und Artikeln, eine Schleife aus Aktionen und Belohnungen, eine nachzuahmende Verteilung.

Zwei Kästen stehen abseits. Die kausale Inferenz (causal inference) fragt, was geschieht, wenn wir eingreifen, nicht, was geschehen wird. Das Operations Research macht überhaupt keine Prognose: Es trifft Entscheidungen auf Grundlage eines Modells, das der Analyst ausdrücklich aufschreibt. Beide gehören auf die Karte, weil eine Prognose selten das Ende der Arbeit ist.

Zurück zum Inhalt.

Lineare Modelle: Regression, GLM, logistische Regression

Ein lineares Modell addiert die Effekte der Variablen; seine Stärke ist, dass sich jeder Koeffizient lesen, testen und vor einer Aufsichtsbehörde verteidigen lässt.

Die lineare Regression sucht die Koeffizienten, die die Vorhersagen im quadratischen Fehler am nächsten an die Daten bringen. Ridge und Lasso belegen große Koeffizienten mit einem Preis: Ridge stabilisiert sie, Lasso setzt einige exakt auf null und wählt damit Variablen aus (siehe Regularisierung).

Den linearen Score behalten verallgemeinerte lineare Modelle (generalised linear models, GLM) bei, schicken ihn aber durch eine Linkfunktion, sodass dieselbe Idee Zählwerte (Poisson, Log-Link), positive, schiefe Beträge (Gamma, Log-Link) und Ja/Nein-Ergebnisse (binomial, Logit-Link) abdeckt. Sie werden per Maximum-Likelihood-Schätzung angepasst, und ein Koeffizient liest sich als multiplikativer Effekt $e^{\beta_j}$. Versicherungstarife beruhen seit Jahrzehnten auf ihnen, weil jeder Koeffizient begründet werden muss.

Die logistische Regression (logistic regression) ist der binomiale Fall. Ihre Verlustfunktion ist konvex, sodass sie immer dieselbe Lösung erreicht, und sie bleibt das Modell, das Banken für das Kreditscoring am häufigsten einsetzen, oft als Punkte-Scorekarte auf klassierten Variablen. Bei seltenen Klassen täuscht die Accuracy: Beurteilen Sie das Modell nach AUC und Kalibrierung, und legen Sie die Entscheidungsschwelle anhand der Kosten fest (siehe Entscheidungsschwelle).

• Bibliotheken. LinearRegression, Ridge, Lasso, LogisticRegression und die Familie PoissonRegressor in scikit-learn; statsmodels, wenn Sie Standardfehler und Intervalle brauchen; optbinning für Scorekarten.
• Fallen. Multikollinearität macht Koeffizienten instabil; nie außerhalb der Datenwolke extrapolieren; bei Zählwerten die Überdispersion prüfen, bevor man einem Poisson-Standardfehler traut.
• Wann nicht. Starke Nichtlinearitäten, Schwellen oder Wechselwirkungen, die niemand lesen muss: Ein Boosting-Modell schneidet besser ab, auch mit einer Poisson- oder Tweedie-Zielfunktion.

Zurück zum Inhalt.

Bäume, Ensembles, Kernel und Nachbarn

Ein einzelner Baum ist leicht zu lesen, aber instabil; viele Bäume zu mitteln oder sie nacheinander hinzuzufügen, damit sie die Fehler der anderen korrigieren, ergibt die stärksten Modelle für Tabellen.

Ein Entscheidungsbaum teilt den Raum mit jeweils einer Schwelle auf einer einzigen Variablen und wählt dabei die Teilung, die die Unreinheit am stärksten verringert. Man kann ihn zeichnen und von Hand anwenden, weshalb er in Kreditvergaberegeln und Triage-Protokollen vorkommt. Sein Mangel ist die Instabilität: Ändern sich ein paar Zeilen, verschiebt sich die erste Teilung und dann der ganze Baum.

Ein Random Forest mittelt Hunderte von Bäumen, jeder auf einer Bootstrap-Stichprobe gewachsen und mit einer zufälligen Teilmenge der Variablen an jedem Knoten. Die Mittelung verringert die Varianz, nicht den Bias, und die Zufallsziehungen sollen die Bäume weniger korreliert machen, wie diese Formel für die Varianz eines Mittels aus $B$ Schätzern mit paarweiser Korrelation $\rho$ zeigt.

Gradient Boosting fügt nacheinander kleine Bäume hinzu, jeder an den negativen Gradienten der Verlustfunktion des aktuellen Modells angepasst: ein Gradientenabstieg im Raum der Funktionen. Seit einem Jahrzehnt dominiert es Wettbewerbe auf tabellarischen Daten. LightGBM ist die schnelle Variante, XGBoost die Referenz mit monotonen Nebenbedingungen, die im Kreditgeschäft nützlich sind, CatBoost verarbeitet kategoriale Variablen nativ. Lässt man es ungebremst laufen, kommt es zur Überanpassung (Overfitting); verwenden Sie daher frühes Stoppen, und kalibrieren Sie seine Wahrscheinlichkeiten, bevor Sie eine Schwelle festlegen (Details in Random Forests und Boosting).

Stützvektormaschinen (support vector machines, SVM) maximieren den Abstand (Margin) zwischen zwei Klassen, und nur die Punkte an seinem Rand zählen. Das duale Problem sieht die Daten nur über Skalarprodukte, also kann ein Kernel sie ersetzen und die Grenze krümmen, ohne je im größeren Raum zu rechnen (siehe Kernel, SVM und Bäume). Mit einem Kernel wachsen die Kosten zwischen $O(n^2)$ und $O(n^3)$, was für einige Tausend Zeilen in Ordnung und jenseits von Zehntausenden mühsam ist.

Zwei einfachere Familien vervollständigen den Block. Das k-nächste-Nachbarn-Verfahren (k-nearest neighbours, kNN) speichert die Beispiele und lässt die nächstgelegenen abstimmen; in hoher Dimension versagt es, sofern die Daten nicht zuerst reduziert werden, und als Ähnlichkeitssuche über Embeddings mit approximativen Indizes wie faiss ist es mit Macht zurückgekehrt. Naive Bayes multipliziert die Evidenz jeder Variablen, als wären sie unabhängig: schlechte Wahrscheinlichkeiten, oft eine gute Rangfolge und das klassische Fünf-Minuten-Referenzmodell für Text mit TF-IDF.

Zurück zum Inhalt.

Neuronale Netze: wenn die Daten keine Tabelle sind

Neuronale Netze rechtfertigen ihre Kosten bei Bildern, Text, Ton und Sequenzen; bei einer gewöhnlichen Tabelle mit einigen Tausend Zeilen gewinnt meist ein Boosting-Modell.

• Mehrschichtiges Perzeptron. Gestapelte affine Schichten und Nichtlinearitäten, trainiert per Fehlerrückführung (Backpropagation) und Adam auf einer nicht konvexen Verlustfunktion, weshalb der Zufalls-Seed eine Rolle spielt. Als schneller Ersatz für eine langsame Simulation ist ein mehrschichtiges Perzeptron (multilayer perceptron, MLP) nützlich, bei mittelgroßen tabellarischen Daten selten die beste Wahl (siehe neuronale Netze).
• Faltungsnetze (convolutional neural networks, CNN). Kleine Filter mit geteilten Gewichten gleiten über das Bild. Niemand trainiert eines von Grund auf mit tausend Bildern: Man nimmt ein vortrainiertes ResNet oder EfficientNet und trainiert den Kopf neu. Typische Falle: Das Netz lernt die Kamera oder die Beleuchtung einer Produktionslinie, testen Sie also an einem anderen Standort.
• Rekurrente Netze und LSTM. Sie lesen eine Sequenz Schritt für Schritt mit einem Gedächtnis; die Gates des LSTM halten den Gradienten über lange Sequenzen am Leben. Nach wie vor ein Industriestandard für die Prognose vieler zusammenhängender Reihen (DeepAR), bei Text von Transformern abgelöst.
• Transformer und große Sprachmodelle (large language models, LLM). Jedes Token gewichtet jedes andere Token über Attention, berechnet als Matrizen statt Schritt für Schritt, und genau das macht das Training auf riesigen Korpora möglich.
• Generative Modelle. VAEs, GANs und Diffusionsmodelle lernen die Verteilung der Daten selbst, um neue Beispiele zu ziehen. Die ernsthafte geschäftliche Anwendung sind synthetische Daten, mit einer Prüfung, dass kein echter Kunde auswendig gelernt wurde.

Der Artikel zu Attention baut diese Formel Schritt für Schritt auf. In Unternehmen sind die etablierten Einsatzgebiete von Sprachmodellen das Lesen, Sortieren und Durchsuchen von Dokumenten, Aufgaben, bei denen ein Mensch die Ausgabe prüft. Einen Ausfall aus einer Tabelle sollten sie nicht vorhersagen, und wo ein regulärer Ausdruck oder eine logistische Regression die Aufgabe erledigt, sind diese weit günstiger. Bei Kredit oder Personalauswahl gelten die Pflichten für Hochrisiko-Systeme aus Anhang III der europäischen KI-Verordnung (AI Act), unabhängig vom Modell.

Zurück zum Inhalt.

Unüberwachtes Lernen: gruppieren, verdichten, das Auffällige finden

Ohne Labels gibt es keine Kennzahl, die Ihnen sagt, dass eine Gruppierung richtig ist; sie ist für eine Entscheidung nur nützlich oder nutzlos.

k-Means wechselt zwischen zwei Schritten ab (jeden Punkt dem nächstgelegenen Zentrum zuordnen, jedes Zentrum in den Mittelwert seiner Punkte verschieben), was die Trägheit (Inertia) in jeder Runde senkt und in einem lokalen Minimum endet; k-means++ und mehrere Neustarts helfen. Sie wählen $k$, per Silhouette oder nach fachlichem Ermessen. Hierarchisches Clustering mit dem Ward-Kriterium verlangt kein $k$ und zeigt jeden Schnitt in einem Dendrogramm, zu quadratischen Kosten.

DBSCAN definiert eine Gruppe als dichte Region: Punkte mit genügend Nachbarn innerhalb eines Radius verketten sich, der Rest wird als Rauschen markiert. Es findet Sichelformen, braucht kein $k$ und ist das übliche Werkzeug, um Haltepunkte in GPS-Spuren zu finden; ein einziger Radius passt nicht zu sehr unterschiedlichen Dichten, ein Problem, das HDBSCAN löst. Gaußsche Mischmodelle (Gaussian mixture models, GMM) geben jedem Punkt eine Wahrscheinlichkeit, zu jeder elliptischen Gruppe zu gehören, angepasst mit dem EM-Algorithmus (Expectation-Maximization); k-Means ist ihr Grenzfall.

Die Hauptkomponentenanalyse (principal component analysis, PCA) ist die SVD der zentrierten Daten: Die ersten Singulärvektoren sind die Richtungen größter Varianz (siehe PCA und Clustering). Drei Komponenten fassen die meisten Bewegungen einer Zinsstrukturkurve zusammen, und die Überwachung des Residuums einer Projektion ist ein Klassiker der Prozesskontrolle. Die PCA ignoriert die Zielvariable und ist daher kein Verfahren zur Variablenauswahl. t-SNE und UMAP bilden eine Punktwolke auf eine Ebene ab und halten dabei Nachbarn beieinander: wertvoll, um Embeddings zu betrachten, irreführend, wenn man die Abstände zwischen Inseln als Tatsachen liest.

Die Anomalieerkennung (anomaly detection) bewertet, wie ungewöhnlich ein Punkt ist. Ein Isolation Forest zählt, wie viele zufällige Schnitte nötig sind, um einen Punkt zu isolieren: wenige Schnitte, hoher Wert, lineare Kosten. Der wichtigste Vorbehalt: Eine Anomalie ist kein Betrug. Ein Kunde, der umzieht, ist ungewöhnlich und ehrlich. Der Wert speist eine Prüfwarteschlange; sobald Labels zu bestätigten Betrugsfällen vorliegen, übernimmt ein überwachtes Modell.

Zurück zum Inhalt.

Zeitreihen, Empfehlungen, Banditen, Kausalität, Solver

Wenn die Daten eine zeitliche Ordnung, eine Nutzer-Artikel-Matrix, eine Belohnung oder einen Eingriff aufweisen, sind die generischen Modelle nicht mehr das richtige Werkzeug.

Für Prognosen gibt es zwei Schulen. Bei einer einzelnen kurzen, regelmäßigen Reihe sind ARIMA und die exponentielle Glättung (exponential smoothing, ETS) schwer zu schlagen und liefern ein Intervall; Prophet ergänzt Feiertage für eilige Analysten. Bei Tausenden zusammenhängender Reihen mit Preisen, Wetter und Aktionen besteht das Erfolgsrezept darin, die Zeit in eine Tabelle aus verzögerten Werten (Lags), gleitenden Fenstern und Kalendermerkmalen zu verwandeln und ein einziges globales LightGBM-Modell anzupassen, wie es die Sieger des M5-Wettbewerbs zu Einzelhandelsumsätzen taten (siehe die Notiz zur Kursprognose). In beiden Fällen validiert man, indem man in der Zeit vorwärtsgeht, berechnet jedes Fenster nur aus der Vergangenheit und vergleicht immer mit der saisonalen naiven Prognose.

Empfehlungssysteme zerlegen die fast leere Matrix Nutzer × Artikel in zwei kleine Matrizen, deren Produkt sie wieder aufbaut; alternierende kleinste Quadrate lösen erst die eine Seite, dann die andere. Im Produktivbetrieb schlägt ein schnelles Modell einige Hundert Kandidaten vor, und ein Boosting-Modell ordnet sie neu. Vorsicht vor dem Kaltstart und der Rückkopplungsschleife: Das System lernt nur aus dem, was es gezeigt hat.

Bestärkendes Lernen (reinforcement learning) maximiert eine abgezinste Summe von Belohnungen; vollständige Varianten brauchen einen Simulator oder Millionen billiger Versuche. Der mehrarmige Bandit, der keinen Zustand hat, ist die Form, der Sie mit Sicherheit begegnen werden: wählen, welches Banner gezeigt wird, ein wenig erkunden und zugleich nutzen, was funktioniert (Thompson Sampling, UCB).

Kausale Inferenz und Uplift schätzen die Wirkung einer Maßnahme auf eine bestimmte Person, eine Differenz zwischen zwei Welten, von denen nur eine beobachtet wird. Ein randomisierter Test macht die Schätzung verlässlich; ohne ihn beruht alles auf der Annahme, dass kein Störfaktor (Confounder) fehlt, und der Bericht muss das sagen. Ein guter prädiktiver Score ist kein kausales Modell.

Das Operations Research ist kein Lernen: Ein lineares oder ganzzahliges Programm, von Hand geschrieben, entscheidet mit einem Solver wie OR-Tools, HiGHS oder Gurobi über Touren, Dienstpläne oder Zuordnungen. Die Falle liegt an der Schnittstelle zum ML: Eine Punktprognose geht in den Optimierer ein, als wäre sie sicher. Geben Sie ihm ein Intervall oder Szenarien.

Zurück zum Inhalt.

Wie man ein Modell wählt: Daten, Aufgabe, Branche

Gehen Sie von der Form der Daten und der Aufgabe aus, nehmen Sie ein bescheidenes Modell, das innerhalb einer Stunde eine ehrliche Zahl liefert, und probieren Sie dann einen stärkeren Herausforderer.

Fünf Fragen in dieser Reihenfolge, bevor Sie ein Notebook öffnen

1. Wie viele Zeilen? Bei rund tausend ist ein regularisiertes lineares Modell angebracht; ein Boosting-Modell würde das Rauschen lernen. Bei hunderttausend ist alles offen.
2. Ist es eine Tabelle? Eine Tabelle weist auf Boosting hin; Bilder, Text oder Ton weisen auf ein vortrainiertes Netz hin.
3. Wer muss die Ausgabe verstehen? Wenn eine Aufsichtsbehörde oder ein Gremium sie verstehen muss, bleiben Sie bei logistischer Regression, einem GLM oder einem Baum. Bei Krediten und Einstellungen ist das eine rechtliche Vorgabe, keine Vorliebe.
4. Wie schnell muss es antworten? Echtzeit-Scoring spricht für ein lineares Modell; ein nächtlicher Batch lässt die Wahl frei.
5. Was kostet ein Fehler? Wenn er teuer ist: kalibrieren, die Schwelle aus den Kosten ableiten und einen Menschen in der Schleife behalten.

Was Praktiker tatsächlich beobachten: Bei Tabellen gewinnt Boosting fast immer, und zwar knapp; bei Bildern, Text und Ton stimmen alle ein vortrainiertes Netz fein ab; bei Zeitreihen gewinnt das saisonale naive Referenzmodell häufiger, als man zugibt. Überall wiegen Daten, Aufteilung, Metrik, Schwelle und Monitoring schwerer als das Modell. Im Kursprojekt zum Kreditausfall werden vier Modelle verglichen (regularisierte logistische Regression, ein Random Forest, Boosting, ein Kernel-Modell), mit denselben Aufteilungen, mehreren Seeds und Konfidenzintervallen; der Code steht in der Notiz zum Python-Code.

Zurück zum Inhalt.

Das Wichtigste in Kürze

1. Zuerst das Problem einordnen: überwacht, unüberwacht, eine besondere Datenform (Reihe, Matrix, Belohnungen) oder gar kein Lernproblem (kausaler Effekt, Optimierung).
2. Bei tabellarischen Daten mit einem linearen oder logistischen Modell beginnen und es mit Gradient Boosting herausfordern; den Herausforderer nur behalten, wenn sein Gewinn eine Entscheidung ändert.
3. Bei Bildern, Text und Ton ein vortrainiertes Netz feinabstimmen, statt von Grund auf zu trainieren.
4. Unüberwachte Ergebnisse werden nach ihrem Nutzen für eine Entscheidung beurteilt, nie als wahr oder falsch; eine Anomalie ist kein Betrug.
5. Für Prognosen ETS oder ARIMA bei einer Reihe und Lag-Merkmale mit Boosting bei vielen, stets vorwärts in der Zeit gegen ein saisonales naives Referenzmodell validiert.
6. Erklärbarkeit ist bei Kredit und Personalauswahl eine regulatorische Anforderung, denn beide gelten nach Anhang III der europäischen KI-Verordnung als hochriskant.
7. Jedes Modell hat eine Situation, in der man es nicht einsetzen sollte; sie zu kennen ist mehr wert, als die Definition zu kennen.

Glossar

verallgemeinerte lineare Modelle (generalised linear models, GLM)

Ein linearer Score, der durch eine Linkfunktion geschickt und per Maximum-Likelihood-Schätzung angepasst wird; deckt Zählwerte, Beträge und binäre Ergebnisse ab.

logistische Regression (logistic regression)

Das binomiale GLM mit Logit-Link; konvex, lesbar, das Referenzmodell für das Kreditscoring.

Random Forest

Ein Mittel aus dekorrelierten Bäumen, die auf Bootstrap-Stichproben wachsen; senkt die Varianz mit wenig Tuning.

Gradient Boosting

Bäume, die einzeln hinzugefügt werden, jeder an den negativen Gradienten der Verlustfunktion des aktuellen Modells angepasst.

Stützvektormaschinen (support vector machines, SVM)

Ein Klassifikator, der den Abstand (Margin) maximiert; ein Kernel ersetzt die Skalarprodukte, um die Grenze zu krümmen.

k-nächste-Nachbarn-Verfahren (k-nearest neighbours, kNN)

Sagt aus den nächstgelegenen gespeicherten Beispielen voraus; erfordert eine Skalierung und leidet in hoher Dimension.

mehrschichtiges Perzeptron (multilayer perceptron, MLP)

Gestapelte affine Schichten und Nichtlinearitäten, trainiert per Fehlerrückführung.

Faltungsnetze (convolutional neural networks, CNN)

Netze aus Filtern mit geteilten Gewichten, die über ein Bild oder Signal gleiten; in der Praxis vortrainiert eingesetzt.

große Sprachmodelle (large language models, LLM)

Transformer, die darauf vortrainiert sind, das nächste Token vorherzusagen, und dann darauf ausgerichtet werden, Anweisungen zu befolgen.

Gaußsche Mischmodelle (Gaussian mixture models, GMM)

Eine Dichte als gewichtete Summe von Normalverteilungen, angepasst mit dem EM-Algorithmus; liefert weiche Zugehörigkeiten.

Hauptkomponentenanalyse (principal component analysis, PCA)

Projektion auf die Richtungen größter Varianz, gewonnen aus der SVD der zentrierten Daten.

Isolation Forest

Ein Anomaliewert, der darauf beruht, wie wenige zufällige Schnitte einen Punkt isolieren.

exponentielle Glättung (exponential smoothing, ETS)

Ein Prognosefilter, der Niveau, Trend und Saison mit Gewichten aktualisiert, die die Vergangenheit vergessen.

Uplift

Die Wirkung einer Maßnahme auf eine bestimmte Person, verlässlich nur mit Randomisierung oder ausdrücklichen Annahmen zu schätzen.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

Zurück: Data Engineering, SRE und Cloud

1. EinführungKI-Winter, Arbeitsmarkt und Methode
2. WerkzeugeKaggle, GitHub, Python: die Werkzeuge
3. Sitzung 1Projektrahmen und kleinste Quadrate
4. Sitzung 2Maximum Likelihood und logistische Regression
5. Sitzung 3Gradientenabstieg, Ridge und Lasso
6. Sitzung 4Entscheidungsschwelle und reproduzierbares ML
7. HausaufgabeML-Projekt abstecken: der Projektsteckbrief
8. Sitzung 5Kernel, SVM und Entscheidungsbäume
9. Sitzung 6Random Forests, Boosting, ehrlicher Vergleich
10. Sitzung 7SHAP, Fairness, PCA und Clustering
11. HausaufgabeEin einfaches Modell mit vollständiger Methode
12. Sitzung 8Neuronale Netze, Drift, konforme Vorhersage
13. HausaufgabeEin ausgeliefertes Machine-Learning-Projekt
14. Sitzung 9Ein Machine-Learning-Projekt verteidigen
15. ReferenzProjekt zum Kreditausfallscore
16. ReferenzAktienrenditen: XGBoost und Sentiment
17. ReferenzPython-Code für jedes ML-Modell
18. ReferenzDeep Learning, das Wesentliche
19. ReferenzML-Projekte mit offenen Daten nach Branche
20. ReferenzHandbuch für Daten- und KI-Fachleute
21. ReferenzData Engineering, SRE und Cloud
22. ReferenzPanorama der Machine-Learning-Modelle

Alle Notizen als Leseliste

Aufmerksamkeit und Transformer, Schritt für Schritt

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.