Prädiktive Analytik für Entscheidungsträger: was Modelle lernen, vier Fallen und der Preis jedes Fehlers

Was ein Modell lernt und was es nicht wissen kann

Ein Modell betrachtet vergangene Fälle mit bekanntem Ausgang, findet ein Muster und nutzt es, um den Ausgang neuer Fälle zu schätzen.

Ein Prognosemodell hat nichts Magisches. Man zeigt ihm viele vergangene Fälle, deren Antwort bekannt ist; es findet eine Regelmäßigkeit, die das damals Bekannte mit dieser Antwort verbindet, und wendet sie auf neue Fälle an, deren Antwort noch unbekannt ist. Der Foliensatz veranschaulicht die Idee mit einem Galtonbrett: Der Weg einer einzelnen Kugel ist unvorhersehbar, die Form des Haufens nicht.

In einer Tabelle mit einer Zeile pro Bestellung heißen die Spalten, die das Modell zum Schätzen nutzt, Merkmale (features), und die Spalte, die es zu erraten versucht, heißt Zielvariable (target). Daraus folgen sofort zwei Regeln. Jedes Merkmal muss zum Zeitpunkt der Prognose verfügbar sein, und die Zielvariable muss für die vergangenen Zeilen bekannt sein, sonst gibt es nichts zu lernen. Deshalb sind auch die Zeilenprüfungen aus der SQL-Sitzung wichtig: Ein Join, der Bestellungen verdoppelt hat, lässt einige davon im Training doppelt zählen.

Drei blinde Flecken

• Was keine Spalte erfasst. Ein Streik, ein Unwetter oder ein Verkäufer, dem die Ware ausgeht, bleiben unsichtbar, wenn nichts in den Daten sie festhält.
• Was sich verändert hat. Ein Modell nimmt an, dass die Zukunft seiner Vergangenheit ähnelt, und die Daten des Falls enden 2018: Neue Transportdienstleister oder Zahlungsgewohnheiten kennt es nicht.
• Warum Dinge geschehen. Ein Modell findet Zusammenhänge, die Vorhersagen ermöglichen; es sagt nicht, was was verursacht.

Zurück zum Inhalt.

Drei Modellfamilien, ausgewählt nach der Frage

Wie viel, welche Klasse oder welche Gruppen: Die betriebliche Frage bestimmt die Art des Modells, nicht die verfügbaren Daten.

Die Regressionsanalyse (regression) sagt einen Zahlenwert voraus, die Klassifikation (classification) eine Kategorie. Die Clusteranalyse (clustering) ist grundlegend anders: Es gibt keine Zielvariable, der Algorithmus gruppiert ähnliche Fälle, und es ist Sache des Analysten und der Führungskraft zu beurteilen, ob die Gruppen für das Geschäft etwas bedeuten. Kundensegmentierung ist die klassische Anwendung.

Dasselbe betriebliche Thema kann zu zwei Familien führen. Ob eine Bestellung verspätet sein wird, ist eine Klassifikationsfrage; wie viele Tage sie brauchen wird, eine Regressionsfrage. Die richtige Wahl hängt von der Entscheidung ab, die die Prognose unterstützen soll. Der Foliensatz lässt die Studierenden dann über eine Reihe kurzer betrieblicher Fragen abstimmen und fragt jede Gruppe, ob in ihrem eigenen Auftrag eine nützliche Prognose steckt. Nicht jeder Auftrag braucht eine: Eine saubere Beschreibung des richtigen Problems schlägt oft eine schwache Prognose.

Zurück zum Inhalt.

Testdaten und Überanpassung

Ein Modell muss an Fällen bewertet werden, die es beim Lernen nie gesehen hat, denn es kann Rauschen auswendig lernen und auf seinen eigenen Trainingsdaten perfekt aussehen.

Der Foliensatz vergleicht die Bewertung eines Modells mit einer Prüfung. Würde die Prüfung die Übungsfragen wiederverwenden, bekäme, wer die Antworten auswendig gelernt hat, die volle Punktzahl, ohne irgendetwas verstanden zu haben. Deshalb wird ein Teil der Daten, die Testdaten (holdout data), beiseitegelegt, dem Modell beim Lernen nie gezeigt und am Ende ein einziges Mal zu seiner Bewertung verwendet. Bei datierten Daten ist es eine gute Gewohnheit, die jüngsten Monate zurückzuhalten, was den Einsatz des Modells für die Zukunft nachahmt.

Jeder Datensatz mischt ein echtes Muster mit Rauschen, also zufälligen Schwankungen, die nicht wiederkehren. Ein ausreichend flexibles Modell kann sich durch jeden Trainingspunkt biegen; es sieht dann auf den Trainingsdaten makellos aus und versagt bei neuen Bestellungen, weil es das Rauschen gelernt hat, als wäre es das Muster. Das ist Überanpassung (Overfitting).

Provost und Fawcett stellen das als Anpassungsgrafik (fitting graph) dar: Gegen die Modellkomplexität aufgetragen, sinkt der Trainingsfehler immer weiter, während der Testfehler zunächst sinkt und dann wieder steigt, sobald Rauschen auswendig gelernt wird. Das Modell, das sich zu behalten lohnt, liegt am Tiefpunkt der Testkurve, nicht dort, wo die Trainingskurve am besten aussieht. Der Foliensatz präsentiert die Grafik als Konzept, nicht als Messung.

Zurück zum Inhalt.

Data Leakage: Informationen aus der Zukunft

Data Leakage entsteht, wenn sich ein Modell auf etwas stützt, das zum Zeitpunkt der Prognose noch nicht bekannt wäre.

Angenommen, Sie wollen gleich bei der Freigabe einer Bestellung vorhersagen, ob sie verspätet geliefert wird. Manche Spalten sind zu diesem Zeitpunkt verfügbar, andere werden erst danach gefüllt. Ein Modell, das die zweite Sorte nutzt, schummelt: Es glänzt im Test und scheitert am ersten Tag des echten Einsatzes. Das nennt man Data Leakage.

Die beiden offensichtlichen Leaks im Foliensatz klingen absurd, sobald man sie ausspricht: das Lieferdatum, um die Verspätung vorherzusagen, der Bewertungstext, um eine schlechte Bewertung vorherzusagen. In einer Tabelle mit Dutzenden Spalten übersieht man sie leicht. Subtilere Leaks verstecken sich in Feldern, die nach dem Ereignis aktualisiert werden; in der Datei des Falls gibt der Bestellstatus den letzten Stand jeder Bestellung wieder, nicht ihren Stand beim Kauf.

Zurück zum Inhalt.

Verzerrte Stichproben und Muster, die keine Ursachen sind

Ein Modell kennt nur die Fälle, die man ihm gezeigt hat, und ein Muster, das gut vorhersagt, sagt nichts darüber, in welche Richtung die Ursache wirkt.

Eine verzerrte Stichprobe (biased sample) bedeutet, dass die Daten nur einen Teil der Welt beschreiben, auf die die Entscheidung angewendet wird. Im Fall gibt es eine Bewertungsnote nur, wenn ein Kunde die Zufriedenheitsumfrage beantwortet hat, und einen Kommentar nur, wenn er zusätzlich etwas geschrieben hat; wer schreibt, ist vielleicht besonders zufrieden oder besonders verärgert. Die Daten decken ein einziges Land über etwa zwei Jahre ab. Und wer nur Verkäufer mit vielen Bestellungen behält, um die Mittelwerte zu stabilisieren, untersucht die Verkäufer, die geblieben sind, statt jene, die gegangen sind. Ein Bericht sollte angeben, wer in seinen Daten vorkommt und wer nicht.

Die vierte Falle ist eine Korrelation, die als Ursache gelesen wird. Der Foliensatz nennt zwei Hypothesen, ausdrücklich als zu prüfende Vermutungen und nicht als Ergebnisse dargestellt. Falls sich zeigt, dass in Raten bezahlte Bestellungen größer sind, lohnt es sich nur dann, Ratenzahlung zu fördern, wenn das Bezahlen in Raten die Ausgaben erhöht; wenn dagegen große Warenkörbe die Leute dazu bringen, Ratenzahlung zu wählen, steigert die Förderung den Umsatz nicht, und ein Modell, das den Bestellwert aus der Ratenzahlung vorhersagt, funktioniert in beiden Geschichten gleich gut. Wenn verspätete Bestellungen schlechtere Bewertungen erhalten, können die Entfernung oder die Produktkategorie sowohl die Verspätung als auch die Unzufriedenheit verursachen.

Der Foliensatz schließt diesen Teil mit eigens erfundenen Übungsfällen ab, bei denen die Studierenden abstimmen, welche Falle am Werk ist. Im Memo am Ende der Sitzung werden diese vier Fallen zu den Grenzen, die eine Gruppe benennen muss.

Zurück zum Inhalt.

Fehler haben einen Preis: Konfusionsmatrix, Precision und Recall

Ein Klassifikator macht zwei Arten von Fehlern, Fehlalarme und übersehene Fälle, und sie kosten selten gleich viel.

Jede Vorhersage eines Ja-oder-Nein-Modells landet in einem von vier Feldern einer Konfusionsmatrix (confusion matrix). Zwei sind richtig: die verspätete Bestellung, die markiert wurde (richtig positiv, TP), und die pünktliche Bestellung, die in Ruhe gelassen wurde (richtig negativ, TN). Zwei sind auf unterschiedliche Weise falsch: ein Fehlalarm, der einen Kontakt verschwendet (falsch positiv, FP), und ein übersehener Fall, der ein Problem durchlässt (falsch negativ, FN).

Die Accuracy-Falle

Die Accuracy misst den Anteil richtiger Vorhersagen. Wenn das Ereignis selten ist, führt sie in die Irre. Im hypothetischen Beispiel des Foliensatzes kommen neun von zehn Bestellungen pünktlich an, also erreicht ein Modell, das immer „pünktlich“ antwortet, 90 % und ist nutzlos. Akzeptieren Sie nie eine Accuracy-Angabe, ohne nach der Basisrate des Ereignisses zu fragen.

Zwei andere Verhältniszahlen beantworten die Fragen, die eine Führungskraft tatsächlich stellt. Precision: Wenn das Modell Alarm schlägt, wie oft liegt es richtig, mit anderen Worten, wie viel Aufwand wird verschwendet? Recall: Wie viele aller echten Probleme fängt es ab, mit anderen Worten, wie viel rutscht noch durch?

Durchgerechnetes Beispiel aus dem Foliensatz (die Musterprüfungsfrage des Syllabus)

1. Die Ausgangslage. Das Modell markiert 200 Bestellungen als gefährdet, eine negative Bewertung zu erhalten; 120 davon erhalten tatsächlich eine, und 80 weitere Bestellungen mit negativer Bewertung bleiben unmarkiert.
2. Die Felder füllen. TP = 120, FP = 200 − 120 = 80, FN = 80. Die richtig negativen Fälle sind nicht angegeben und werden auch nicht gebraucht: Diese Bestellungen kosten nichts und bringen nichts.
3. Precision. 120 / 200 = 0,60: Sechs von zehn Alarmen zeigen auf ein echtes Problem.
4. Recall. 120 / (120 + 80) = 0,60: Das Modell fängt sechs von zehn Problemen ab.
5. Ein Zufall. Beide Verhältniszahlen betragen hier nur zufällig 60 %; sie beantworten unterschiedliche Fragen und weichen in der Regel voneinander ab.

Danach versieht der Foliensatz die Felder mit Geldbeträgen: Ein Kontakt kostet im Voraus 2 € und verhindert die negative Bewertung, und jede vermiedene negative Bewertung ist 10 € wert. Nur die markierten Bestellungen werden kontaktiert, daher ist der Nettowert des Modelleinsatzes der Wert der abgefangenen Probleme abzüglich der Kosten aller Kontakte. Die Studierenden berechnen ihn im Unterricht, um zu entscheiden, ob das Modell eingesetzt werden soll, und rechnen dann noch einmal, wobei sich nur der Preis eines Kontakts ändert; das zeigt, dass die Entscheidung kippen kann, während das Modell dasselbe bleibt. Das ist die Erwartungswert-Überlegung aus Kapitel 7 von Provost und Fawcett.

Die Schwelle wählen

Ein Klassifikator antwortet selten mit Ja oder Nein: Er vergibt für jede Bestellung einen Score, und ein Mensch legt die Entscheidungsschwelle (cut-off) fest, ab der das Unternehmen handelt. Senkt man sie, werden mehr Bestellungen markiert, der Recall steigt also, während die Precision meist sinkt und mehr Kontakte bezahlt werden müssen; hebt man sie an, geschieht das Gegenteil, und es werden mehr Probleme übersehen. Welches Gleichgewicht richtig ist, ist keine technische Frage. Mit den Preisen des Foliensatzes lohnt sich die Kontaktaufnahme bei einer Bestellung mit dem Risiko $p$, wenn der erwartete Gewinn die Kosten übersteigt:

Diese Regel setzt voraus, dass sich der Score als Wahrscheinlichkeit lesen lässt, was das Team, das das Modell gebaut hat, bestätigen sollte. Jede Gruppe entscheidet dann für ihren eigenen Auftrag, ob ein Fehlalarm oder ein übersehener Fall der teurere Fehler ist und wer jeweils dafür bezahlt.

Zurück zum Inhalt.

Zwei Modelle für eine Entscheidung vergleichen

Zwei Modelle werden auf denselben Testdaten, bei derselben Schwelle und mit derselben Kostentabelle verglichen, und nichts zu tun ist eine legitime Antwort.

Der praktische Teil läuft in einem vorbereiteten Google-Colab-Notebook. Die Studierenden ändern Einstellungen in Formularfeldern und führen die Zellen erneut aus; den Code berühren sie nie. Sie lesen die Ausgaben in der Reihenfolge der Sitzung: welche Merkmale jedes Modell nutzt, die vier Ergebnisse auf den Testdaten, Precision und Recall, dann das Geld.

• Legen Sie für beide Modelle zuerst dieselbe Schwelle und dieselbe Kostentabelle fest; mit unterschiedlichen Einstellungen würden Sie zwei Entscheidungen vergleichen, nicht zwei Modelle.
• Verschieben Sie dann die Schwelle, beobachten Sie den Nettowert und notieren Sie, welche Schwelle Sie wählen würden und warum.
• Eines der beiden Modelle stützt sich auf ein Merkmal mit Data Leakage: Finden Sie es, indem Sie bei jedem Merkmal fragen, wann es bekannt wird.
• „Keines von beiden“ ist eine gültige Entscheidung, sofern sie begründet wird.

Wenn zwei Gruppen aus denselben Zahlen unterschiedliche Modelle wählen, haben sie die Fehler meist unterschiedlich bepreist, und genau darum geht es an diesem Nachmittag. Die Sitzung endet mit einem einseitigen Memo für einen Entscheidungsträger, der das Notebook nicht gesehen hat: was das Modell vorhersagt, wie gut (Precision, Recall und Nettowert, mit Nennung von Modell und Schwelle), welche Grenzen dieser Entscheidungsträger kennen muss und die Entscheidung samt dem, was sie ändern würde. Ein starkes Memo liefert Zahlen, die eine Führungskraft prüfen kann, benennt eine Grenze klar und schlägt eine Maßnahme vor, etwa einen Test in einer Region, statt eine einzige Accuracy-Zahl anzuführen.

Fünf Fragen, bevor Sie ein Prognosemodell kaufen

1. Basisrate. Wie hoch ist die Basisrate des Ereignisses, und welches Ergebnis erzielte ein Modell, das es nie vorhersagt?
2. Holdout. Wurde es an Fällen getestet, die es nie gesehen hatte?
3. Data Leakage. Nutzt es etwas, das erst später bekannt ist?
4. Stichprobe. Mit welchen Fällen wurde es trainiert, und wer fehlt?
5. Kosten. Wie hoch sind Precision und Recall, und was kostet uns jede Fehlerart?

Zurück zum Inhalt.

Das Wichtigste in Kürze

1. Die Frage wählt die Modellfamilie: wie viel, welche Klasse oder welche Gruppen.
2. Beurteilen Sie ein Modell nur an Daten, die es nie gesehen hat; eine perfekte Anpassung an die Trainingsdaten ist ein Warnsignal, kein Ergebnis.
3. Wenn ein Modell zu gut aussieht, um wahr zu sein, prüfen Sie, wann jedes Merkmal bekannt wird, bevor Sie feiern.
4. Fragen Sie, wer in den Daten fehlt, bevor Sie verallgemeinern, was ein Modell gelernt hat.
5. Ein Muster, das vorhersagt, ist kein Beweis für eine Ursache; vergleichen Sie Gleiches mit Gleichem, bevor Sie eine Abhilfe finanzieren.
6. Die Accuracy verbirgt seltene Ereignisse: Lesen Sie Precision und Recall und bepreisen Sie dann jede Fehlerart, bevor Sie ein Modell oder eine Schwelle wählen.

Glossar

Merkmale (features)

Spalten, die ein Modell für seine Schätzung nutzt; sie müssen zum Zeitpunkt der Prognose bekannt sein.

Zielvariable (target)

Die Spalte, die ein Modell zu erraten versucht, nur für vergangene Fälle bekannt.

Regressionsanalyse (regression)

Ein Modell, das einen Zahlenwert vorhersagt, etwa eine Anzahl von Tagen.

Klassifikation (classification)

Ein Modell, das eine Kategorie vorhersagt, etwa verspätet oder pünktlich.

Clusteranalyse (clustering)

Gruppierung ähnlicher Fälle ohne Zielvariable; was die Gruppen bedeuten, beurteilen Menschen.

Testdaten (holdout data)

Daten, die beim Lernen des Modells beiseitegelegt und einmal zu seiner Bewertung verwendet werden.

Überanpassung (Overfitting)

Das Lernen des Rauschens der Trainingsdaten: dort perfekt, bei neuen Fällen fehlerhaft.

Data Leakage

Die Nutzung von Informationen, die zum Zeitpunkt der Prognose noch nicht verfügbar wären.

verzerrte Stichprobe (biased sample)

Daten, die nur einen Teil der Population abdecken, auf die die Entscheidung angewendet wird.

Konfusionsmatrix (confusion matrix)

Die Tabelle mit vier Feldern für richtig und falsch positive und negative Fälle.

Accuracy

Anteil richtiger Vorhersagen; irreführend, wenn das Ereignis selten ist.

Precision

Anteil der markierten Fälle, die echte Probleme sind.

Recall

Anteil der echten Probleme, die das Modell markiert.

Entscheidungsschwelle (cut-off)

Der Score, ab dem das Unternehmen auf eine Prognose hin handelt; festgelegt durch die Kosten der Fehler.

Die anderen Notizen des Kurses

Eine öffentliche Zusammenfassung pro Foliensatz, in der Reihenfolge des Kurses.

Zurück: SQL-Grundlagen für FührungskräfteWeiter: Generative KI, DSGVO und AI Act

1. Sitzung 1Von Daten zu Entscheidungen
2. Sitzung 2Datenvisualisierung und Storytelling
3. Sitzung 3SQL-Grundlagen für Führungskräfte
4. Sitzung 4Prädiktive Analytik für Entscheidungsträger
5. Sitzung 5Generative KI, DSGVO und AI Act
6. Sitzung 6Datenerkenntnisse präsentieren

Alle Notizen als Leseliste

Über diese Notizen

Vom Dozenten auf Grundlage der Folien verfasst, als öffentliche Zusammenfassung: die Kernideen, die Formeln und ein durchgerechnetes Beispiel. Die Übungen, ihre Lösungen, die Tests und die Bewertung bleiben im Foliensatz, für die Studierenden des Kurses.

Stand: 16. Oktober 2026.