Kalibrierung von Prognosen verständlich erklärt

Kalibrierung bezeichnet die Übereinstimmung zwischen behaupteter Wahrscheinlichkeit und tatsächlichem Ausgang. Wer kalibriert ist, erlebt, dass Ereignisse mit 70 % geschätzter Chance auch in etwa 70 % der Fälle eintreffen, bei 90 % zu 90 % und so weiter über die gesamte Skala. Es ist eine Eigenschaft einer Serie von Vorhersagen, niemals einer einzelnen. Ein einzelner Call mit 70 % Konfidenz, der zutrifft, beweist noch nichts.

Wie liest man eine Kalibrierungstabelle in zehn Sekunden?

Eine Kalibrierungstabelle fasst aufgelöste Vorhersagen in Konfidenzbereiche zusammen und prüft für jeden Bereich, wie oft das Ereignis real eingetreten ist. Die angegebene Wahrscheinlichkeit steht links, die tatsächliche Trefferquote rechts. Bei perfekter Kalibrierung stimmen beide Spalten exakt überein.

Das folgende Beispiel zeigt 100 aufgelöste Vorhersagen einer Person, aufgeteilt auf sechs Bereiche (Modellrechnung zur Illustration). Ein Call ist dabei eine verbindliche Prognose mit Name und Zeitstempel.

Konfidenzbereich	Calls im Bereich	Durchschnittliche Wahrscheinlichkeit	Eingetretene Fälle	Reale Trefferquote	Differenz
0 bis 10 Prozent	8	0,05	1	0,13	+0,08
10 bis 30 Prozent	12	0,20	3	0,25	+0,05
30 bis 50 Prozent	15	0,39	6	0,40	+0,01
50 bis 70 Prozent	20	0,59	12	0,60	+0,01
70 bis 90 Prozent	25	0,78	17	0,68	-0,10
90 bis 100 Prozent	20	0,94	15	0,75	-0,19

Der entscheidende Blick gilt der Differenzspalte: Nahe null in den mittleren Bereichen, negativ bei hohen Werten, positiv bei niedrigen Werten. Diese Person leidet unter Overconfidence (Selbstüberschätzung): Bei vermeintlicher Sicherheit liegt sie seltener richtig als behauptet, und scheinbar unmögliche Ereignisse treten öfter ein als veranschlagt.

Wie äußert sich Selbstüberschätzung (Overconfidence)?

Selbstüberschätzung führt dazu, dass die hohen Wahrscheinlichkeitsbereiche zu selten eintreffen und die niedrigen zu oft. Als Kurve gegenüber der 45-Grad-Diagonale dargestellt verläuft die Linie an beiden Enden flacher als die Ideallinie.

In der obigen Tabelle liegt das Kernproblem im Bereich von 90 bis 100 Prozent: 20 Vorhersagen mit einer durchschnittlichen Konfidenz von 94 % trafen nur 15 Mal ein, was einer Trefferquote von 75 % entspricht. Fünf überraschende Fehlschläge belasten jede mathematische Gesamtbewertung schwer.

Die Korrektur erfolgt mechanisch: Wenn die eigenen 90-Prozent-Tipps real nur zu 75 % eintreffen, muss man künftig 75 % notieren. Man muss nicht zwingend mehr Fachwissen aufbauen, um die Kalibrierung zu heilen, sondern aufhören, Zahlen zu verwenden, die von der eigenen Bilanz nicht gedeckt sind. Der Forschungsbereich Adaptive Rationalität am Max-Planck-Institut für Bildungsforschung in Berlin untersucht genau diese Frage: wie Menschen unter Unsicherheit entscheiden und wie sich Entscheidungskompetenzen gezielt fördern lassen.

Warum ist mangelnde Zuversicht (Underconfidence) ebenfalls ein Fehler?

Underconfidence ist das gegenteilige Muster: Ereignisse mit 70 % genannter Wahrscheinlichkeit treffen in 85 % der Fälle ein. Die Kurve verläuft steiler als die Diagonale. Das fühlt sich vorsichtig und sicher an, ist jedoch methodisch fehlerhaft, da vorhandene Informationen nicht voll kommuniziert wurden. Leser können die unausgesprochene Sicherheit nicht erraten.

Dieses Muster tritt auch auf Prognosemärkten auf. In einer umfassenden Untersuchung (Decomposing Crowd Wisdom, Stand August 2026) analysierte Nam Anh Le 353 Millionen Trades über 429.000 Kontrakte auf Kalshi und Polymarket. Bei politischen Märkten zeigte sich eine anhaltende Underconfidence, bei der Preise unnötig eng um 50 % verharrten. Ein Marktpreis, der sich nicht festlegen mag, weist dieselbe strukturelle Schwäche auf.

Kalibrierung, Auflösung und Trennschärfe: Wo liegt der Unterschied?

Kalibrierung ist nur eine von drei Teilkomponenten einer präzisen Vorhersage.

Allan Murphy bewies 1973 in seiner Arbeit A New Vector Partition of the Probability Score, dass sich Vorhersagegüte in drei Faktoren zerlegen lässt: die Ungewissheit des Gegenstands, die Verlässlichkeit der Wahrscheinlichkeitsangaben (Kalibrierung) und die Trennschärfe (Resolution), also wie klar zwischen eintretenden und ausbleibenden Ereignissen differenziert wurde.

• Kalibrierung prüft, ob die Prozentangaben mit den realen Quoten übereinstimmen.
• Resolution prüft, ob Vorhersagen trennscharf zwischen verschiedenen Fällen unterscheiden.
• Trennschärfe (Sharpness) beschreibt die Bereitschaft, mutig von 50 Prozent abzuweichen.

Dauerhaft 50 % anzugeben ist perfekt kalibriert, besitzt aber null Trennschärfe und ist praktisch wertlos. Gute Prognostiker zeichnen sich dadurch aus, dass sie kalibriert und trennscharf zugleich sind.

In der Superforecaster-Studie von Barbara Mellers und Kollegen (2015) wiesen Superforecaster einen minimalen Kalibrierungsfehler von 0,01 auf (im Vergleich zu 0,03 und 0,04 in Kontrollgruppen) bei gleichzeitig überlegener Resolution (0,40 gegenüber 0,35 und 0,32).

Wie viele aufgelöste Vorhersagen benötigt eine Kalibrierungskurve?

Man benötigt etwa 100 aufgelöste Vorhersagen für erste Trends und mehrere Hundert für robuste Aussagen.

Dies liegt an der statistischen Streuung: Bei einer echten Trefferwahrscheinlichkeit von 70 % und 20 Vorhersagen in diesem Bereich liegt der Standardfehler bei rund 10 Prozentpunkten. Eine beobachtete Trefferquote zwischen 49 und 90 % ist bei dieser kleinen Stichprobe völlig vereinbar mit perfekter Kalibrierung. Erst bei 100 Vorhersagen pro Bereich sinkt der Standardfehler auf 4,6 Punkte, bei 400 Vorhersagen auf 2,3 Punkte.

Daraus folgen zwei Faustregeln: Ändern Sie Ihre Methodik nicht voreilig nach einem Dutzend Vorhersagen, und beachten Sie, dass eine Kalibrierungskurve über sechs Bereiche eine Gesamtstichprobe von mehreren Hundert Calls erfordert.

Wie verbessert man die eigene Kalibrierung?

Vier praxiserprobte Gewohnheiten:

1. Wahrscheinlichkeit vor der Recherche notieren. Formulieren Sie Ihre Zahl, bevor Sie den Marktpreis oder neue Meldungen ansehen. Das Verankern am bereits sichtbaren Preis verfälscht die Selbsteinschätzung.
2. Jede Vorhersage lückenlos dokumentieren. Eine nachträglich bereinigte Bilanz zerstört jede Auswertung. Unveränderliche Zeitstempel sind unverzichtbar.
3. Alle paar Monate auswerten. Erstellen Sie die obige Tabelle aus Ihren eigenen aufgelösten Calls. Die Differenzspalte zeigt genau, welche Konfidenzbereiche korrigiert werden müssen.
4. Feinere Wahrscheinlichkeitsabstufungen nutzen. Superforecaster nutzten im Good Judgment Project durchschnittlich 57 verschiedene Prozentwerte, während Kontrollgruppen grob auf 10er-Schritte rundeten. Feine Abstufungen transportieren echten Informationsgehalt.

Im Benchmark ForecastBench (ICLR 2025) erzielten Superforecaster einen Brier-Score-Median von 0,096 über 498 Fragen gegenüber 0,121 beim Bevölkerungsdurchschnitt. Saubere Kalibrierung ist ein Hauptgrund für diesen Vorsprung.

Wo kann man Kalibrierung ohne Turniere trainieren?

Dazu sind drei Faktoren nötig: regelmäßige Ereignisse mit klarer Auflösung, unlöschbare Wahrscheinlichkeitsangaben und eine Markt-Benchmark.

Auf insiderz fixiert jeder Call Ihre Einschätzung samt Zeitstempel und aktuellem Polymarket-Marktpreis. Nachträgliche Korrekturen oder Löschungen sind ausgeschlossen. Löst sich das Ereignis auf, wird der Call gegen den damaligen Marktpreis bewertet. Das Profil führt die vollständige Bilanz. Die Liste der offenen Ereignisse und das Leaderboard sind ohne Registrierung einsehbar.

Da insiderz im September 2026 gestartet ist, wächst die Datenbasis kontinuierlich. Hier ist der aktuelle Zwischenstand:

Zur mathematischen Gesamtauswertung lesen Sie den Leitfaden Brier-Score einfach erklärt. Zur Interpretation von Marktquoten informiert der Beitrag Was bedeutet eine 34-Prozent-Chance?. Die Arbeitsweisen der besten Prognostiker fasst der Artikel Superforecaster zusammen.