Superforecaster: Was sie messbar besser machen

Ein Superforecaster ist jemand, der bei Hunderten überprüfter Fragen zu den besten 2 Prozent nach Treffgenauigkeit gehörte und dieses Leistungsniveau dauerhaft hielt. Der Begriff entstammt einem wissenschaftlichen Forschungsturnier und keiner Marketingabteilung. Der messbare Vorsprung beruht auf besserer Kalibrierung, klarerer Trennung von Wahrscheinlichkeiten und leicht erlernbaren Arbeitsgewohnheiten. Nichts davon erfordert angeborenes Ausnahmetalent.

Woher stammt der Begriff der Superforecaster?

Zwischen 2011 und 2014 veranstaltete die US-Forschungsbehörde IARPA (Intelligence Advanced Research Projects Activity) drei geopolitische Prognoseturniere. Fünf universitäre Forschungsteams traten gegeneinander an, um präzise Wahrscheinlichkeitsschätzungen zu ermitteln. Als klarer Sieger ging das Good Judgment Project hervor, geleitet von Barbara Mellers und Philip Tetlock an der University of Pennsylvania. Alle Teams wurden anhand derselben mathematischen Kennzahl bewertet: dem Brier-Score, den Glenn Brier 1950 für Wetterprognosen entwickelt hatte.

Die Details der Turniere sind entscheidend für das Verständnis der Ergebnisse. Jedes Turnier dauerte rund neun Monate. Die ersten beiden Runden umfassten jeweils gut 100 Fragen, die dritte rund 150 Fragen. Im Schnitt blieben die Fragen 102 Tage lang offen. Jedes Jahr startete mit 2.200 bis 3.900 Teilnehmern. Am Ende des ersten Jahres bildeten die Projektleiter aus den besten Prognostikern kleine Eliteteams mit jeweils zwölf Personen. Diese Gruppen erhielten die Bezeichnung Superforecaster. Dokumentiert sind die Ergebnisse in der Studie Identifying and Cultivating Superforecasters von Barbara Mellers und Kollegen (Perspectives on Psychological Science, 2015).

Die statistische Erwartung lautete damals Regression zum Mittelwert. Doch sie trat nicht ein: Die Superforecaster behaupteten ihren Vorsprung im zweiten und dritten Turnierjahr souverän. Der Forschungsbereich Adaptive Rationalität am Max-Planck-Institut für Bildungsforschung in Berlin unter Ralph Hertwig untersucht dieselbe Frage aus der Kognitionsforschung: wie Menschen unter Unsicherheit entscheiden und wie sich Entscheidungskompetenzen gezielt fördern lassen.

Wie sieht der gemessene Leistungsvorsprung aus?

Kennzahl	Superforecaster oder Eliteteam	Vergleichsgruppe	Studie und Datum
Standardisierter Brier-Score (Schnitt Jahr 2 und 3)	-0,34	-0,14 nächste Stufe, +0,04 Rest	Mellers et al., 2015
Kalibrierungsfehler	0,01	0,03 nächste Stufe, 0,04 Rest	Mellers et al., 2015
Diskriminationsfähigkeit (Resolution)	0,40	0,35 nächste Stufe, 0,32 Rest	Mellers et al., 2015
Fläche unter der ROC-Kurve (AUC)	96 Prozent	84 Prozent nächste Stufe, 75 Prozent Rest	Mellers et al., 2015
Genutzte unterschiedliche Wahrscheinlichkeitswerte	57	29 nächste Stufe, 30 Rest	Mellers et al., 2015
Abgegebene Prognosen pro Frage (Jahr 1)	2,77	1,47 Vergleichsgruppen	Mellers et al., 2015
Gelesene Nachrichtenartikel (Jahr 2 und 3)	255	55 und 58	Mellers et al., 2015
Gesamt-Brier-Score (Eliteteam vs. 300+ Teilnehmer)	0,166	0,228	Atanasov et al., 2024
Medianer Brier-Score bei 498 Benchmark-Fragen	0,096	0,121 öffentlicher Median	Karger et al., ICLR 2025

Zwei Hinweise zur Interpretation der Tabelle: Das Good Judgment Project nutzte die ursprüngliche Brier-Definition für zwei Ausgänge auf einer Skala von 0 bis 2. Diese Werte sind daher nicht direkt mit den 0-bis-1-Werten der letzten Zeile vergleichbar. Die standardisierten Scores beziehen sich jeweils auf den Gesamtdurchschnitt derselben Fragen, was einen fairen Vergleich ermöglicht.

Welche konkreten Gewohnheiten machen den Unterschied?

Die Forschung identifiziert sieben zentrale Arbeitsgewohnheiten, sortiert nach der praktischen Reihenfolge ihrer Anwendung.

1. Die Außenperspektive zuerst einnehmen. Fragen Sie vor den Details des Einzelfalls immer nach der Basiserwartung (Base Rate): Wie oft traten Ereignisse dieser Vergleichsklasse historisch auf?
2. Die Fragestellung in Teilaspekte zerlegen. Die Dekomposition komplexer Probleme ist die wertvollste Einzelfertigkeit bei Prognosen.
3. Die Abwicklungskriterien vor der Antwort studieren. Ein Großteil aller Streitigkeiten bei Prognosen resultiert aus unklaren Begriffsdefinitionen.
4. Präzise Zahlen nennen. Superforecaster nutzten im Schnitt 57 verschiedene Prozentwerte und wählten häufig feine 1-Prozent-Schritte statt runder Zehnerwerte.
5. Häufig und in kleinen Schritten anpassen. Im ersten Turnierjahr gaben Superforecaster 2,77 Schätzungen pro Frage ab, verglichen mit 1,47 in Kontrollgruppen. Die Frequenz der Informationsverarbeitung war der stärkste Verhaltensindikator für Treffsicherheit.
6. Gründlich recherchieren. In den Jahren zwei und drei öffneten Superforecaster durchschnittlich 255 Fachartikel, während Kontrollgruppen nur auf 55 bis 58 Artikel zugriffen.
7. Ergebnisse systematisch auswerten. Das Projekt erfasste den Lernfortschritt anhand sinkender Fehlerraten. Superforecaster lernten schneller aus vergangenen Fehlern als andere.

Diese Gewohnheiten gingen auch mit kognitiven Unterschieden einher. Superforecaster lagen bei Tests zur fluiden Intelligenz und zum politischen Allgemeinwissen mindestens eine Standardabweichung über dem Bevölkerungsdurchschnitt. Die Studie resümiert treffend: Sie wurden teils entdeckt, teils geformt. Der formbare Teil entspricht exakt den oben genannten Schritten.

Wie funktioniert die Zerlegung in Teilprobleme?

Dekomposition bedeutet, eine schwer schätzbare Gesamtwunschfrage durch mehrere präzise schätzbare Teilfragen zu ersetzen.

Die Frage „Wird dieses Gesetz vor Jahresende verabschiedet?“ lässt sich als Block kaum seriös beziffern. In Einzelteile zerlegt lauten die Fragen: Passiert der Entwurf den zuständigen Ausschuss? Bleiben im Parlamentskalender ausreichend Sitzungstage? Unterstützt die Fraktionsspitze die Abstimmung? Wurden vergleichbare Gesetze in ähnlichen Konstellationen verabschiedet? Jeder Teilaspekt besitzt eine historische Basisrate. Multipliziert man die zwingend notwendigen Einzelschritte, entsteht eine fundierte Ausgangswahrscheinlichkeit statt eines bloßen Bauchgefühls.

Der mechanische Vorteil: Schwachstellen werden sofort sichtbar. Wenn von vier Teilfragen eine einzige die gesamte Unsicherheit trägt, konzentrieren Sie Ihre Recherche zielgerichtet auf diesen Punkt. Trifft eine neue Nachricht ein, betrifft sie meist nur ein spezifisches Teilproblem.

Warum sind kleine Anpassungen so wichtig?

Weil die meisten Nachrichten eine Wahrscheinlichkeit nur leicht verschieben. Die Disziplin, Schätzungen in Nuancen anzupassen, unterscheidet eine echte Prognose von einer impulsiven Überreaktion.

Häufige, kleine Aktualisierungen waren im Good Judgment Project der stärkste Indikator für hohe Treffsicherheit. Der Grund ist logisch: Ein Prognostiker, der eine Frage wöchentlich überprüft, verarbeitet über zehn Wochen zehn kleine Hinweise. Wer einen Wert einmal festlegt und vergisst, verarbeitet null Signale. Wer bei einer einzelnen Schlagzeile von 20 auf 80 Prozent springt, ersetzt alle vorherigen Erkenntnisse durch ein einzelnes Ereignis.

Feine Abstufungen bewahren zudem die Granularität. Wer nur in 10-Prozent-Schritten denkt, kann den Unterschied zwischen schwachen und moderaten Indizien nicht abbilden.

Warum ist eine transparente Bilanz unerlässlich?

Ohne Punktestand gibt es kein Feedback. Ohne Feedback bleiben die beschriebenen Methoden bloße Absichtserklärungen.

Hier scheitert die herkömmliche öffentliche Debatte. Vorhersagen werden oft so formuliert, dass sie nachträglich gelöscht, ignoriert oder umgedeutet werden können. Eine veränderbare Bilanz liefert keinerlei Erkenntnis über die Urteilskraft einer Person. Das Ergebnis des Good Judgment Project beruhte darauf, dass jede Prognose mit einem Zeitstempel versehen, nach festen Regeln bewertet und unabänderlich fixiert war.

Ebenso wichtig ist ein objektiver Vergleichsmaßstab (Benchmark). Eine isolierte Trefferquote sagt wenig aus, wenn die Fragen trivial waren. Erst der direkte Vergleich mit einem Marktpreis, einer Basisrate oder anderen Prognostikern macht aus einer Zahl einen echten Nachweis individueller Urteilsfähigkeit.

Wie schneiden Superforecaster gegen Märkte und KI ab?

Im Vergleich zu Prognosemärkten zeigt die Forschung: Die Zusammensetzung der Gruppe ist wichtiger als der Handelsmechanismus. In der Arbeit Crowd prediction systems: Markets, polls, and elite forecasters (International Journal of Forecasting, 2024) verglichen Pavel Atanasov, Jens Witkowski, Barbara Mellers und Philip Tetlock Prognosemärkte mit strukturierten Befragungen von Eliteteams. Kleine Eliteteams übertrafen größere Gruppen deutlich, während Markt- und Befragungsmethode statistisch gleichauf lagen. Die Befragung der besten 2 Prozent erzielte einen Brier-Score von 0,166 gegenüber 0,228 bei einer Gruppe von über 300 Teilnehmern. Frühere Studien zeigten zudem, dass Eliteteams in Befragungen treffsicherer waren als professionelle Geheimdienstanalysten mit Zugang zu Verschlusssachen.

Im Vergleich zu KI verändern sich die Daten rasant. Auf dem ForecastBench-Datensatz (ICLR 2025) erreichten Superforecaster bei 498 Fragen einen medianen Brier-Score von 0,096, verglichen mit 0,121 beim öffentlichen Median und 0,122 beim damals besten Sprachmodell Claude 3.5 Sonnet (Stand der menschlichen Daten: Juli 2024). Die Autoren prognostizieren, dass neuere KI-Modelle das Niveau von Superforecastern in naher Zukunft erreichen können.

Wie lässt sich die Methode ohne Forschungsturnier anwenden?

Sie benötigen lediglich drei Komponenten: Fragen mit klarem Ereigniszeitpunkt, eine unveränderliche Aufzeichnung Ihrer Prognose und einen objektiven Benchmark.

Plattformen wie Metaculus bieten bewertete Fragen. insiderz stellt den Benchmark automatisch bereit. Ein Call auf insiderz ist eine konkrete Ja- oder Nein-Aussage mit Angabe Ihres Vertrauensniveaus (Sehr sicher, Ziemlich sicher oder Leicht) zu denselben Ereignissen wie auf Polymarket. Der Call wird im Moment der Veröffentlichung samt Zeitstempel und aktuellem Marktpreis fixiert. Nachträgliche Korrekturen oder Löschungen sind technisch ausgeschlossen. Wird das Ereignis aufgelöst, wird Ihre Schätzung mit dem fixierten Marktpreis verglichen.

Es kommt kein echtes Geld zum Einsatz. Die Rangliste der Insider ordnet Teilnehmer nach Kennzahlen wie „Schlägt den Markt“, aufgelösten Ereignissen, durchschnittlicher Edge und dem Faktor Früh. Offene Ereignisse finden Sie in der Marktübersicht.

Erfahren Sie mehr über die mathematischen Grundlagen im Artikel Brier-Score einfach erklärt. Typische Denkfehler beleuchtet unser Beitrag zur Kalibrierung von Wahrscheinlichkeiten. Wie Sie die Methoden am Markt anwenden, zeigt der Leitfaden den Markt schlagen.