Brier-Score einfach erklärt: Formel und Interpretation
Von insiderz6 Min. Lesezeit
Der Brier-Score misst den Abstand zwischen geschätzten Wahrscheinlichkeiten und der Realität. Für jede Prognose subtrahiert man den tatsächlichen Ausgang (1 für eingetreten, 0 für nicht eingetreten) von der genannten Wahrscheinlichkeit und quadriert die Differenz. Über alle Vorhersagen gemittelt ergibt sich der Score: 0 ist perfekt, 0,25 entspricht dauerhaftem 50:50-Raten und 1 ist das schlechtestmögliche Ergebnis.
Was ist der Brier-Score in einem Satz und an einem Beispiel?
In einem Satz: Der Brier-Score ist der durchschnittliche quadrierte Fehler einer Wahrscheinlichkeitsprognose, bei der das eingetretene Ereignis mit 1 und das Nichteintreffen mit 0 bewertet wird.
In einem Beispiel: Sie schätzen die Wahrscheinlichkeit für den Wahlsieg eines Kandidaten auf 70 % (0,70). Der Kandidat gewinnt. Die Abweichung beträgt 1 minus 0,70 gleich 0,30. Quadriert ergibt dies 0,09. Wäre dies Ihre einzige Vorhersage, läge Ihr Brier-Score bei 0,09.
Die Kennzahl stammt aus der Meteorologie. Glenn Brier entwickelte sie 1950 in seiner Arbeit Verification of Forecasts Expressed in Terms of Probability, um Regenwahrscheinlichkeiten verlässlich zu prüfen. Der Deutsche Wetterdienst (DWD) nennt den Brier-Score als Beispiel für die Verifikation von Ensemble-Vorhersagen: Er beschreibt den quadrierten Fehler der berechneten Wahrscheinlichkeit. Seither gilt er als weltweiter Standard zur Messung von Vorhersagegenauigkeit.
Wie lautet die mathematische Formel?
Die Grundformel lautet: Der Brier-Score ist der Mittelwert aus (p minus o) zum Quadrat, wobei p die geschätzte Wahrscheinlichkeit zwischen 0 und 1 darstellt und o das Ergebnis (1 für Ja, 0 für Nein).
Dabei ist eine methodische Besonderheit zu beachten: In Briers ursprünglicher Definition von 1950 wurde der quadrierte Fehler über alle möglichen Ausgänge aufsummiert, was bei Ja/Nein-Fragen zu einer Skala von 0 bis 2 führte. Die heute gängige Standardkonvention für binäre Ereignisse betrachtet lediglich die Abweichung des Zielereignisses und bewegt sich auf einer Skala von 0 bis 1. Beide Varianten unterscheiden sich exakt um den Faktor zwei. Mellers und Kollegen nutzten in ihrer Studie zu Superforecastern von 2015 die Skala bis 2. Prüfen Sie daher vor dem Vergleich zweier Werte stets die verwendete Skala.
Ein durchgerechnetes Beispiel
Fünf Calls, fünf Ausgänge, ein Gesamtergebnis. Die Ergebnisspalte führt 1 für eingetreten und 0 für nicht eingetreten. Ein Call ist dabei eine verbindliche Prognose mit Name und Zeitstempel.
| Call | Eigene Wahrscheinlichkeit | Ergebnis | Fehler | Quadrierter Fehler |
|---|---|---|---|---|
| Amtsinhaber gewinnt Wiederwahl | 0,85 | 1 | 0,15 | 0,0225 |
| Gesetzesentwurf passiert vor Dezember | 0,60 | 0 | 0,60 | 0,3600 |
| Leitzinssenkung bei nächster Sitzung | 0,30 | 0 | 0,30 | 0,0900 |
| Mannschaft qualifiziert sich | 0,95 | 1 | 0,05 | 0,0025 |
| Fusion wird in diesem Quartal vollzogen | 0,40 | 1 | 0,60 | 0,3600 |
Die quadrierten Fehler summieren sich auf 0,835. Geteilt durch fünf Vorhersagen ergibt dies einen Brier-Score von 0,167. Am stärksten belasten jene beiden Vorhersagen das Gesamtergebnis, bei denen mit hoher Sicherheit auf das falsche Ergebnis gesetzt wurde. Genau das bezweckt die Quadrierung: Ein Irrtum mit 60 % Differenz wird sechzehnmal so schwer bestraft wie ein kleiner Fehler mit 15 % Differenz.
Warum ist 0,25 der entscheidende Referenzwert?
0,25 ist der Score, den man erzielt, wenn man auf jede Frage ausnahmslos 50 % antwortet. Die Differenz beträgt stets 0,5, und 0,5 im Quadrat ergibt exakt 0,25. Das gilt unabhängig davon, was geschieht und wie anspruchsvoll die Fragen sind.
Deshalb markiert 0,25 die Grenze zwischen Informationsgewinn und Rauschen. Ein Wert über 0,25 bedeutet, dass die eigenen Wahrscheinlichkeiten schlechter waren als pures Nichtwissen: Man hätte besser abgeschnitten, wenn man jede Antwort verweigert hätte. Ein Score unter 0,25 belegt echten Informationsgehalt.
Was gilt als guter Brier-Score?
Es gibt keinen universellen Richtwert, da die Punktzahl maßgeblich von den vorgelegten Fragen abhängt. Wer ausschließlich fast sichere Ereignisse tippt, erzielt mühelos bessere Werte als jemand, der hochgradig unsichere Fragen analysiert. Ein Brier-Score ohne Angabe des Fragenkatalogs besitzt keine Aussagekraft.
Wissenschaftliche Studien liefern jedoch verlässliche Orientierungspunkte:
| Prognostiker oder Regel | Brier-Score | Fragenset | Datum |
|---|---|---|---|
| Perfekter Prognostiker | 0,000 | Beliebig | Definition |
| Superforecaster-Median (Marktfragen) | 0,074 | ForecastBench (N=76) | Juli 2024 |
| Superforecaster-Median (Gesamt) | 0,096 | ForecastBench (N=498) | Juli 2024 |
| Bevölkerungsdurchschnitt (Gesamt) | 0,121 | ForecastBench (N=498) | Juli 2024 |
| Bestes Sprachmodell (Claude 3.5 Sonnet) | 0,122 | ForecastBench (N=498) | Juli 2024 |
| Dauerhaft 50 Prozent Schätzung | 0,250 | Beliebig | Definition |
| Maximal falscher Prognostiker | 1,000 | Beliebig | Definition |
Die Datensätze stammen aus ForecastBench, einem Prognose-Benchmark, der auf der ICLR 2025 von Ezra Karger, Philip Tetlock und Koautoren veröffentlicht wurde. Die menschlichen Vergleichsgruppen wurden im Juli 2024 erhoben. Superforecaster übertrafen sowohl die Allgemeinheit als auch das führende Sprachmodell statistisch hochsignifikant (p < 0,001).
Auffällig ist der Unterschied zwischen Marktfragen (0,074) und dem Gesamtkatalog (0,096): Fragen aus liquiden Prognosemärkten fielen allen Gruppen leichter, was erneut belegt, warum Rohwerte nicht über unterschiedliche Fragensets hinweg verglichen werden dürfen.
Warum lässt sich der Score nicht durch 50 Prozent manipulieren?
Weil der Brier-Score eine sogenannte Proper Scoring Rule (strikte Bewertungsregel) ist. Das bedeutet: Der mathematische Erwartungswert fällt genau dann am besten aus, wenn man die eigene ehrliche Wahrscheinlichkeitsüberzeugung angibt. Wer insgeheim eine Chance von 80 % vermutet, aber aus Vorsicht 65 % angibt, verschlechtert seinen erwarteten Score.
Die Logik dahinter: Das Verzerren in Richtung 50 % mildert zwar die Strafe im Verlustfall, kostet aber bei Eintreffen der wahrscheinlicheren Variante deutlich mehr Punkte. Die quadratische Bestrafung belohnt Ehrlichkeit.
Dauerhaft 50 % anzugeben schützt zwar vor Werten über 0,25, verhindert aber zugleich jeden Wert unter 0,25 und liefert keinen Nachweis von Urteilskraft.
Brier-Score oder Log-Score?
Beide Verfahren sind Proper Scoring Rules. Der Unterschied liegt in der Behandlung extremer Fehleinschätzungen.
Der Brier-Score quadriert den Fehler, sodass ein maximaler Fehlgriff mit 1,0 bestraft wird. Der logarithmische Score (Log-Score) berechnet den negativen Logarithmus der zugewiesenen Wahrscheinlichkeit. Eine Angabe von 0 % auf ein Ereignis, das schließlich eintritt, führt beim Log-Score zu einer unendlichen Strafe. Der Log-Score reagiert sensibler an den Rändern, während der Brier-Score nach oben begrenzt, leichter zu mitteln und intuitiver zu vermitteln ist.
Für die Praxis gilt: Nutzen Sie den Brier-Score und vermeiden Sie strikt Schätzungen von 0 % oder 100 %.
Was ist ein relativer Brier-Score?
Ein relativer Brier-Score zieht den Score einer Referenz-Benchmark (z. B. den damaligen Marktpreis) vom eigenen Score ab. Er ist die einzige Zahl, die beantwortet, wie gut man im Verhältnis zu den verfügbaren Marktinformationen war.
Allan Murphy wies 1973 in A New Vector Partition of the Probability Score nach, dass sich der Brier-Score in drei Komponenten zerlegen lässt: die grundsätzliche Unsicherheit der Fragen, die Kalibrierung des Prognostikers und dessen Trennschärfe. Der relative Brier-Score bereinigt den Einfluss der Schwierigkeit der Fragen.
Bei Prognosemärkten ist dies essenziell. In einer Analyse von über 2.500 politischen Märkten während der US-Präsidentschaftswahl 2024 stellten Joshua Clinton und TzuFeng Huang fest, dass 93 % der PredictIt-Märkte besser als der Zufall lagen, verglichen mit 78 % bei Kalshi und 67 % bei Polymarket. Die Hürde variiert je nach Plattform und Fragestellung, weshalb die direkte Messung gegen den Marktpreis entscheidend ist.
Wie nutzt insiderz diese Berechnung?
Auf insiderz ist ein Call eine Festlegung auf Ja oder Nein mit einer gewählten Konfidenz. Der Call wird im Augenblick der Abgabe samt Zeitstempel und aktuellem Polymarket-Marktpreis fixiert und kann nicht editiert oder gelöscht werden.
Löst sich das Ereignis auf, wird der Call gegen den fixierten Marktpreis ausgewertet. Die Spalte Edge auf dem Leaderboard bildet diesen relativen Vorsprung ab: wie viel besser oder schlechter die eigenen Prognosen im Schnitt im Vergleich zum Marktpreis abschnitten. Schlägt den Markt beziffert den prozentualen Anteil der Calls, bei denen man vor dem Marktpreis lag.
Ergänzend empfiehlt sich die Lektüre des Artikels zur Kalibrierung, der analysiert, ob Vorhersagen mit 70 % Konfidenz auch tatsächlich in 70 % der Fälle eintreffen. Zur Zuverlässigkeit von Marktpreisen informiert der Beitrag Sind Prognosemärkte treffsicher?. Wie man die besten Akteure findet, beschreibt Prognostiker finden, die den Markt schlagen.
Häufige Fragen
- Was ist ein Brier-Score?
- Die durchschnittliche quadratische Abweichung zwischen einer abgegebenen Wahrscheinlichkeit und dem tatsächlichen Ausgang (kodiert als 1 oder 0). 0 bedeutet absolute Perfektion, 0,25 entspricht reinem 50:50-Raten und 1 ist das maximal falsche Ergebnis.
- Was gilt als guter Brier-Score?
- Das hängt vom Fragenset ab. Ohne Angabe der Fragen ist ein Score wertlos. Im Benchmark ForecastBench lag der Median für Superforecaster bei 0,096 insgesamt und bei 0,074 bei Fragen, die von Prognosemärkten stammten.
- Warum gilt der Brier-Score als 'proper scoring rule'?
- Weil der mathematische Erwartungswert genau dann am besten ist, wenn man die wahrhaftig geglaubte Wahrscheinlichkeit angibt. Das künstliche Verschieben in Richtung 50 Prozent verschlechtert den erwarteten Score.
- Kann man zwei Brier-Scores direkt vergleichen?
- Nur wenn sie auf denselben Fragen basieren. Einfache Fragen erzeugen bei allen Teilnehmern niedrige Scores. Ein fairer Vergleich erfordert eine Benchmark auf denselben Ereignissen, etwa den damaligen Marktpreis.
- Ist ein niedrigerer Brier-Score immer besser?
- Auf einem festen Fragenset ja. Über unterschiedliche Fragensets hinweg ist er nicht vergleichbar, da jemand, der nur fast sichere Ereignisse tippt, einen besseren Score erzielt als jemand, der schwere Fragen analysiert.
Quellen
- Glenn W. Brier, Verification of Forecasts Expressed in Terms of Probability, Monthly Weather Review 78(1), American Meteorological Society, January 1950
- Allan H. Murphy, A New Vector Partition of the Probability Score, Journal of Applied Meteorology 12(4), American Meteorological Society, 1973
- Ezra Karger et al., ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities, ICLR 2025, arXiv, revised February 2025
- Barbara Mellers et al., Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions, Perspectives on Psychological Science 10(3), 2015
- Joshua D. Clinton and TzuFeng Huang, Prediction Markets? The Accuracy and Efficiency of $2.4 Billion in the 2024 Presidential Election, SocArXiv preprint, 1 December 2025
- Verifikation numerischer Wettervorhersagen, Deutscher Wetterdienst (DWD)
