Calibração: o que significa acertar 70%

Calibração é a correspondência entre o que você declara e o que acontece. Se estiver calibrado, os eventos chamados de 70% ocorrem em cerca de 70% das vezes, os de 90% em cerca de 90%, e assim por diante. É uma propriedade de um conjunto, nunca de uma só call, isto é, uma previsão pública com identidade e horário, portanto uma call de 70% que se confirma não prova nada isoladamente.

Como ler uma tabela de calibração em dez segundos?

A tabela reúne previsões resolvidas em faixas de confiança e pergunta com que frequência o evento ocorreu em cada faixa. A probabilidade declarada fica de um lado e a taxa real do outro. Calibração perfeita significa que as duas coincidem.

Este exemplo mostra 100 previsões resolvidas de uma pessoa, divididas em seis faixas. Os números são ilustrativos, não calls reais.

Faixa de confiança	Calls na faixa	Probabilidade média declarada	Vezes em que ocorreu	Taxa real	Diferença
0% a 10%	8	0,05	1	0,13	+0,08
10% a 30%	12	0,20	3	0,25	+0,05
30% a 50%	15	0,39	6	0,40	+0,01
50% a 70%	20	0,59	12	0,60	+0,01
70% a 90%	25	0,78	17	0,68	-0,10
90% a 100%	20	0,94	15	0,75	-0,19

Leia apenas a última coluna. Os valores ficam perto de zero no meio, negativos no alto e positivos embaixo. Essa pessoa mostra excesso de confiança. Quando tem certeza, acerta menos do que declara. Quando descarta uma possibilidade, ela ocorre mais do que sua estimativa permitia.

Como aparece o excesso de confiança?

Ele surge quando as faixas altas entregam menos do que o prometido e as faixas baixas entregam mais. Em um gráfico contra a diagonal, a curva fica para dentro nas duas pontas, achatada na direção do centro enquanto as probabilidades declaradas avançam para os extremos.

Na tabela, o dano aparece na faixa de 90% a 100%. Vinte calls com média declarada de 94% se confirmaram quinze vezes, uma taxa de 75%. As cinco surpresas custam caro em qualquer pontuação baseada no erro quadrático. Também são os casos que as pessoas lembram.

A correção é mecânica, não motivacional. Se suas estimativas de 90% terminam em 75%, escreva 75% na próxima vez. Não é preciso saber mais para corrigir uma falha de calibração. É preciso parar de usar números que o histórico não sustenta.

Por que a falta de confiança também é um erro?

Falta de confiança produz o padrão oposto: os eventos aos quais você atribuiu 70% ocorrem em 85% das vezes. A curva fica para fora da diagonal. Parece mais seguro, mas continua errado, porque informação foi deixada de fora. Quem lê suas previsões não consegue recuperar a certeza que você possuía e não declarou.

Os mercados de previsão apresentam esse padrão em alguns tipos de pergunta. Em Decomposing Crowd Wisdom, preprint de fevereiro de 2026 revisto em agosto do mesmo ano, Nam Anh Le analisou 353 milhões de negociações em 429.000 contratos binários da Kalshi e da Polymarket. A calibração variou conforme tema, tempo até a resolução e tamanho da operação. Mercados políticos mostraram falta de confiança persistente, com preços comprimidos em direção a 50%. Um preço que evita se comprometer é a versão coletiva do mesmo erro.

Um exemplo brasileiro mostra por que discriminação e calibração não são sinônimos. Em um estudo publicado na Critical Care Science em 2024, um modelo clínico foi testado com 8.735 pacientes adultos de 126 UTIs brasileiras em 2022. A área sob a curva foi 0,82, mas os gráficos revelaram que o modelo superestimava a necessidade de terapia de substituição renal, sobretudo em pacientes de baixo risco. Um modelo pode separar bem os casos e ainda atribuir probabilidades altas demais.

Calibração, resolução e nitidez são coisas diferentes?

Sim. Calibração é uma das três partes e não basta sozinha.

Em A New Vector Partition of the Probability Score, publicado em 1973, Allan Murphy mostrou que uma nota de erro quadrático se divide em três termos: a incerteza dos próprios eventos, a confiabilidade das previsões (calibração) e a resolução, ou seja, quanto o previsor separou os eventos que aconteceram dos que não aconteceram.

• Calibração pergunta se seus números significam o que afirmam.
• Resolução pergunta se os números distinguem os casos.
• Nitidez expressa a resolução em linguagem simples: você se afasta de 50% quando há evidência?

Dizer 50% em tudo produz calibração perfeita e resolução zero. Também não tem utilidade. Um bom previsor precisa ser calibrado e nítido.

O estudo sobre superprevisores de Barbara Mellers e colegas, publicado na Perspectives on Psychological Science em 2015, apresenta as duas medidas separadas para os três grupos do Good Judgment Project. Na média do segundo e do terceiro ano dos torneios, o erro de calibração foi 0,01 para os superprevisores, 0,03 para o grupo seguinte e 0,04 para os demais. A resolução foi 0,40, 0,35 e 0,32, na mesma ordem. Os superprevisores foram melhores nas duas dimensões, o que é mais difícil.

Quantas previsões resolvidas tornam a curva útil?

Cerca de 100 previsões resolvidas antes de valer a pena observar o formato da curva. Algumas centenas são necessárias para tratar uma diferença pequena como fato, não ruído.

A conta é a variação binomial. Se a taxa verdadeira de uma faixa é 70% e há 20 calls resolvidas nela, o erro padrão fica perto de 10 pontos percentuais. Uma taxa observada entre aproximadamente 49% e 90% ainda é compatível com calibração perfeita. Com 100 calls na faixa, o erro padrão cai para cerca de 4,6 pontos. Com 400, para aproximadamente 2,3 pontos.

Há duas consequências práticas. Primeiro, não reformule seu método após doze eventos resolvidos. Segundo, uma curva de seis faixas precisa de várias centenas de previsões no total, pois cada faixa necessita de sua própria amostra. Essa é a principal razão para muitas afirmações publicadas sobre calibração serem mais fracas do que parecem.

Como melhorar sua calibração?

Quatro hábitos, na ordem mais útil.

1. Escreva o número antes de consultar qualquer coisa. Primeiro sua probabilidade, depois o preço de mercado e então as notícias. Começar por um preço destrói a evidência sobre seu julgamento.
2. Registre todas as previsões, inclusive as constrangedoras. Um histórico que pode ser podado não é um histórico. Só calls com data registrada e sem possibilidade de edição valem uma avaliação.
3. Agrupe e conte de novo a cada poucos meses. Monte sua versão da tabela. A última coluna mostra quais faixas precisam mudar.
4. Use mais números. No Good Judgment Project, os superprevisores usaram em média 57 valores distintos de probabilidade, ante 29 e 30 nos grupos de comparação. Também preferiam valores divisíveis por 1%. Arredondar tudo para dezenas elimina informação real.

A precisão também pode ser medida contra uma referência fixa. No ForecastBench, apresentado na ICLR 2025, a mediana dos superprevisores foi 0,096 em 498 perguntas, ante 0,121 para o público. As previsões humanas foram coletadas em julho de 2024. A calibração explica boa parte dessa diferença e é justamente a parte que pode ser corrigida de forma deliberada.

Onde criar uma curva sem participar de um torneio?

Você precisa de três coisas: perguntas que serão resolvidas, uma forma de registrar probabilidades que não possam mudar e uma referência para comparação.

Na insiderz, uma call, isto é, uma previsão pública com identidade e horário, escolhe Sim ou Não em um evento real e inclui sua confiança. Ela fica travada no instante da publicação, com o horário e o preço da Polymarket congelados. Nem você nem a plataforma podem editá-la ou apagá-la. Quando o evento é resolvido, a call é comparada a esse preço, e o perfil mantém o histórico inteiro, inclusive os erros. Os eventos abertos estão aqui, e o ranking de insiders mostra quem está à frente do preço.

A insiderz foi lançada em setembro de 2026, então ainda não há eventos resolvidos suficientes para uma curva de calibração de toda a plataforma. Estes são os totais atuais.

Para conhecer a nota que reúne calibração e nitidez, leia escore de Brier explicado. Para entender uma probabilidade de mercado antes de tentar acompanhá-la, veja o que uma chance de 34% realmente significa. Para conhecer os hábitos por trás dos melhores registros de calibração já medidos, leia superprevisores.