Superprevisores: o que fazem de diferente

Um superprevisor é alguém que ficou entre os 2% mais precisos em centenas de perguntas pontuadas e continuou nesse nível. O termo surgiu em um torneio de pesquisa, não em uma campanha de marketing. A vantagem pode ser medida: melhor calibração, separação mais nítida entre o que acontece e o que não acontece e hábitos de trabalho baratos de copiar. Nenhum deles exige um talento inato.

De onde vem o termo?

Entre 2011 e 2014, a Intelligence Advanced Research Projects Activity dos Estados Unidos realizou três torneios de previsão geopolítica. Cinco programas universitários competiram para produzir estimativas de probabilidade precisas. O vencedor foi o Good Judgment Project, liderado por Barbara Mellers e Philip Tetlock, da Universidade da Pensilvânia. Todos os grupos foram avaliados pela mesma medida, o Brier score, criado por Glenn Brier em 1950 para previsões meteorológicas.

Os detalhes importam porque definem a amostra. Cada torneio durou cerca de nove meses. Os dois primeiros fizeram pouco mais de 100 perguntas, e o terceiro, cerca de 150. Cada pergunta ficou aberta, em média, por 102 dias. Cada ano começou com 2.200 a 3.900 previsores. No fim do primeiro ano, o projeto classificou todos e selecionou os cinco melhores de cada uma das 12 condições experimentais. Essas 60 pessoas foram distribuídas em cinco equipes de elite com 12 integrantes. Elas receberam o nome de superforecasters, ou superprevisores. O processo está documentado em Identifying and Cultivating Superforecasters, publicado por Mellers e colegas na revista Perspectives on Psychological Science em 2015.

A expectativa era que os resultados voltassem à média. Isso não aconteceu. Os superprevisores continuaram à frente no segundo e no terceiro ano.

Como é a vantagem medida?

Medida	Superprevisores ou grupo de elite	Grupo de comparação	Estudo e data
Brier score padronizado, média dos anos 2 e 3	-0,34	-0,14 no grupo seguinte, +0,04 em todos os outros	Mellers et al., 2015
Erro de calibração	0,01	0,03 no grupo seguinte, 0,04 em todos os outros	Mellers et al., 2015
Resolução	0,40	0,35 no grupo seguinte, 0,32 em todos os outros	Mellers et al., 2015
Área sob a curva ROC	96%	84% no grupo seguinte, 75% em todos os outros	Mellers et al., 2015
Valores distintos de probabilidade usados	57	29 no grupo seguinte, 30 em todos os outros	Mellers et al., 2015
Previsões enviadas por pergunta, ano 1	2,77	1,47 nos grupos de comparação	Mellers et al., 2015
Notícias abertas, anos 2 e 3	255	55 e 58	Mellers et al., 2015
Brier score agregado, enquete de elite contra grupo de mais de 300 pessoas	0,166	0,228	Atanasov et al., 2024
Mediana do Brier score, 498 perguntas de referência	0,096	0,121 na mediana pública	Karger et al., ICLR 2025

Duas observações ajudam a ler a tabela. O torneio Good Judgment usou a definição original do Brier score para dois resultados, que vai de 0 a 2. Por isso, esses números não podem ser comparados diretamente aos valores de 0 a 1 da última linha. Além disso, as pontuações padronizadas são relativas ao grupo que respondeu às mesmas perguntas. Essa é a única comparação justa quando nem todos responderam às mesmas questões.

Quais são os hábitos, em ordem prática?

São sete.

1. Comece pela visão externa. Pergunte com que frequência casos semelhantes acontecem antes de examinar os detalhes deste caso.
2. Divida a pergunta em partes que possam ser estimadas. A decomposição é a habilidade mais fácil de levar para outros problemas.
3. Leia os critérios de resolução antes de procurar uma resposta. Metade das disputas sobre previsões é, na verdade, uma disputa sobre definições.
4. Informe um número específico. Os superprevisores usaram, em média, 57 valores distintos de probabilidade, ante 29 e 30 nos dois grupos de comparação. Eles também foram os que mais usaram números divisíveis por 1%, em vez de arredondar para múltiplos de 10.
5. Atualize com frequência, em passos pequenos. No primeiro ano do torneio, os superprevisores enviaram 2,77 previsões por pergunta, ante 1,47 nos grupos de comparação. A frequência de atualização foi o melhor indicador comportamental de precisão em todo o projeto.
6. Leia bastante. No segundo e no terceiro ano, os superprevisores abriram, em média, 255 notícias pelo leitor do projeto. Os grupos de comparação abriram 55 e 58.
7. Pontue e examine a pontuação. O projeto mediu o aprendizado pela redução do erro ao longo do ano, e os superprevisores melhoraram mais depressa.

Os hábitos também vieram acompanhados de diferenças cognitivas reais. Em testes de inteligência fluida e conhecimento político, os superprevisores ficaram pelo menos um desvio padrão acima da população em geral. O resumo honesto do estudo é que eles foram em parte descobertos e em parte formados. A parte formada é a que aparece na lista.

Como a decomposição funciona na prática?

Decompor é trocar uma pergunta impossível de estimar por várias que podem ser estimadas.

"Este projeto de lei será aprovado até o fim do ano?" não oferece um ponto claro de partida. Dividida em partes, a questão vira: o projeto passa pela comissão, há espaço na pauta das sessões restantes, a liderança quer levá-lo a voto, algum projeto semelhante já foi aprovado com essa composição? Cada parte tem uma frequência histórica aproximada. Multiplique as etapas que precisam acontecer juntas e você terá um número inicial baseado em algo, não em uma sensação.

O ganho prático é revelar o elo fraco. Se quatro perguntas menores mostram que uma delas concentra toda a incerteza, você sabe o que pesquisar e o que ignorar. Também passa a ter algo preciso para atualizar: uma notícia costuma afetar uma parte, não o conjunto inteiro.

Por que atualizar em passos pequenos?

Porque a maioria das notícias altera pouco uma probabilidade. A disciplina de fazer uma mudança pequena é o que separa uma previsão de uma reação.

Atualizações pequenas e frequentes foram o melhor indicador comportamental de precisão nos dados do Good Judgment. A explicação é simples. Um previsor que volta à pergunta toda semana incorpora dez pequenas evidências em dez semanas. Quem define um número e esquece não incorpora nenhuma. Quem salta de 20% para 80% por causa de uma manchete substitui todas as evidências anteriores por uma só.

Passos pequenos também preservam o nível de detalhe que torna os números úteis. Se todas as mudanças são de 10 pontos percentuais, você não consegue expressar a diferença entre uma evidência fraca e uma moderada.

Por que manter uma pontuação é tão importante?

Porque sem pontuação não há retorno sobre os erros, e sem esse retorno os hábitos acima são apenas preferências.

É aí que muitas previsões públicas falham. Elas são feitas em lugares onde podem ser apagadas, ignoradas ou reinterpretadas depois. Um histórico editável não diz nada sobre a pessoa e, pior, não ensina nada a ela. O resultado do Good Judgment depende do fato de cada previsão ter data e hora, ser pontuada por uma regra fixa e não poder ser retirada.

Também é preciso ter uma referência. Um número bruto de acertos depende da dificuldade das perguntas. Comparar a previsão com algo que respondeu às mesmas perguntas no mesmo momento, outro previsor, uma frequência histórica ou um preço de mercado, transforma o resultado em evidência sobre sua capacidade.

Como superprevisores se comparam a mercados e à IA em 2026?

Na comparação com mercados, a descoberta útil é que a multidão importa mais do que o mecanismo. Em Crowd prediction systems: Markets, polls, and elite forecasters, publicado no International Journal of Forecasting em 2024, Pavel Atanasov, Jens Witkowski, Barbara Mellers e Philip Tetlock compararam mercados de previsão e enquetes de previsão em equipe com dados do Good Judgment. Cada sistema foi operado por um grande grupo sem seleção ou por um pequeno grupo de elite. Os grupos pequenos e selecionados superaram os maiores, enquanto os dois sistemas ficaram estatisticamente empatados. A enquete agregada de elite teve Brier score de 0,166, ante 0,228 para um grupo sem seleção com mais de 300 previsores nas mesmas perguntas. A decomposição mostrou que a diferença vinha toda de uma discriminação melhor, não de melhor calibração. O corte de elite nesses dados eram os 2% mais bem colocados. O estudo ainda cita trabalhos anteriores segundo os quais previsores de elite em equipes foram mais precisos do que analistas profissionais de inteligência com acesso a informações sigilosas.

Na comparação com a IA, o retrato fica velho assim que é escrito. No ForecastBench, apresentado na ICLR 2025, a mediana do Brier score dos superprevisores foi 0,096 em 498 perguntas. A mediana pública foi 0,121, e o melhor modelo de linguagem testado, Claude 3.5 Sonnet, marcou 0,122. As previsões humanas foram coletadas em julho de 2024. O mesmo estudo ajustou uma tendência entre qualidade do modelo e precisão das previsões e projetou que modelos alcançariam o nível dos superprevisores por volta de 1.406 pontos no Arena, com um intervalo de confiança amplo. Em setembro de 2026, qualquer afirmação sobre a diferença atual precisa de uma nova rodada de testes.

É possível praticar sem participar de um torneio?

Sim. Os requisitos são curtos: perguntas que realmente serão resolvidas, uma forma de registrar uma probabilidade que não possa ser alterada e uma referência para comparação.

Metaculus e Good Judgment Open oferecem perguntas pontuadas. A insiderz fornece o terceiro elemento por padrão. Uma call, isto é, uma previsão pública de Sim ou Não com um grau de confiança, usa os mesmos eventos listados pela Polymarket. Ela fica travada assim que é publicada, com o horário e o preço da Polymarket naquele instante congelados ao lado. Nem você nem a insiderz podem editar ou apagar a call. Quando o evento é resolvido, ela é comparada com aquele preço. A referência já vem incluída, em vez de ser escolhida depois do resultado.

Para praticar com um evento brasileiro de resolução clara, o calendário do TSE publicado em 6 de março de 2026 fixa o primeiro turno das eleições gerais em 4 de outubro de 2026 e o eventual segundo turno em 25 de outubro. Datas oficiais reduzem a ambiguidade da pergunta e deixam o previsor concentrar o trabalho na probabilidade.

Não há dinheiro nem aposta. O ranking de insiders organiza as pessoas por Bate o mercado, número de Eventos, Edge em relação ao preço e Antecipação. Os eventos abertos estão aqui.

Para entender a pontuação em linguagem simples, leia o que é o Brier score. Para conhecer o erro que esses hábitos procuram corrigir, veja como funciona a calibração. Para aplicar tudo isso a um preço em tempo real, leia como superar o mercado.