Por que os erros das pesquisas de opinião atacam a democracia. E como podemos corrigi-los

Tanto nos Estados Unidos quanto no Brasil, as pesquisas de opinião em recentes ciclos eleitorais foram, na média, um desastre vergonhoso. Nos Estados Unidos, os levantamentos subestimaram sistematicamente a fortaleza do Donald Trump justamente nos Estados que acabaram decidindo a eleição: o desempenho do atual presidente americano foi subestimado por cinco pontos na Pensilvânia e por sete pontos em Wisconsin e na Flórida. Nas eleições municipais do Brasil, o erro médio das pesquisas ficou muito acima da média histórica. No segundo turno, a votação dos candidatos de direita e centro-direita foi sistematicamente subestimada. Considerando somente as grandes capitais, o pior desempenho das pesquisas aconteceu em Fortaleza, com um erro médio de 7,4 pontos, e em Goiânia, com 8,5 pontos. A margem de erro das pesquisas de opinião não costuma ultrapassar três ou quatro pontos, então uma magnitude tão grande dos erros registrados deveria ser extremamente rara. No entanto, os erros das pesquisas estão se tornando cada vez mais comuns.

Apoie nosso jornalismo. Assine o EL PAÍS clicando aqui

Depois da eleição americana, Trump vem atacando com bastante insistência as pesquisas de opinião que indicavam uma vitória contundente do seu adversário, argumentando que na ausência delas o seu eleitorado teria ficado muito mais mobilizado. Ao meu ver, o erro das pesquisas no contexto americano teve provavelmente o impacto oposto, contribuindo para desmobilizar eleitores moderados e menos politizados que, acreditando numa vitória fácil de Joe Biden, optaram pelo não comparecimento. Mas, independentemente do impacto preciso das pesquisas sobre a dinâmica final da eleição, algo sempre difícil de adjudicar com muita certeza na falta da situação contrafactual, é impossível argumentar que as pesquisas em nada influenciam os resultados eleitorais. Pelo contrário, há forte comprovação na literatura acadêmica que as pesquisas mudam o comportamento do eleitor, tanto no nível da percepção e do afeto pelos candidatos, quanto no nível das escolhas estratégicas (qual é o candidato mais bem posicionado para vencer num eventual segundo turno contra a opção menos desejável para o eleitor). Em um estudo experimental conduzido em 2014 por David Rotschild e Neil Malhotra, os dois pesquisadores descobrem que “as pesquisas podem virar profecias autorrealizáveis”, nas quais as maiorias a favor de candidatos ou propostas crescem de maneira exponencial. Em outro estudo citado frequentemente na literatura, Stephen Ansolabehere e Shanto Iyengar concluem que pesquisas apresentadas em jornais de TV mudam as preferências do público a favor do candidato que está na liderança.

O que falar então sobre o caso de Boa Vista, onde pesquisas mostravam um empate técnico entre os candidatos Arthur Henrique (MDB) e Ottaci Nascimento (SD) ao longo da campanha eleitoral, sendo que o primeiro acabou tendo 49,6% dos votos enquanto o adversário registrou somente 10,6%, uma vantagem de 39 pontos no primeiro turno. Na ausência da ampla divulgação das pesquisas, é plausível que Arthur Henrique pudesse ter ganho a corrida no primeiro turno. Ou que o candidato Linoberg (Rede), terceiro colocado com 10% dos votos, chegasse ao segundo turno no lugar do Ottaci. Os três candidatos podem ser considerados vítimas do erro das pesquisas de opinião: Arthur Henrique, pela necessidade de continuar a campanha por mais tempo; Ottaci, pela suspeita levantada pelos seus adversários de envolvimento em algum ilícito envolvendo as pesquisas, como também pelo desempenho muito inferior às expectativas criadas por elas; e, principalmente, Linoberg, que pode ter perdido uma chance única na sua trajetória política.

O mais grave é que as vítimas não são somente os candidatos, mas justamente nós todos, os eleitores, e implicitamente a nossa democracia. Grandes discrepâncias entre as pesquisas e o resultado da votação contribuem para a difusão de boatos e fake news sobre fraude eleitoral; diminuem a confiança nos veículos de mídia cujo papel é essencial na cobertura do cenário político; e levantam a suspeita de que, caso as pesquisas tivessem apresentado com mais precisão o quadro eleitoral, o vencedor poderia ter sido outro. Dificilmente Arthur Henrique ia ter perdido a eleição de Boa Vista para Linoberg. Mas, no contexto das primárias democratas em New Hampshire, no início deste ano, Pete Buttigieg poderia ter facilmente derrotado Bernie Sanders caso as pesquisas estivessem corretas na véspera da votação. Com uma vitória do Buttigieg em New Hampshire, é plausível que a dinâmica da eleição americana como um todo poderia ter sido completamente outra. Em alguns casos, o erro das pesquisas de opinião pode sim fazer uma enorme diferença. E, quando isso acontece, a democracia perde.

O que precisa ser feito? Banir as pesquisas de opinião? Aplicar multas ou penalidades gigantescas para quem erra? Impor um controle rígido das metodologias das pesquisas? A solução não passa por aí. O Brasil já tem uma das legislações mais restritivas no campo das pesquisas de opinião em qualquer comparação internacional. Mais restrições ajudam justamente a perpetuação de uma reserva de mercado para poucas empresas que, detendo um monopólio sobre a divulgação das pesquisas nos grandes veículos de mídia, não precisam se importar tanto com as consequências de pesquisas com um fraco grau de acerto. Como em qualquer indústria, a competição é saudável e ela deveria ser encorajada em vez de limitada.

Dentro de um contexto de livre concorrência, o bom desempenho das pesquisas que acertam deveria ser reconhecido, investigado e replicado. Em 2019, a AtlasIntel conduziu a única pesquisa que acertou dentro da margem de erro o resultado da eleição presidencial da Argentina, com um erro médio de 0,62 pontos percentuais. Na eleição americana de 2020, a AtlasIntel teve novamente o menor erro médio entre mais de 20 organizações de pesquisa quando realizada uma comparação do desempenho das pesquisas estaduais. Em nível nacional, a pesquisa Atlas mostrava Joe Biden com uma vantagem de 4,7 pontos. Na última atualização, a vantagem do Biden era de 4,4 pontos com viés de alta por conta de votos ainda restantes no Estado de Nova York. E, no segundo turno das eleições municipais no Brasil, a Atlas foi quem mais se aproximou mais do resultado final da votação em cada uma das cinco capitais onde conduzimos pesquisas: São Paulo, Rio de Janeiro, Recife, Fortaleza e Porto Alegre. As pesquisas Atlas foram divulgadas com exclusividade pelo EL PAÍS.

Onde é que a Atlas acertou enquanto outras pesquisas erraram? É ainda cedo para fazer uma leitura definitiva de eleições tão complexas e voláteis, mas posso compartilhar alguns pontos potencialmente relevantes para o entendimento de um público geral.

Primeiro, a coleta on-line de questionários. As pesquisas com coleta via web, como as conduzidas pela Atlas, trazem um grande conjunto de desafios metodológicos complexos: corrigir pelo perfil diferente da população conectada em relação ao da população que não possui esse acesso; lidar com o potencial de seleção mais frequente de pessoas mais engajadas politicamente; assegurar a integridade da coleta de dados via mecanismos de segurança etc. Mas, uma vez que esses desafios específicos foram resolvidos, as pesquisas com coleta on-line simplesmente não precisam se preocupar com dificuldades intrínsecas das pesquisas face a face e por telefone, como o potencial impacto da interação humana sobre as respostas declaradas. Principalmente em tempos de polarização política exacerbada, os respondentes das pesquisas de opinião tendem a se automoderar ou até se autocensurar quando é notório que dentro do seu próprio contexto social eles representam a minoria. É provavelmente mais fácil declarar um voto a favor do Bolsonaro numa pesquisa face a face para um entrevistador conduzindo a pesquisa numa região onde Bolsonaro foi eleito com 80% dos votos do que dentro de uma região onde ele ganhou somente 30%. Mesmo em entrevista telefônica, o instinto do respondente de agradar ao entrevistador pode resultar em respostas sensivelmente diferentes do que seria declarado num contexto de plena anonimidade, sem qualquer tipo de interação humana. Os chamados shy voters não lidam mais com uma instigação da sua timidez se a pesquisa for conduzida via Internet.

Segundo, a granularidade da calibragem amostral. A sociedade em que vivemos não é dividida somente em homens e mulheres, ricos e pobres, jovens e adultos. As pesquisas Atlas tentam incorporar uma visão mais holística sobre os determinantes do comportamento político, levam em consideração um conjunto maior de variáveis correlacionadas e monitoram a estabilidade dessas variáveis ao longo do tempo. Ainda neste ano, escrevi no EL PAÍS sobre a importância do monitoramento do voto passado dos respondentes como variável de controle do viés de seleção. A relativa estabilidade do voto passado é somente uma das variáveis relevantes para verificar a robustez amostral de uma pesquisa.

Terceiro, o potencial do big data. A coleta automatizada via web possibilita a acumulação de um grande volume de dados em tempo real, com uma atualização extremamente frequente das estimativas. A partir desse amplo volume de dados, muito maior do que seria possível pelas metodologias convencionais de coleta face a face ou via telefone, fica mais fácil estudar padrões estatísticos nos dados agregados dentro de margens menores de desvio ou identificar pontos fora da curva.

Quarto, estratégias eficazes para lidar com baixas taxas de resposta. Como as pessoas são cada vez mais interpeladas para responder pesquisas em diversos contextos, a curiosidade e o interesse para responder as pesquisas está caindo vertiginosamente. O erro de previsão das pesquisas eleitorais também não ajuda neste sentido. Em todos os modos de coleta de dados, seja face a face, telefone ou via Internet, menores taxas de respostas trazem graves problemas para a representatividade amostral, problemas que não podem ser facilmente corrigidos através da simples aplicação de cotas proporcionais. Um primeiro passo para conseguir lidar com baixas taxas de resposta é sempre tentar entender qual são as principais causas desse comportamento (como por exemplo: fraco engajamento político, horário do dia, formulação das perguntas e apresentação visual do questionário etc.).

Lidar com todas essas questões é um trabalho árduo, complexo e privado de grande visibilidade e reconhecimento. As pessoas são acostumadas a criticar as pesquisas que erram. Raramente vão observar e parabenizar pesquisas que acertaram e muito menos se lembrar delas assim que uma eleição acaba. É preciso então cultivar no espaço público a responsabilidade compartilhada entre as organizações que realizam pesquisas, a mídia e a população em termos de explicar a importância das pesquisas, a complexidade da sua realização e da necessidade do envolvimento responsável de todos nós para que elas sejam exitosas. E junto com elas, nosso processo democrático.

Andrei Roman é cientista social, Ph.D. em Ciência Política pela Universidade de Harvard e CEO da AtlasIntel.