A responsabilidade das pesquisas de opinião

Desde 1983, o Instituto Datafolha vem exercendo um papel fundamental na nossa democracia, um papel que precisa ser devidamente reconhecido e preservado. Com uma reputação de isonomia e qualidade metodológica que se construiu ao longo das décadas, o Datafolha ganhou destaque não somente por prover estimativas fiéis aos resultados da maioria dos processos eleitorais, mas também em termos de entender a evolução das opiniões, da psicologia e dos valores que definem a sociedade e a política no Brasil. É exatamente por conta desse papel essencial do Datafolha como bússola da realidade brasileira que uma série de resultados inverossímeis ao longo dos últimos dois anos gera preocupação e merece um escrutínio público.

O Atlas, que realiza pesquisas de opinião desde 2017, identificou um viés amostral na pesquisa Datafolha divulgada no dia 3 de abril, escreveu uma nota técnica sobre o assunto, e entrou em contato com o instituto para esclarecer os fatos. O viés tem a ver com a distribuição amostral dos votos reportados para o segundo turno da eleição de 2018. Jair Bolsonaro venceu a corrida com 55% dos votos válidos, enquanto Fernando Haddad obteve 45% da votação —uma diferença de 10 pontos. O eleitorado do segundo turno incluído da pesquisa Datafolha tem completamente outro perfil: 63% dos entrevistados declaram ter votado no Jair Bolsonaro e somente 37% para Fernando Haddad, uma diferença de 25 pontos. Mesmo considerando que uma parcela dos eleitores do Fernando Haddad pode ter uma memória falha em relação ao seu voto em 2018, a diferença entre o resultado real e o resultado capturado pela amostra supera em três vezes o teto normalmente observado na literatura acadêmica para este tipo de erro. A nota técnica do Atlas está disponível aqui. O relatório inicial do Datafolha com a distribuição amostral para 2018 pode ser lido aqui. A versão disponível no site do instituto depois do dia 7 de abril, no entanto, não contém mais a distribuição amostral disponibilizada inicialmente. As duas pesquisas subsequentes do Datafolha, incluindo a que foi publicada nesta segunda (27), também não apresentam mais a distribuição amostral do voto no segundo turno da eleição de 2018, impedindo a comparação das amostras.

Em decorrência dos 15 pontos de diferença entre a margem real de vitória na eleição de 2018 e a amostra do Datafolha, o percentual de apoio a renúncia do presidente foi provavelmente subestimado, enquanto os percentuais de aprovação ("ótimo e bom”) do desempenho do presidente foram provavelmente superestimados. Uma checagem das amostras das pesquisas presenciais do Datafolha durante o último ano revela que o mesmo fenômeno também afetou a amostra de abril de 2019. No entanto, em agosto de 2019, o viés provavelmente aconteceu na direção contrária, subestimando o percentual real de apoio ao presidente Bolsonaro. Foi na amostra de agosto que o Datafolha concluiu que Fernando Haddad ganharia de Jair Bolsonaro no segundo turno caso a eleição fosse ocorrer naquele momento, um resultado que dentro da distribuição amostral de todas as suas outras pesquisas seria extremamente improvável. Esee ponto é importante para esclarecer que o objetivo da crítica feita aqui não é de turbinar o discurso político da esquerda e nem da direita, ainda mais no contexto da pandemia do coronavírus. O objetivo é de apontar a necessidade de consolidar a metodologia das pesquisas de opinião e da discussão dos problemas metodológicos no espaço público, ajudando desta forma a fortalecer a confiança nas estimativas que estão sendo divulgadas no noticiário.

Na análise da distribuição amostral das pesquisas Datafolha trabalhamos com a possibilidade de que o percentual de eleitores do Fernando Haddad que se esqueceram do voto em 2018 poderia estar crescendo com o passar do tempo. Para verificar essa hipótese, analisamos a distribuição amostral das pesquisas presenciais do Datafolha desde o início do mandato do presidente Bolsonaro. Essa análise, como destacado pelo seguinte gráfico, revela que: 1. Não existe nenhuma tendência consolidada de aumento na taxa de esquecimento; 2. A evolução da taxa de esquecimento é fortemente correlacionada com a aprovação do presidente Bolsonaro, reforçando a suspeita de viés amostral em várias pesquisas da série histórica; 3. Há uma diminuição inexplicavelmente grande da taxa de esquecimento no período de somente um mês, entre julho e agosto de 2019.

Há amplas evidências na literatura acadêmica de que as pesquisas de opinião influenciam as opiniões das pessoas. Em um experimento conduzido por Neil Malhotra e David Rothschild, 8% dos entrevistados mudam de posicionamento em função de serem informados por uma pesquisa de opinião sobre o posicionamento da maioria. As pesquisas também influenciam resultados eleitorais. Um exemplo recente disso são as primárias do Partido Democrata nos EUA. Antes da votação no Estado de New Hampshire, as pesquisas de opinião mostravam uma vantagem consolidada do Bernie Sanders em relação aos demais candidatos. Sanders acabou ganhando a eleição por somente um ponto percentual na frente do Pete Buttigieg, um resultado que tinha sido antecipado somente pela pesquisa da Atlas que saiu na véspera da votação. Caso as outras pesquisas tivessem capturado corretamente as intenções de voto, é altamente provável que Pete Buttigieg ia ter conseguido vencer em New Hampshire e possivelmente a nomeação do partido.

Nessa perspectiva, a responsabilidade do Datafolha na divulgação dos seus resultados é absolutamente evidente. A antepenúltima pesquisa Datafolha, de abril, que indicava 59% de reprovação à renúncia do presidente provavelmente turbinou a demissão do ministro Luiz Henrique Mandetta, contribuindo para aprofundar a crise política enfrentada hoje pelo país em meio a uma pandemia. De acordo com aquele levantamento do Datafolha, o presidente Jair Bolsonaro acabara de atingir seu melhor índice de aprovação desde o início do mandato: 36% de ótimo e bom no desempenho em relação à pandemia do coronavírus na pesquisa divulgada no dia 17 de abril; 33% na pesquisa divulgada desta segunda-feira. Dada a reputação do Datafolha, essa medição indicando um recorde de apoio popular ao presidente mais uma vez ratifica suas ações e desmoraliza seus opositores. É imprescindível garantir que as estimativas sendo divulgadas não são decorrentes de erros amostrais.

Andrei Roman é CEO da Consultoria Atlas, Ph.D. em Ciência Política pela Universidade de Harvard.