Boicotes, escola-fantasma e erros cibernéticos: as “anomalias” que o PISA encontrou

Mais informações

Crianças finlandesas em idade escolar decidem como e o que aprendem

Robótica, skate e ativismo: o que os rankings educacionais não dizem

Há 15 dias a Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) anunciou que, devido a um “comportamento inverossímil”, não publicaria nesta terça-feira os dados de leitura da Espanha nos exames de avaliação educacional PISA. Duas horas depois, visivelmente contrariada, a ministra da Educação do Governo interino espanhol, Isabel Celaá, se defendeu dizendo que o exame era responsabilidade do Governo anterior, e que as anomalias não eram exclusivas da Espanha. “Já aconteceu com a OCDE nos Estados Unidos, na Holanda... E isto é o que temos”, afirmou. A lista de Celaá era exaustiva, porque, em um relatório, a instituição reconhece ter detectado “anomalias” nos exames de nove países nas seis edições anteriores da avaliação (2000-2015). Em alguns casos por problemas técnicos, e em outros porque os dados reunidos não cumpriam o exigente padrão do PISA. Uma lista que o organismo não oculta e que, entretanto, é desconhecida. Embora a OCDE não diga aos países como devem agir depois do retrato mostrado no PISA, é evidente que esse teste condiciona as políticas nacionais.

Em 2000, ano de estreia do PISA, a Holanda foi excluída da pesquisa porque a taxa de resposta dos colégios era “insuficiente para garantir sua inclusão na base de dados”. E naquele ano a amostra da Áustria não representou adequadamente os alunos de Formação Profissional, que alcançam 70% do corpo discente. A falha foi corrigida em 2003, fazendo ajustes para poder estabelecer uma comparação real da progressão do país.

No Reino Unido os colégios não se envolveram nas provas. Na primeira edição, detectou-se que havia uma baixa taxa de respostas (3,7% abaixo do padrão), mas certificou-se o resultado porque era uma cifra desprezível. Em 2003, porém, a OCDE não aceitou a amostra, e os resultados ficaram fora das comparações. Na vez seguinte, segundo o organismo internacional, os britânicos foram “mais rigorosos” no procedimento.

Em Luxemburgo, as autoridades decidiram alterar as características do exame para que refletisse seu verdadeiro sistema escolar. Em 2000, uma semana antes da prova, entregou-se aos estudantes um folheto explicativo sobre a mecânica do exame na língua escolhida para a prova (francês ou alemão), e a OCDE comprovou que a familiaridade com o idioma foi “uma barreira para uma grande proporção dos estudantes”. Assim, desde então são entregues manuais bilíngues, e os resultados da primeira edição não são levados em conta nas análises comparativas.

Os Estados Unidos foram o protagonista do PISA de 2006 por uma falha na impressão do exame. Uma mudança de paginação redirecionou os alunos para uma leitura incorreta das perguntas, e estimou-se, na comparação com os resultados de 2003, que essa falha pode ter penalizado os alunos em até seis pontos. Os resultados de compreensão leitora não foram divulgados, mas sim os de matemática e ciências, em que a incidência do erro representou apenas um ponto.

Os problemas na Áustria não se limitaram à edição de 2000. Nove anos mais tarde, uma disputa entre os sindicatos de educação e o ministro do setor terminou com uma convocação de boicote do exame. Isso, diz a OCDE em sua lista de irregularidades, criou “uma atmosfera negativa que pode ter afetado a motivação dos estudantes na hora de responder às perguntas”. Os resultados agora não são usados para comparações. Uma análise posterior da plataforma educativa holandesa CITO concluiu que apenas 2,2% dos alunos sabotaram o teste negando-se a responder, uma percentagem “desprezível” que não invalidava os resultados.

Na Espanha há, segundo a OCDE, respostas duvidosas em “pelo menos” 5% dos testes de leitura (1.800 alunos), mas se descarta que haja uma intenção maliciosa. “Não acreditamos que seja uma fraude ou boicote contra o PISA ou os exames em si, e sim que possa ser algum erro técnico infeliz”, afirmou ao EL PAÍS no dia do escândalo a japonesa Miyako Ikeda, responsável pela análise de dados do PISA. Horas antes, porém, em uma dura nota à imprensa, a instituição tinha negado qualquer falha na sua tecnologia.

No PISA de 2012, um “número desproporcional” de adolescentes da Albânia coincidiu em afirmar que seus pais trabalhavam nos mesmos ofícios (não se detalha quais), algo incomum. Durante a limpeza de dados não foi possível corrigir o erro, e essa informação desse país foi omitida nos índices internacionais. Não se tratava de um dado corriqueiro, porque o contexto sociocultural em que se cria o aluno determina em grande medida seu sucesso acadêmico.

Os dados da Argentina, no PISA de 2015, foram desprezados em todo o país, menos Buenos Aires. “A amostra não cobria a população objetiva, devido à potencial omissão de escolas do marco amostral”, argumentou a OCDE, e isso impedia uma comparação com os números anteriores. O que ocorreu é que o Governo de Cristina Kirchner, no poder na época da prova, tirou certas escolas e somou outras em relação à lista apresentada em 2012. O ministro da época, Alberto Sileoni, explicou que administrativamente as escolas primárias e secundárias foram fundidas em um novo sistema, mas seu argumento não convenceu os responsáveis pela prova. Envergonhado, o ministro da Educação designado por Mauricio Macri, Esteban Bullrich, desculpou-se em uma entrevista coletiva quando se anunciou a penalização: “Isto se parece com aquele país que não tinha compromisso com as estatísticas e a verdade, e este é o país que viemos para mudar”.

Em 2015, última edição do PISA, não foi só a Argentina que deu dor de cabeça. A Malásia selecionou alguns colégios que representavam 51% de suas escolas, quando a OCDE obriga a que a amostra responda por pelo menos 85% dos estabelecimentos de ensino. Por isso os resultados do exame não podem ser comparados com os anteriores. E os dados do Cazaquistão foram tratados à parte porque os técnicos foram “indulgentes” no tratamento dos códigos de informação.

Na terça-feira a OCDE apresentará em entrevista coletiva os resultados do PISA de 2018 omitindo os dados de leitura na Espanha. Era justamente a competência analisada mais detalhadamente nesta edição. "É provável que demoremos vários meses até obter uma resposta às anomalias na Espanha", antecipou o alemão Andreas Schleicher, chefe do relatório PISA.