Por dentro do relatório

A prova educativa trata de medir o desempenho dos alunos e comparar entre países Alguns especialistas alegam que há falhas nas bases do exame e que os resultados são inúteis

Alunos participam do PISA em 2006.
Alunos participam do PISA em 2006.LOGAN

O exame PISA da OCDE é, sem dúvida, após 13 anos e cinco edições, a mais famosa avaliação internacional sobre os resultados escolares do mundo. Quase ninguém discute a importância de um banco de dados educativo que contém todo tipo de informação (não só dos resultados das provas, mas também sobre os colégios, os interesses dos estudantes, os professores, as famílias, os materiais…) sobre milhares de alunos de 15 anos do mundo todo. Nesta última prova participaram 295.416 jovens de 65 países e regiões (por exemplo, na China participam separadamente Hong Kong e Xangai). No entanto, à medida que aumentava o sucesso do PISA, as críticas também se acumulavam.

Há queixas sobre o uso injusto de seus resultados em forma de ranking de países (algo que desaconselham os próprios responsáveis pela OCDE). Ou com leituras que não refletem os matizes evidentes de uns resultados estatísticos que, obviamente, têm margem de erro. Parece que ignoram a dificuldade de fazer comparações mediante perguntas concretas de um exame com tradições e histórias educativas tão diferentes. Mas também há os que alegam que a totalidade do relatório formalmente não está bem feito (pela seleção das perguntas, ou pelas fórmulas estatísticas utilizadas), o que o converte, simplesmente, em inútil para o que pretende: avaliar e comparar os resultados dos sistemas educativos do mundo todo de tal maneira que se saiba o impacto de suas políticas para servir de guia para decisões futuras.

"A fiabilidade dos dados se baseia no rigor", assegura a OCDE

“Existe uma literatura acadêmica crescente que diz que os resultados são simplificados demais para avaliar o rendimento em leitura, matemáticas e ciências. Há pesquisas que demonstram que os países não podem ser classificados de maneira inequívoca ao longo de uma única escala”, escreve o professor de Estatística Social da Universidade de Bristol Harvey Goldstein. A OCDE se declara consciente das limitações do PISA, mas defende que seus métodos são os mais adequados e que sempre os fez públicos com transparência. “A confiança na solidez do PISA se baseia no rigor que se aplica a todas as feições técnicas do desenvolvimento do teste, a execução e a análise, não só na natureza do modelo estatístico, que se desenvolveu através do tempo e continuará se desenvolvendo. […] a solidez da avaliação está no rigor dos procedimentos utilizados no desenvolvimento, prova, análise, revisão e seleção”, assegura o site do relatório.

Mas, neste ponto, deveríamos começar pelo princípio: em que consiste a prova e como se chega até os resultados finais?

Cada país elege uma mostra estatisticamente representativa de alunos de 15 anos (não importa que sejam repetentes ou que não estejam no curso correspondente). Esta idade corresponde ao final da escolarização básica e obrigatória, na imensa maioria dos países. Os estudantes dessa mostra são examinados.

Sobre o quê? Os responsáveis pelo estudo declaram que seu objetivo não é descobrir se os alunos sabem os conteúdos das matérias ou as áreas de estudo, mas avaliar o quê os alunos sabem fazer com o que aprenderam, isto é, o que se entende por destrezas em leitura, matemáticas e ciências. A cada edição (de três em três anos, desde 2000), o exame se centra em uma dessas matérias, concentrando a maior parte das perguntas sobre uma só disciplina. O resultado que se apresenta hoje se refere ao PISA com foco em matemáticas. “A cada teste inclui umas sete horas de material de prova. Depois, cada estudante faz uma prova de duas horas com uma combinação dos materiais, diferente para a cada estudante”, explica o site da OCDE. A organização afirma que as perguntas são omitidas todos os anos, para eliminar aquelas que possam ter alguma inclinação cultural ou linguística, que condicione os resultados (cada país faz o exame em seu próprio idioma). Algumas perguntas das provas são publicadas posteriormente (podem ser consultadas em inglês aqui), mas não todas, pois há uma série de questões que se repetem sempre, para que os resultados possam ser comparados.

Um professor dinamarquês põe em dúvida o método estatístico utilizado pelo PISA

Os resultados dos alunos se dividem em escalas de rendimento, desde o nível 1, onde estão os alunos que apenas são capazes de responder bem a perguntas “que só requerem as habilidades mais básicas para completar”. À medida que aumenta a dificuldade das perguntas a que sabem responder, o nível sobe até o 5. Após a correção da prova, a pontuação na leitura, matemáticas e ciências se situa na escala apropriada. Depois, “a pontuação da cada país participante é a média de todas as qualificações dos estudantes nesse país. A pontuação média dos países da OCDE é de 500 pontos e o desvio padrão é de 100 pontos. Ao redor de dois terços dos estudantes em todos os países da OCDE fazem entre 400 e 600 pontos”, isto é, estão na média. Não há uma nota de cada país, mas em cada uma das áreas. E advertem quanto ao ranking: “As pontuações refletem, em pequena medida, a incerteza estatística e, por tanto, só é possível informar sobre a margem de posições nas quais um país pode estar colocado. Por exemplo, no PISA 2003 se informou que Finlândia e Coreia do Sul foram o primeiro e o segundo colocados na prova, quando na realidade só podemos dizer que, entre os países da OCDE, a margem da Finlândia esteve entre o primeiro e o terceiro lugares, e a da Coreia do Sul, entre o primeiro e quarto".

No entanto, os especialistas que criticam o PISA vão além das limitações admitidas pelos seus responsáveis. Para começar, alegam erros pedagógicos, pela dificuldade (ou quase impossibilidade) de traduzir em perguntas e depois em resultados numéricos essa medição de desempenhos; esta ideia foi desenvolvida pelo professor da Universidade de Wisconsin-Madison Thomas Popkewitz no artigo PISA: números, estandardização da conduta e a alquimia das matérias escolares (em espanhol). Harvey Goldstein assegura que o fato de ter que eliminar as perguntas que refletem as diferenças culturais entre países reduz a prova a “uma espécie de ‘mínimo denominador comum’ cujo uso possível é muito limitado”. E acrescenta: “Se uma pessoa está preparada para aceitar que estas provas são válidas é bastante óbvio que alguns países vão sair melhor do que outros por uma infinidade de razões possíveis. Estas incluem as diferenças culturais, a situação econômica, a ênfase nas técnicas para fazer exames assim como as diferenças genuínas no desempenho do país. Os resultados do PISA ou qualquer outra comparação similar não nos dizem praticamente nada a respeito das causas das diferenças entre países”.

O catedrático de Sociologia da Universidade Complutense de Madri, Julio Carabaña, está há anos apontando na mesma direção depois de analisar os resultados e tentar dar explicação às diferenças. Os resultados “não apoiam nenhum curso de ação determinado, pese aos piedosos esforços de seus autores e intérpretes em apontar com seus dados certas correntes pedagógicas", já que para cada afirmação pode ser encontrado um exemplo que funciona ao contrário. "É problemático julgar a qualidade de um sistema educativo diverso e complicado com uma só avaliação, não importa quão boa ela seja. PISA e TIMSS [uma prova de matemática e ciências para o primário] estão bem desenhadas e bem implementadas e proporcionam dados sólidos sobre as habilidades e conhecimentos, mas é muito o que o PISA não avalia", adverte em um artigo do ano passado  Jennifer Buckingham, pesquisadora do Centro de Estudos Independentes da Austrália.

Golstein garante que o PISA foi utilizado sistematicamente por políticos para defender uma coisa e a contrária: “No passado, a Finlândia, que sempre apareceu na parte superior dos resultados e sempre acima do Reino Unido, foi apresentada como um modelo a seguir: a direita insistiu na 'formalidade' dos conteúdos para justificar um currículo tradicional; a esquerda utilizou o caráter global do sistema finlandês para justificar a restauração da compreensão [que todos os alunos seguem um caminho  único até o final da escola obrigatória] no Reino Unido”.

Muitos especialistas —por exemplo, Richard Rothstein, do Instituto de Política Econômica, e Martin Carnoy, da Universidade de Stanford—  insistiram que, na realidade, as diferenças entre um enorme grupo de países desenvolvidos são muito pequenas, e são maiores dentro dos países e, principalmente, dentro da cada escola, o que reforça a ideia do pouco que podem dizer seus resultados sobre as políticas a seguir.

"Não nos dizem praticamente nada sobre as causas das diferenças entre países", diz um especialista inglês

Mas também há críticas sobre a própria metodologia da prova. Muitos estudantes não respondem perguntas das três áreas que se avaliam: por exemplo, se a área principal é ciências, todos são avaliados nesta, mas só a metade de matemáticas e a outra metade de língua. E, no entanto, todos recebem uma nota de todas as áreas. Como? “É importante reconhecer que o PISA é uma avaliação a nível de sistema e a prova se cria com esse objetivo em mente. A avaliação não gera qualificações dos indivíduos, senão calcula os valores plausíveis para a cada estudante com o fim de proporcionar magnitudes do sistema”, respondeu recentemente a OCDE à revista britânica especializada em educação TES (texto em inglês). Se utiliza um modelo estatístico chamado Rasch, pelo estudioso que o inventou.

O professor da Universidade de Copenhague (Dinamarca) Svend Kreiner trabalhou durante muitos anos com ele e garantiu que em diferentes ocasiões esse modelo não serve, não funciona para o PISA porque precisaria que todos os alunos respondessem exatamente às mesmas perguntas, segundo o artigo de TES.

A OCDE responde a tudo isso: “As avaliações do PISA foram criadas de tal maneira que o ajuste perfeito do modelo matemático não é necessário para permitir comparações sólidas entre os países. O PISA tem como objetivo pesquisar os aspectos de uma matéria em amplitude e profundidade, e também tem que selecionar os elementos adequados para estudantes de uma gama enorme de contextos geográficos e culturais. […] Qualquer avaliação das habilidades das pessoas seja de um exame da escola secundária, um exame de direção ou uma avaliação baseada em mostras internacionais como o PISA, será incerto, porque os resultados dependem das tarefas que se elegem para a avaliação, de variações das formas que a prova foi aplicada, do fato de que a avaliação se baseia em amostras ou inclusive da disposição da pessoa que é examinada. De modo que o objetivo do PISA não é eliminar a incerteza, mas sim criar instrumentos que permitam comparações sólidas da eficácia dos sistemas educativos”.

Arquivado Em: