Pisa em seu 
devido lugar

Quando a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) começou a aplicar o Programa Internacional de Avaliação de Estudantes (Pisa) em 2000, com o intuito de comparar “conhecimentos e habilidades” de jovens de 15 anos em diferentes países, causou breves protestos.

No primeiro anúncio, professores e acadêmicos lamentaram que uma instituição formada por economistas se pusesse a dizer o que os alunos deveriam saber, medisse isso com uma única prova e comparasse contextos diferentes. Logo que os resultados saíram, os ânimos se acalmaram. A Finlândia, já mundialmente famosa por seu sistema educacional de alta qualidade, obteve a mais alta nota. Fazia sentido.

Com a aceitação, o teste trienal ganhou força. A cada edição há mais participantes e os resultados tornaram-se aguardados por imprensa e governos. Aos poucos as habilidades contabilizadas numericamente passaram a ser o indicador de qualidade da Educação internacional mais conhecido. Nesse meio-tempo, estados da China tomaram conta das primeiras posições.

Na última prova, em 2012, a Finlândia caiu para 5º lugar em Ciência, 6º em Leitura, e 12º em Matemática. O exame começou a motivar mudanças polêmicas em países como Reino Unido e Estados Unidos, que alcançam só o meio da tabela de 65 países. Para um crescente grupo de educadores não faz mais sentido.

Em maio, um grupo de 83 pesquisadores e representantes de faculdades de educação, professores e pais de diversos países publicou carta aberta com o título “OCDE e o Pisa estão prejudicando a Educação ao redor do mundo”. Os acadêmicos pedem que o teste pare de ocorrer, ao menos no formato atual.

Entre os signatários estão especialistas em avaliação como Diane Ravitch, ex-secretária adjunta de Educação dos Estados Unidos, acadêmicos como Heinz-Dieter Meyer, professor de Políticas Públicas em Educação da Universidade de Geórgia e o sociólogo Stephen Ball, da Universidade de Londres.

Os autores questionam a autoridade do organismo pautado em cooperação econômica para aconselhar sobre o assunto, como ocorre nos relatórios de divulgação do Pisa. “Ao contrário de organizações das Nações Unidas como a Unesco ou o Unicef, que têm mandatos claros e legítimos para a melhora da educação e da vida das crianças ao redor do mundo, a OCDE não tem essa autoridade”, criticam.

O texto publicado em veículos acadêmicos e no jornal britânico The Guardian culpa o ciclo trienal pela busca por soluções de curto prazo. “Ao enfatizar um espectro estreito de aspectos da educação, o Pisa desvia a atenção de objetivos menos mensuráveis ou imensuráveis, como o desenvolvimento físico, moral, cívico e artístico, perigosamente estreitando nossa imaginação coletiva sobre o que a educação é e deveria ser.”

A principal questão, no entanto, é o desvio do tempo de aulas para treinamento para a realização de testes. “Empobrece nossas salas de aula à medida que, inevitavelmente, envolve mais e mais longas baterias de testes de múltipla escolha, mais receituários de aulas ‘prontas para entrega’ e menos autonomia para os professores”, conclui a carta.

O Brasil não foge à regra e também sofre efeitos do Pisa a cada resultado. Como está sempre entre as dez últimas posições – apesar de apontado pela OCDE como um dos países que mais evoluíram nos itens aferidos nos últimos três exames – é questionado e recebe sugestões de políticas públicas. O teste também serve como modelo para avaliações nacionais. A Teoria de Resposta ao Item (TRI), que passou a ser usada no Exame Nacional do Ensino Médio (Enem) desde 2009, por exemplo, figura nas técnicas aplicadas.

O especialista em Avaliação e Políticas de Aprendizagem Luiz Carlos de Freitas, professor da Universidade de Campinas, reclama da influência do teste que, em sua opinião, tem ponto de vista estreito. “O Pisa está destinado a internacionalizar a política educacional segundo a ótica da OCDE, que é uma entidade que detém exclusivamente a visão das necessidades dos empresários. A função da educação não é exclusivamente preparar mão de obra. Há outras sociais que eles não têm qualificação para dimensionar”, afirma.

Na Finlândia, testes padronizados só são aplicados a partir dos 18 anos, antes do ingresso no ensino superior

Para ele, o Brasil deveria participar mais na definição da amostra de estudantes, procurar suas próprias bases de comparação e divulgar as insuficiências do teste em vez de se basear por seus resultados. “O próprio Plano Nacional de Educação referenciou suas metas nos exames do Pisa e há outras receitas educacionais que vêm junto com a filosofia do exame: privatização e meritocracia.”

Nesse sentido, outro ponto apontado pelos acadêmicos internacionais é a participação de empresas que fazem parte do mercado que vende material didático a governos na elaboração da prova. “Para a execução do Pisa e de uma variedade de serviços de acompanhamento e monitoramento, a OCDE abraçou o modelo de parcerias público-privadas e entrou em alianças com companhias multinacionais com fins lucrativos, que têm potencialmente ganhos financeiros derivados de déficits – reais ou percebidos –  descobertos pelo Pisa”, afirma o documento conjunto.

A brasileira Luciana Pölönen, formada em Letras pela Universidade Federal da Bahia, vê o exame a partir de um dos epicentros da polêmica, a Finlândia, onde vive desde 2008 e atua como professora desde 2010. O governo finlandês afirma que a qualidade ainda é a mesma e justificou a queda de posições pelo não treinamento dos jovens para a realização de provas.

No país, testes padronizados só são aplicados a partir dos 18 anos, antes do ingresso no ensino superior. “O sistema educacional aqui funciona por causa das diretrizes socioeconômico-político-culturais. É algo que não cai de um dia para o outro”, comenta.

Ela também destaca que a lista de habilidades aferidas é curta perto da missão da escola. “O Pisa não mede toda a capacidade acadêmica e não considera as enormes carências em fundamentos básicos anteriores à educação. A discussão deveria ser muito mais profunda”, diz. Apesar disso, não é contra a medição. “Nenhum país que investe em educação deveria temer a prova.”

O presidente da Associação Brasileira de Avaliação Educacional, Ruben Klein, que já apontou erros na amostragem do Pisa, também discorda da carta que pede o fim do exame. Ele foi um dos brasileiros que assinaram um documento em favor da continuidade da avaliação, organizado pela OCDE em resposta ao pedido de mudanças: “Uma coisa é como os dados são usados e as imperfeições do teste. O erro é dos governos que tomam decisões precipitadas. Outra é não querer que se aplique nada. Os problemas são muito parecidos com os que se vê pela Prova Brasil. Temos de admitir que eles existem para buscar saídas”.

Empossado este ano como presidente do Instituto Nacional de Pesquisas Educacionais (Inep), o estatístico Francisco Soares também defende a permanência do Pisa, mas admite que os acadêmicos internacionais apontam pontos importantes. “A escola não é uma máquina de ensinar. Há outras dimensões de conhecimentos que não são mensuradas ali. O monitoramento daquela dimensão, no entanto, é importante”, afirmou.

Ele usa o exemplo da Prova Brasil para enfatizar seu argumento. “Nosso País tem enormes desigualdades. Acostumamos com elas e naturalizamos que um pode aprender e outro não. Acontece que a Constituição de 1988 dá o direito a todos e, se não monitoramos se isso ocorre, ela vira uma utopia. É preciso evidenciar o problema”, diz.

Por outro lado, Soares concorda que há outros objetivos da Educação. “A escola não termina na instrução. Nesse momento é que cabe essa discussão. Você pode aprender a ler e ter o conhecimento matemático e científico diante de um computador. A escola tem pelo menos duas outras dimensões: a socioemocional, de habilidades não cognitivas, e a de valores. Um sistema educacional sólido terá um sistema de avaliação para monitorar o direito, mas não como motor da educação.”

Soares diz que iniciou a implantação de duas medidas no Inep para minimizar a ocorrência de rankings e a ênfase a notas descontextualizadas. A primeira é fazer comparações que incluam fatores como renda, histórico, formação de professores e condições estruturais das escolas. “Quando você ordena apenas por um dado, está igualando e estamos dizendo que a comparação deveria ser entre iguais”, afirma. A segunda é explicar o que significa cada nota ou faixa de pontuação em que se encontram os estudantes. “Cada habilidade que for descrita ali precisa vir com dez exemplos de como isso é avaliado. Gastamos pouco dinheiro no que chamo de relevância pedagógica, e isso precisamos fazer.” Ambas estão previstas para começar ainda em 2014.

Os países participantes do Pisa têm direito a sugerir questões que são analisadas por especialistas e depois colocadas aos demais. Nenhuma pergunta brasileira fez parte do exame até hoje. Os itens são os mesmos aplicados no mundo todo, o Brasil faz a tradução antecipada, devolve para a OCDE, que vê se não houve mudança de conteúdo, e depois recebe as provas prontas para aplicação.

Para o presidente do Inep, o resultado em cada habilidade é justo. “O trabalho é muito detalhado, variações pequenas são corrigidas pela TRI.” Já classificar a Educação do Brasil em 55º lugar (resultado de 2012 em Leitura), 58º (em Matemática), 59º (em Ciências) é injusto. “Está errado. Coloca uma dimensão moral em cima do dado.”

*Publicada originalmente em Carta na Escola