Um teste internacional unificado para verificar o nível de aprendizado em diversos países – a exemplo do que faz a Organização para a Cooperação e o Desenvolvimento Econômico (OECD) – pode parecer uma boa ideia a princípio. Mas segundo Svein Sjøberg, professor da Universidade de Oslo, na Noruega, o resultado final tende a ser uma “corrida armamentista educacional”, que age em detrimento do engajamento, da motivação e da curiosidade dos alunos.
A OECD tem aplicado o teste PISA (Programa Internacional de Avaliação de Alunos, na sigla inglesa) e criado rankings entre mais de 70 países. Em 2015, o Brasil participou da avaliação, com provas aplicadas a cerca de 33 mil alunos na faixa dos 15 anos, distribuídos em 965 escolas. O órgão responsável pela prova no brasil é o INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Feixeira), vinculado ao governo federal.
Sjøberg apresentou suas críticas e ideias sobre a iniciativa durante o Encontro de Física de 2016, que ocorre entre 3 e 7 de setembro em Natal (RN), organizado pela Sociedade Brasileira de Física. Confira a seguir uma entrevista em que ele explica sua posição.
SBF – O sr. argumenta que rankings baseados em testes do PISA são mais um problema do que uma solução para a educação. Esse é um problema ligado à formulação do teste do PISA ou qualquer prova similar traria os mesmos problemas?
Svein Sjøberg – Se o PISA é a “solução”, qual problema ele deveria resolver? O PISA é muito diferente de todos os outros testes internacionais. Ele é, por natureza, normativo, ele define quais são os conteúdos de valor nas escolas, enquanto outros estudos (como o TIMSS) são mais descritivos, eles descrevem como alunos em diferentes países dominam diferentes partes do currículo escolar, com questões que são similares a questões de provas escolares. (Contudo, o TIMSS também usa um currículo que é um meio-termo entre o que os pesquisadores acham que é o conteúdo mais ou menos comum na maioria dos países.)
O PISA explicitamente declara que NÃO estão testando conhecimento escolar, e eles não estão testando currículos escolares em país algum, eles testam de acordo com um “quadro” que é decidido por um grupo de especialistas apontados pelo PISA/OECD. Além disso vêm todos os problemas com o desenvolvimento de questões do teste que respondem às dimensões no quadro de um modo que seja “justo” para alunos em todos os países (ou, melhor dizendo, em todos os países ricos da OECD). Países que não pertencem à OECD não têm influência, e o PISA nem foi feito para ser usado nesses países.
Um complicador adicional é que o PISA não pode dizer nada sobre causa e efeito. Ele não pode explicar “sucesso” ou “fracasso” no PISA. O desenho da pesquisa (apenas um retrato de uma amostra de alunos de 15 anos) não abre nenhuma possibilidade de explicação causal. Ele pode, no máximo, estabelecer correlações entre placares no teste e algumas variáveis de fundo. Mas, como todo mundo sabe, uma correlação não implica uma relação de causa e efeito.
SBF – É possível entender que rankings podem levar a algo que você chama de “corrida armamentista global educacional”. Mas, tirando de lado o PISA, já não temos isso dentro do sistema, com rankings universitários e assim por diante? Isso se tornar um problema maior quando abarca estudantes pré-universitários?
Sjøberg – Sim, eu concordo, nós já temos muitas corridas assim, em educação, pesquisa e outros domínios. Você menciona rankings universitários como um exemplo. Acadêmicos de renome do mundo inteiro são extremamente críticos com relação a eles, e muitas vezes dizem que eles são enganadores. Também aqui vemos que o que você mede se torna o próprio objetivo. A escolha de um indicador determina o que “conta”, e outros aspectos são esquecidos ou negligenciados. A “lei de Campbell”, escrita uns 40 anos atrás, é ainda mais válida hoje. Ela diz: “Quanto mais qualquer indicador social quantitativo é usado para tomada de decisões sociais, mais sujeito ele estará a pressões de corrupção e mais apto ele se tornará para distorcer e corromper os processos sociais que ele tem como objetivo monitorar.” A escolha (ou construção) de indicadores (re)define o que importa, e também distorce o que ele tem por objetivo medir. Isso pode ser prejudicial à pesquisa e à educação superior, mas é ainda pior quando o sistema educacional inteiro de um país é medido de forma errada.
SBF – Um dos seus argumentos mais fortes é o de que os padrões trazidos pelo PISA podem diluir peculiaridades nacionais e valores culturais no sistema educacional. O sr. vê exemplos disso acontecendo agora?
Sjøberg – Eu não chamaria um sistema nacional de educação e seus currículos de “peculiaridades”. O sistema educacional de um país, com todos os seus componentes, é a espinha dorsal da cultura e da herança comum no país: valores, ideais, conteúdo, matérias, treinamento de professores etc. Agora nós vemos, também a partir da própria pesquisa do PISA/OECD, que eles estão orgulhosos de terem tornado os placares PISA um padrão ouro global para qualidade.
Num artigo que escrevi recentemente, eu digo o seguinte: “Desde a primeira publicação dos resultados PISA em 2001, os resultados se tornaram uma espécie de ‘padrão ouro’ global para a qualidade da educação — uma única medida da qualidade do sistema escolar inteiro. Um relatório da OECD no impacto do PISA em políticas declara orgulhosamente que “o PISA se tornou aceito como um instrumento confiável para avaliar desempenho de estudantes no mundo todo, e os resultados do PISA tiveram influência em reformas na maioria dos países/economias participantes (Breakspear 2012).”
“De forma similar, Andreas Schleicher (2012), diretor do PISA e recentemente também do Diretório de Educação e Habilidades na OECD, numa TED talk, começa sua apresentação ao afirmar que o PISA é ‘realmente uma história de como comparações internacionais têm globalizado o campo da educação que nós usualmente tratávamos como uma questão de política interna.”
SBF – É fácil entender seu ponto de vista tendo a Noruega como exemplo, com um sistema educacional muito sólido, de forma que quaiquer efeitos de uma mentalidade baseada no PISA possam ser prejudicial e diluir seus sucessos. Entretanto, quando usamos o ponto de vista de países menos desenvolvidos, como o Brasil, talvez o ranking do PISA possa fazer algum bem. Afinal, temos um longo caminho a percorrer aqui, e sabemos pela própria história que “corridas armamentistas” tendem a nos levar lá mais depressa, mesmo que possam ter efeitos deletérios ao longo do caminho. O sr. não acha que o bem e o mal do PISA dependerá fundamentalmente de que país estivermos falando?
Sjøberg – Eu concordo que o impacto do PISA será (e de fato é!) diferente em diferentes países. O que eles têm em comum é que o ranking do PISA cria uma espécie de pânico, expresso e alimentado pela mídia e por políticos. Há um clamor para fazer “alguma coisa” para melhorar os placares (que são levados como indicadores válidos de qualidade, muitas vezes sem olhar o que está sendo medido!). Muito se procuram medidas de curto prazo que possam aumentar os placares, e há muita leitura imprecisa, em que países diferentes “inventam” suas próprias explicações para o fracasso e soluções para corrigir o problema. É também importante lembrar que, no máximo, o PISA é feito sob medida para países industrializados altamente desenvolvidos e ricos. Logo, nem o teste nem os remédios são feitos para outras nações.
A OECD certamente percebe isso, e eles estão construindo um teste “PISA para desenvolvimento”. Com isso, a OECD, de mãos dadas com a indústria da educação comercial global, está entrando no mercado também em países de renda mais baixa, muitas vezes acompanhada por produtos e sistemas que implicam um tipo de neocolonialismo.
SBF – Independentemente do PISA, nós aqui no Brasil vivemos num sistema que é mais e mais focado em testes, de modo geral. Não deveríamos estar encorajando nossos estudantes a pensar em vez de treinando-os para ser realizadores de provas?
Sjøberg – Provas sempre têm um papel central em qualquer sistema educação. Você precisa saber quais são suas metas e objetivos, e precisa saber até que grau você atinge as metas. Isso opera em todos os níveis: autodidata, classe, escola, comunidade e país (e também com uma perspectiva internacional mais ampla). Todos os professores usam algum tipo de teste como instrumento formador assim como sintetizador em seu ensino. E os formuladores de políticas e políticos também precisam saber como seu sistema escola funciona. Além disso, eu não acho que essa instância seja controversa — a alternativa é realmente trabalhar sem saber se você está atingindo as metas que você quer atingir.
Isso significa que precisamos de professores, líderes escolares e formuladores de política que saibam bastante sobre testes, suas vantagens, perigos e limitações. Essa especialidade está ausente em muitos países, inclusive em países ricos. Isso os torna vulneráveis a pressões de programas como o PISA, assim como de fornecedores comerciais de sisteams de testes e “gerenciamento de qualidade”.
Bem, tudo isso provavelmente tangencia a sua pergunta. Deixe-me ser mais direto na sua pergunta.
Países demais são obsecados com testes e rankings. Os “vencedores do PISA” asiáticos são exemplso claros. A história por trás disso é longa e conectada com a herança de Confúcio de trabalho duro, respeito e obediência, lealdade à autoridade. Como todos os cientistas sabem, esses valores vão na direção contrária do que valorizamos na ciência de verdade (assim como em uma sociedade democrática!). A contenda para encontrar “respostas certas” em testes pode contradizer uma tentativa de encorajar a fantasia, a criatividade e o pensamento crítico.
O equilíbrio correto entre algum tipo de teste/monitoramento da qualidade e o desenvolvimento do indivíduo para se tornar um cidadão forte, empoderado e critíco (e alguns desses bons cientistas) não é fácil de encontrar.
Assessoria de comunicação da SBF
Salvador Nogueira
Tel: +55 11 99178-9661
E-mail: comunicacao@sbfisica.org.br
Twitter: http://twitter.com/sbfisica
Facebook: http://www.facebook.com/sbfisica