(Crónica da edição de 6 de Novembro de 2011)

Faz amanhã um ano que ocupei este espaço com algumas reflexões sobre o chamado ranking das escolas, a partir de críticas formuladas por leitores aos critérios seguidos pelo PÚBLICO na elaboração do suplemento anual que dedica a este tema. No texto que então intitulei “Rankings das escolas podem ser aperfeiçoados“, estavam em causa duas questões principais: o facto de não serem considerados os resultados da segunda fase dos exames nacionais (o que afectará o rigor de uma classificação que ordena as escolas em função da média dos resultados obtidos pelos seus alunos nessas provas) e as apreciações desfavoráveis que ano após ano têm sido dirigidas à própria natureza destes rankings, acusados por muitos de ignorarem os múltiplos factores que condicionam o desempenho das escolas.

Em relação a ambas, os responsáveis editoriais do PÚBLICO mostraram-se sensíveis às críticas e anunciaram que elas seriam tidas em conta na edição deste ano do suplemento sobre os resultados escolares. Quando este foi publicado, no passado dia 15 de Outubro, os leitores puderam porém verificar que nada fora alterado. Valerá a pena tentar perceber por que motivo não se cumpriram as promessas e intenções anunciadas e o que poderá ou não ser feito para as concretizar no futuro.

Começando pela questão da segunda fase dos exames, os responsáveis pela realização deste trabalho no PÚBLICO garantiam há um ano — e disso dei conta aos leitores nesta página — que no ranking referente ao ano lectivo de 2010/2011 seria já alterada “a regra até aqui vigente”, passando a considerar-se os resultados de ambas as fases dos exames do ensino secundário. O que afinal não sucedeu, tendo o processo de classificação das escolas continuado a excluir uma fatia significativa do universo das provas realizadas.

Segundo a explicação que me foi prestada pelo director adjunto Nuno Pacheco e pelos jornalistas envolvidos na elaboração do suplemento, a alteração metodológica anunciada não pôde concretizar-se devido ao facto de a base de dados fornecida à imprensa pelo Ministério da Educação não permitir distinguir, em relação a cada escola, os alunos que foram a exame apenas na segunda fase daqueles que repetiram a prova, procurando melhorar a nota obtida. Ou seja, segundo me comunicaram, “torna-se impossível identificar os exames da 1ª e 2ª fase feitos por um mesmo aluno”, e “sendo assim, considerar a 2ª fase implicaria, nalguns casos, contar duas notas de um mesmo aluno”, o que levaria “a uma distorção da média da escola”. Por isso, e depois de “alguns exercícios de simulação”, concluíram que “correr o risco de falsear uma média sem critérios claros seria pior do que manter, por ora, a opção [tomada] desde o início”.

Compreende-se a decisão, mas a verdade é que para evitar um factor de distorção das médias se manteve outro já identificado. Em qualquer dos casos, é afectada a qualidade e a objectividade do ranking apresentado. “Tendo em conta que o tempo para trabalhar a base de dados era muito curto, face à dimensão da tarefa, não chegámos” — explicam os membros da equipa que efectuou o trabalho jornalístico — “a questionar o ministério sobre a possibilidade de fornecer uma outra base de dados, que nos permitisse chegar a uma única nota para cada aluno”.

Creio que uma boa planificação deveria ter levado a iniciar muito antes, provavelmente logo no início do ano lectivo, as diligências destinadas a garantir a obtenção dos elementos desejados, que podem ser facilmente integrados numa base de dados, sem pôr em causa o anonimato dos alunos — como notam os jornalistas, bastaria para tanto “que a cada estudante fosse atribuído um código”. Não se vendo que a administração educativa possa ter qualquer motivo sério para não melhorar neste aspecto o processamento dos resultados, mas conhecendo-se as demoras burocráticas a que pode estar sujeita qualquer pequena alteração de procedimentos, o PÚBLICO deveria insistir desde já num compromisso que responsabilize o ministério e torne possível apresentar em 2012 um ranking das escolas que reflicta de facto todo o universo das provas efectuadas.

E o mesmo poderá dizer-se, por maioria de razão, em relação ao outro objectivo que fora anunciado: o de produzir rankings aperfeiçoados e mais ambiciosos, que permitam aferir o desempenho das escolas através de outros parâmetros que não apenas o dos resultados conseguido pelos seus alunos nos exames. Um tal desígnio exigirá também o acesso a dados que o Ministério da Educação possui ou poderá reunir, mas o seu processamento será necessariamente mais complexo. Trata-se de obter e tratar elementos que permitam adicionar à actual classificação das escolas (pelos resultados conseguidos numa prova nacional única e igual para todos) uma avaliação ordenada da qualidade do trabalho de cada uma, tendo em consideração os vários factores que a condicionam. 

Nos últimos anos, o PÚBLICO tem vindo sistematicamente a reconhecer, nos textos de enquadramento editorial dos rankings, a insuficiência da classificação publicada enquanto instrumento adequado a um melhor conhecimento do sistema educativo e à sua análise qualitativa. Tem aceitado, genericamente, que um ranking mais ambicioso e útil deveria recorrer a outros indicadores existentes ou a construir, para tomar em consideração os vários factores — sociais, territoriais ou relativos a recursos, métodos e organização, entre outros — que condicionam os resultados escolares. Tem anunciado repetidamente a vontade de dar corpo a essa forma mais avançada de serviço público, mas a intenção está a transformar-se numa promessa sucessivamente adiada.

Um sintoma da dificuldade em levar à prática essa intenção estará no modo, hoje menos assertivo e mais cauteloso, utilizado para a comunicar aos leitores. Se há um ano Nuno Pacheco escrevia em editorial que “[se] impõe dar novo e indispensável salto no conhecimento das nossas escolas” (e a direcção garantia ir “fazer todos os esforços” para integrar já em 2011 “outros indicadores das escolas além dos exames”), este ano a formulação escolhida foi a de afirmar “o desejo, que não é utópico, de pôr um dia à disposição da opinião pública um conjunto de dados que enfim permitam construir um ranking à medida dos desejos mais exigentes”.

Em resposta a questões que coloquei, o director adjunto e os jornalistas que participaram na elaboração do suplemento do passado dia 15 explicam a dificuldade: “Em primeiro lugar, a prolongada crise política (…). Não chegámos (…) a nenhuma conclusão com o ministério de Isabel Alçada e, com a queda do governo e a mudança de ministro, não houve tempo para programar qualquer trabalho nesse sentido com o novo detentor da pasta, Nuno Crato, acabado de chegar. Ultrapassar o ponto actual obrigaria a que o ministério pusesse à disposição de uma equipa (que podia ser composta por jornalistas, professores ou técnicos de uma ou mais instituições) dados que só existem nos gabinetes da 5 de Outubro e que, devidamente seleccionados e tratados, poderiam permitir leituras múltiplas dos resultados escolares. Para isso, não houve tempo, com muita pena nossa”.

Assegurando que o PÚBLICO irá agora retomar os contactos necessários, advertem: “Tal como sucedeu em relação aos resultados dos exames, que só foram divulgados após um braço-de-ferro prolongado e difícil, também os dados complementares poderão levar tempo a desbloquear. Depende, em muito, da vontade do ministro”. Depende, sem dúvida. E não é aceitável, do ponto de vista do direito dos cidadãos à informação, o que refere a equipa de jornalistas: “Pedidos feitos ainda em Agosto, nomeadamente dados sócio-económicos da população escolar que pudessem complementar os rankings tradicionais”, não tiveram resposta do ministério.

Convirá notar, contudo, que por mais desejável e útil que seja um encontro de vontades com os responsáveis pela política educativa, o PÚBLICO não honrará as expectativas criadas e os pergaminhos de pioneirismo e inovação neste domínio se se limitar a aguardar pela disponibilidade ou a iniciativa de um ministro. Como defendi há um ano, “a escolha e ponderação — que será complexa e sempre polémica — das variáveis que devem integrar um ranking aperfeiçoado” deve representar uma “decisão editorial” própria do jornal, preferivelmente assumida com o aconselhamento de especialistas, num quadro independente do poder político. Uma vez definido com clareza e rigor o que se pretende — o que ainda não foi feito —, maior será a legitimidade para reclamar o acesso aos dados reclamados. Se a direcção do PÚBLICO quiser prestar esse serviço acrescido aos seus leitores e aos cidadãos em geral em Outubro do próximo ano, não é cedo para deitar mãos à obra.

Uma nota final para explicar porque falo em “serviço acrescido” e não em substituição do”ranking tradicional”. Este continuará a ser indispensável como informação objectiva — a única indiscutivelmente objectiva — sobre os resultados das escolas. Para além de outros efeitos úteis, é hoje uma referência para muitas famílias interessadas em escolher as melhores oportunidades para a aprendizagem dos filhos. Um “ranking aperfeiçoado” — um ou vários — será, em contrapartida, um instrumento muito mais útil para o debate das políticas de educação. E para as próprias escolas e as comunidades em que se inserem reflectirem sobre os caminhos a seguir e as mudanças a efectuar, num processo em que deverá pesar cada vez mais a autonomia de cada estabelecimento de ensino.

José Queirós

 

 

Documentação complementar

Perguntas à direcção editorial do PÚBLICO

1. [Há um ano, transmiti aos leitores informações da direcção do PÚBLICO, anunciando algumas mudanças que estavam a ser preparadas para melhorar a qualidade do trabalho anualmente efectuado, em suplemento próprio, sobre os resultados escolares]. Nessa ocasião, punha-se a questão de o ranking do PÚBLICO ignorar os exames da 2ª fase, apesar de as alterações introduzidas desde 2004 no sistema de exames aconselharem a utilizar esses dados para se encontrar um resultado final mais fiável. A explicação que me deram, e que transmiti aos leitores, foi a de que essa opção fora tomada para assegurar a comparabilidade com os rankings dos anos anteriores. Mas acrescentavam: “No entanto, por­que temos cons­ci­ên­cia da mudança da situ­a­ção e tam­bém por­que gos­ta­ría­mos que os ran­kings fos­sem um ins­tru­mento de aná­lise o mais com­pleto pos­sí­vel, vamos, pas­sada esta pri­meira década, fazer todos os esfor­ços para que, no pró­ximo ano, 2011, […] seja alte­rada a regra até aqui vigente (jun­tando as 1ª e 2ª fases para aná­lise)”. No entanto, no suplemento do passado dia 15.10, explicava-se (na infografia da pág.4) que um dos critérios para a elaboração do ranking do PÚBLICO era o de utilizar apenas os resultados da 1ª fase. Houve alguma mudança na avaliação desta questão que justifique que não se tenha feito o que fora anunciado?
2. No texto incluído na infografia, a opção é explicada dizendo-se que “considerar a 2ª fase implicaria, nalguns casos, contar duas notas de um mesmo aluno, distorcendo a média (a base de dados não permite filtrar estas situações)”. Está o PÚBLICO certo de que não é possível obter elementos discriminados que resolvam esse problema? Fez alguma tentativa nesse sentido? Considera que a distorção invocada é menos importante do que a distorção resultante de não ser considerada a 2ª fase?
3. No depoimento [da direcção] do ano passado, que citei na minha crónica, anunciava-se também que, a partir de 2011, o jornal passaria a “[integrar] na aná­lise outros indi­ca­do­res das esco­las além dos exa­mes”. (…) Tratava-se de responder às repetidas críticas, a que o jornal tem aliás dado eco, às limitações dos rankings actuais na avaliação da qualidade das escolas. No editorial deste último suplemento, foi explicado que ainda não foi possível fazê-lo este ano, nomeadamente devido à mudança de governo. (…) Seria importante esclarecer, em benefício dos leitores atentos a este tema, o seguinte: O PÚBLICO já fez ou vai fazer alguma diligência para ter garantias de obter do ministério os dados que seriam necessários para rankings mais ambiciosos? (…) Admitindo a hipótese de o Ministério da Educação continuar a querer “guardar para si” esses dados, pensa o PÚBLICO encontrar alguma outra solução (p.ex. uma parceria com alguma instituição académica) para contornar tal recusa?
26 de Outubro de 2011
J.Q.

Respostas do director adjunto Nuno Pacheco, com a colaboração dos jornalistas Clara Viana e Ricardo Garcia

1. Em 2010 comprometemo-nos, de facto, em matéria de rankings, a dar um “novo e indispensável salto no conhecimento das nossas escolas”, e isso implicaria, como escrevi no editorial do suplemento deste ano, 2011, “que, aos indicadores actuais (os exames da 1ª fase do básico e do secundário), fossem somados outros que permitissem uma leitura mais fiel do real rendimento escolar.” O que nos impediu de dar esse salto? Em primeiro lugar, a prolongada crise política, que desde o início do ano impediu quaisquer avanços nesse sentido. Não chegámos, apesar de contactos nesse sentido, a nenhuma conclusão com o ministério de Isabel Alçada e, com a queda do governo e a mudança de ministro, não houve tempo para programar qualquer trabalho nesse sentido com o novo detentor da pasta, Nuno Crato, acabado de chegar. Ultrapassar o ponto actual obrigaria a que o ministério pusesse à disposição de uma equipa (que podia ser composta por jornalistas, professores ou técnicos de uma ou mais instituições) dados que só existem nos gabinetes da 5 de Outubro e que, devidamente seleccionados e tratados, poderiam permitir leituras múltiplas dos resultados escolares. Para isso, não houve tempo, com muita pena nossa. Estabilizado o ministério, tentaremos agora (…) que o ministério venha a desbloquear os tais dados que ainda “guarda para si”, para citar o professor Rodrigo Queiroz e Melo [ver texto de opinião no suplemento de 15.10.11],
2. O PÚBLICO está certo de que com a base de dados que é disponibilizada pelo Ministério da Educação não é possível obter esses elementos. A base de dados fornecida pelo ministério identifica os exames realizados em cada escola, mas não os alunos que os fizeram. Ou seja, não é possível atribuir um exame a um aluno em particular (algo que poderia ser feito mantendo o anonimato dos alunos, bastava que a cada estudante fosse atribuído um código). Portanto, torna-se impossível identificar os exames da 1ª e 2ª fase feitos por um mesmo aluno. Sendo assim, considerar a 2ª fase implicaria, nalguns casos, contar duas notas de um mesmo aluno e isto levava a uma distorção da média da escola.Correr o risco de falsear uma média sem critérios claros seria pior do que manter, por ora, a opção que tomámos desde o início. Foi esta a conclusão a que chegámos depois de fazer alguns exercícios de simulação. Tendo em conta que o tempo para trabalhar a base de dados era muito curto, face à dimensão da tarefa, não chegámos a questionar o ministério sobre a possibilidade de fornecer uma outra base de dados que nos permitisse chegar a uma única nota para cada aluno. Tanto mais que em relação a outros pedidos feitos ainda em Agosto, nomeadamente dados sócio-económicos da população escolar que pudessem complementar os rankings tradicionais, não obtivemos resposta.
3. As diligências feitas este ano não resultaram, mas é compreensível dado o pouco tempo do novo ministro no cargo. A verdade é que a máquina do ministério só pôs à disposição dos jornais os dados relativos aos exames da 1ª e 2ª fase. Mais nada. E com uma antecedência de apenas cinco dias face ao expirar do embargo (o pretexto foi o orçamento de Estado e necessidade de evitar que os dois se sobrepusessem na agenda mediática). Assim, recebemos os dados na segunda-feira e o suplemento saiu no sábado. Tal como sucedeu em relação aos resultados dos exames, que só foram divulgados após um braço-de-ferro prolongado e difícil, também os dados complementares poderão levar tempo a desbloquear. Depende, em muito, da vontade do ministro. Neste caso, as parcerias só fazem sentido para trabalhar os dados, mas se o ministério não os ceder, nada feito. Por isso, é preciso, primeiro, obter do ministério os dados e só depois estabelecer uma parceria para os tratar, analisar e, no final, tirar as devidas conclusões. (…). Senão é inútil.
31 de Outubro de 2011
Nuno Pacheco