Publicado no "Público" de 12 de Agosto de 1997:

A Avaliação da Ciência

por Miguel Mota*

Nestes últimos anos tem havido em Portugal - país pobre, fundamentalmente porque tem pobre ciência - uma febre altíssima de "avaliação" da ciência.
Nesse "trabalho" se ocuparam largas dezenas de cientistas, nacionais e estrangeiros, certamente consumindo, directa e indirectamente, muitos milhares de contos de reis, com os quais se poderia ter feito bastante mais ciência.
Disse "directa e indirectamente" porque, além dos custos "directos" - só a vinda de cientistas estrangeiros deve ser uma conta calada - há valores que, provavelmente, não aparecem nas contas. São, por um lado os vencimentos dos cientistas ocupados nesse trabalho e por outro o não se realizar a investigação que eles - presumivelmente pessoas altamente qualificadas - poderiam ter feito se não estivessem tanto tempo ocupados a avaliar.
Mas o que mais me admirou é que naquilo que vi na imprensa - não vi, dos relatórios originais de avaliação, senão um, relativo apenas a uma instituição e terminado ainda em 1996 - não encontro referência ao que seria mais lógico e melhor suporte dessa mesma avaliação.
Avaliar investigação científica, isto é, dizer algo sobre o "nível" atingido por uma instituição - ou um país, ou apenas um investigador - não é difícil e nem mesmo é preciso visitá-la nem falar com os seus investigadores.
Se a JNICT tivesse feito duas das várias acções que já, em tempos, lhe sugeri, disporíamos desses elementos, em qualquer instante e para todo o País. E essas duas acções - mais precisamente, duas publicações - que não têm quaisquer dificuldades de execução nem custam muito dinheiro, seriam a "Bibliografia Científica Portuguesa" e "Quem é Alguém na Ciência Portuguesa".
São dois inventários cuja falta já tenho sentido várias vezes e não compreendo porque é que os responsáveis ainda os não mandaram fazer e porque é que muitos cientistas que, como eu, teriam vantagens na sua consulta, não a reclamam em altos berros ou mesmo em manifs, o que, como se verifica pelos factos destes últimos tempos, é a única maneira de conseguir que o governo ou outros responsáveis façam algo necessário.
*
Estão bastante bem definidos - e têm sido apregoados nestes últimos tempos - os parâmetros por que se afere a ciência e, portanto, as instituições e os investigadores. Com aquelas duas listas - a "Bibliografia" a ser publicada mensalmente e reunida em volume coerente no fim do ano; o "Quem é Alguém" a ser publicado anualmente - qualquer pessoa, até leigos na matéria mas com alguma informação, poderia dizer do nível das instituições e dos investigadores.
O produto da investigação científica - tenho-o dito vezes sem conta, mas os factos mostram que é necessário continuar a fazê-lo - são os escritos científicos, onde se descreve a investigação original. Geralmente são artigos publicados em revistas científicas - os "papers", como são conhecidos na gíria da especialidade - e só muito raramente aparece sob a forma de livro.
Assim, dispondo-se da lista do que já foi publicado e do que vai sendo publicado - lembro que, como atrás disse, a "Bibliografia Científica Portuguesa" devia ser publicada mensalmente, embora no fim do ano reunida, de forma coerente, num único volume - poderíamos avaliar qualquer instituição ou qualquer investigador.
Se a instituição - ou o investigador - publicaram "papers", em número significativo, em revistas internacionais consagradas, sabemos que estamos perante uma instituição - ou um investigador - de bom nível, que justifica plenamente o dinheiro nela investido. Qualquer "avaliador" que diga o contrário, ou é incompetente ou é desonesto.
(Diga-se de passagem, que qualquer "avaliação" do tipo das que têm sido feitas, devia divulgar a lista os seus avaliadores, com o seu curriculum vitae, incluindo as referências completas pelo menos das dez ou doze publicações que ele próprio considerasse mais relevantes. Era capaz de haver algumas surpresas...)
Mas, para além da lista das publicações, um outro parâmetro que é reconhecido internacionalmente como de grande validade é o número de citações em revistas ou livros de projecção internacional, dos trabalhos de cada autor, qualquer que tivesse sido a revista onde foram publicados.
Mesmo considerando os defeitos que esse parâmetro possa ter, a verdade é que a uma instituição - ou a um investigador - que tenha os seus trabalhos largamente citados na literatura mundial, não é possível negar qualidade. Inversamente, é impossível considerar de bom nível qualquer instituição - ou investigador - cujos trabalhos apenas escassamente, ou nunca, aparecem citados na literatura mundial.
*
Não é usual, embora eu já o tenha referido noutros locais, incluir na avaliação - seja ela feita "in loco", seja apenas através da análise das publicações - quaisquer referências aos meios de trabalho, nomeadamente infra-estruturas, equipamento e todos os dinheiros recebidos, qualquer que tivesse sido a sua proveniência. Naturalmente, quem pôde dispor de avultados meios de trabalho tem muito mais obrigação de produzir muita e boa ciência do que a pobre instituição - ou investigador - a quem tudo foi cerceado e que só com extrema dificuldade consegue produzir alguma ciência. Com esses valores se devia criar um coeficiente, com valores superiores e inferiores a 1, que serviria de multiplicador aos "valores" determinados para a ciência produzida. Só assim seria legítimo comparar instituições e investigadores.
*
As duas publicações que, como disse, deveriam ser feitas pela JNICT (ou por algum dos organismos dela derivados) são, portanto, da sua responsabilidade. Mas o organismo deveria encorajar as instituições e os investigadores a enviarem-lhe todos os elementos de que dispusessem, como separatas ou fotocópias de todos os "papers" publicados, listas de citações, etc.
Para isso - e algo mais... - poderia contribuir uma outra sugestão minha que a JNICT também ignorou, que era a criação de "prémios" (que poderíamos considerar "prémios de produtividade") a atribuir aos cientistas pela publicação de "papers" e, também, por citações de trabalhos seus.
O quantitativo destes "prémios" deveria ser indexado a uma referência - sugeri porque me parece aceitável o ordenado mensal ilíquido dum professor catedrático do último escalão - e as normas deveriam ser tais que não houvesse um júri a olhar para a "cara" do potencial premiado.
O sistema que propus, que tornaria a concessão dos prémios realmente isenta e podendo ser processada por qualquer funcionário administrativo, era atribuir o prémio a todos os artigos publicados em revistas indexadas no "Current Contents". Apenas haveria que verificar se o trabalho do candidato estava ou não em revista indexada no "Current Contents". Esses prémios, como atrás referi, sendo "prémios de produtividade", seriam uma forma simples e isenta de recompensar aqueles que mais ciência produzem.
Também propus um prémio por citações, evidentemente mais pequeno. Talvez 10% do prémio atribuído aos artigos fosse um valor aceitável.
Afiguras-me que tudo isto é muito simples de fazer e teria, certamente, excelentes resultados
_______________________
*Investigador Coordenado e Professor Catedrático, jubilado.