16 Abril 2021
“É prejudicial o valor abissal que os números e as fórmulas estão adquirindo no mundo acadêmico, em detrimento da verdadeira avaliação da qualidade dos trabalhos individuais. Precisamos de uma alternativa à cultura do publicar ou perecer”, escrevem Gonzalo Génova e Anabel Fraga, da Universidade Carlos III, Espanha, e Hernán Astudillo, da Universidade Técnica Federico Santa María, Chile, em artigo publicado por Rebelión, 14-04-2021. A tradução é do Cepat.
Há alguns anos, a ciência acadêmica sofre uma doença que consiste em um enorme aumento do número de publicações científicas sem o correspondente avanço do conhecimento. As descobertas são cortadas em rodelas tão finas como o salame e são enviadas a diferentes revistas para produzir mais artigos.
Estas conquistas espúrias da Academia, representadas por montanhas de publicações não apreciadas e não lidas, sem dúvida, são um desperdício de artigos de só escrita. É um processo de publica-e-perece no qual a maioria dos trabalhos se perdem.
Se considerarmos os artigos acadêmicos como uma espécie de moeda científica lastreada por barras de ouro no banco central da ciência verdadeira, estamos assistindo um fenômeno de inflação de artigos, uma autêntica bolha cienciométrica.
A situação foi descrita já em 1981, na revista Science, com uma crítica à redução da extensão dos artigos e o abuso das chamadas unidades mínimas para publicação (LPU na sigla em inglês). Desde então, as coisas pioraram.
Não questionamos a necessidade da publicação dos resultados científicos. A ciência é um assunto público que deve ser debatido em praça pública, ou seja, em oficinas, conferências e revistas científicas.
Além disso, hoje em dia, qualquer um pode publicar qualquer coisa, em qualquer lugar da rede global. Portanto, é benéfica uma avaliação prévia realizada por um comitê de programa ou conselho editorial responsáveis.
A avaliação adiciona valor na medida em que o núcleo da ciência (a barra de ouro) se torna mais acessível... porque se mantém pequeno. Sendo assim, quanto maior e menos avaliada seja a bolha, menos acessível será o núcleo.
As publicações científicas deveriam ser um remédio para a sobrecarga de informação (termo popularizado por Alvin Toffler, em seu livro O Choque do Futuro, de 1970). Ao contrário, a Academia criou a necessidade artificial de publicar, não para o avanço do conhecimento, mas para o avanço das carreiras profissionais. A Academia sucumbiu à infoxicação.
A ciência é cara. Os governos e os investidores privados esperam, com razão, que seja rentável pagar os salários dos cientistas. Portanto, é desejável promover bons cientistas e centros de pesquisa, ao mesmo tempo em que se desencoraja os maus.
Em nossa moderna sociedade industrial, pensamos que podemos conseguir este objetivo medindo a produtividade. Mas a produtividade científica não se assemelha à produtividade industrial. As ideias não podem ser medidas como tijolos.
As atuais métricas de produtividade científica têm como objetivo avaliar a qualidade das publicações e, através delas, a qualidade do pesquisador.
A qualidade de uma publicação é estimada a partir do fator de impacto da revista onde aparece, que é o número de citações que recebem outros artigos na mesma revista, nos últimos anos. Os pressupostos implícitos neste procedimento de medição são:
1. Uma publicação é boa se é divulgada em uma boa revista;
2. Uma revista é boa se recebeu suficiente atenção dos cientistas.
Em outras palavras, supõe-se que existe uma correlação positiva entre o fator de impacto e a qualidade científica. A ideia é interessante, mas tem muitos efeitos secundários negativos: favorece-se a popularidade sobre a qualidade, promove-se a ciência rápida, provoca-se o Efeito Matthew, destroem-se os fóruns locais e regionais, etc.
O principal problema que subjaz a tudo isto é que o fator de impacto é utilizado como indicador de qualidade. Os partidários da cienciometria argumentarão que, apesar de todas as suas deficiências, é o melhor sistema que podemos ter, porque se baseia em medições objetivas. Isto nos lembra o bêbado que procurava as chaves embaixo do poste porque era o único lugar onde havia luz, embora na verdade ele as tivesse perdido a vários metros de distância.
A cienciometria apresenta a inevitável tendência de todo indicador de rendimento a medir o que é possível medir e deixar de lado o que não é possível medir, de modo que o medível adquire uma importância desmedida.
Provavelmente, a cienciometria pode evitar alguns de seus piores efeitos melhorando os sistemas de medição. Mas, ao final, o problema em si é a concepção da Academia como um sistema retroalimentado. O problema está no empenho em medir a produtividade científica e em retroalimentar o sistema com essas medições. Isto é justamente o que é enunciado pela Lei de Goodhart: quando uma medida se torna uma meta, deixa de ser uma boa medida.
É praticamente inevitável: os cientistas e os espaços de publicação se adaptarão para assegurar sua própria sobrevivência, desenvolvendo estratégias como a ciência salame, as autocitações e as citações de amigos, etc.
Todas estas estratégias se combinam para criar uma cultura pouco ética e anticientífica na qual se premiam muito as habilidades políticas e muito pouco os enfoques imaginativos, as ideias heterodoxas, os resultados de alta qualidade e os argumentos lógicos. E tudo contribui para inflar a bolha cienciométrica e tornar menos acessíveis as barras de ouro da ciência mais valiosa.
Só há uma forma de sair deste círculo vicioso: reconhecer que a qualidade é algo que essencialmente não se pode medir, que está além dos números e os algoritmos, que só pode ser avaliada por humanos, apesar do caráter falível de seu juízo.
O postulado de que existe uma correlação positiva entre o fator de impacto e a qualidade científica está longe de ter sido demonstrado. A crença de que as estatísticas de citações são intrinsecamente mais precisas do que a avaliação humana e, portanto, superam a possível subjetividade da revisão por partes, é infundada: “Utilizar somente o fator de impacto é como utilizar apenas o peso para avaliar a saúde de uma pessoa”.
Sem dúvida, as medidas objetivas podem ajudar na avaliação humana. Mas nos enganamos, caso pensemos que é possível evitar a corrupção e conseguir uma justiça cega utilizando fórmulas matemáticas.
Não existe uma solução algorítmica ao problema da medição da qualidade científica. Por isso, a Declaração de San Francisco sobre Avaliação de Pesquisa ressalta “a necessidade de se eliminar o uso de métricas baseadas em revistas, tais como o Journal Impact Factor, ao decidir sobre financiamento, nomeações e promoções, a necessidade de avaliar a pesquisa por seus próprios méritos e não com base na revista em que a pesquisa é publicada”.
É muito mais fácil coletar alguns números do que pensar seriamente no que um pesquisador alcançou. Como disse Lindsay Waters, é mais simples se basear em números anônimos para despedir alguém ou descartar um projeto de pesquisa, sem ter que explicar razoavelmente um juízo de valor negativo.
Nosso principal interesse é criar consciência sobre o problema. Milhões de cientistas assinaram a Declaração de San Francisco, mas acreditamos que a mensagem merece ser difundida de forma mais ampla: a bolha cienciométrica é pouco ética e é prejudicial para a ciência.
É prejudicial o valor abissal que os números e as fórmulas estão adquirindo no mundo acadêmico, em detrimento da verdadeira avaliação da qualidade dos trabalhos individuais. Precisamos de uma alternativa à cultura do publicar ou perecer.
Mas, claro, avaliar por meio dos fatores de impacto e o ranking de revistas é muito barato... De fato, os verdadeiros beneficiários da avaliação numérica não são os pesquisadores, nem a própria ciência, mas as agências de avaliação, que podem substituir os cientistas (capazes de revisar suas partes) por meros burocratas (capazes de contar citações).
Também há uma ameaça para os valores éticos que impactam a forma como um pesquisador aborda sua atividade científica. A perversão na forma de avaliar a produtividade científica estimula o cientista a se preocupar em publicar para não perecer, em vez de obter um conhecimento mais verdadeiro e confiável.
O pesquisador, pressionado para sobreviver dentro deste sistema, preferirá a popularidade ao valor intrínseco, considerará melhor escolher onde publicar e não o que publicar.
A obsessão em encontrar métodos quantitativos e algorítmicos para avaliar a produtividade científica esconde uma covardia intelectual: a abdicação do avaliador de sua responsabilidade em emitir um juízo pessoal sobre a qualidade científica do trabalho avaliado. Assim, o avaliador acaba se tornando um obediente e absurdo burocrata que se limita a aplicar fórmulas matemáticas. Substituir o fator humano por uma métrica objetiva na avaliação da ciência não evitará a corrupção.
Os juízos humanos são falíveis, mas ao menos não promovem esta bolha cienciométrica que ameaça paralisar o avanço do conhecimento, ocultando as barras de ouro da verdadeira ciência sob uma enorme sobrecarga de publicações.
FECHAR
Comunique à redação erros de português, de informação ou técnicos encontrados nesta página:
A bolha de publicações científicas alimenta a infodemia - Instituto Humanitas Unisinos - IHU
Alicia Massarini iniciou Biologia na Universidade de Buenos Aires (UBA), porque possuía o interesse de conhecer como o conhecimen[...]
LER MAISO Laboratório Nacional de Biociências (LNBio), vinculado ao Ministério da Ciência, Tecnologia, Inovações e Comunicações (M[...]
LER MAIS
