Contra o produtivismo neoliberal, que degrada a universidade e a vida docente, acadêmicos se mobilizam para defender a centralidade da avaliação qualitativa. E fazer dos resultados de pesquisa uma dádiva, não uma mercadoria.
Este ensaio, cujo título original é A avaliação neoliberal na Academia: funções, disfuncionalidades e alternativas, foi publicado em duas partes. Este texto é a segunda parte de Apêndice do texto anterior intitulado: Produtivismo: Quando a Academia imita a empresa. Na primeira parte, Marcos Barbosa de Oliveira discorreu sobre:
1. A avaliação acadêmica como política pública;
2. O problema da mensuração: número de citações como indicador de qualidade;
3. As disfuncionalidades da avaliação neoliberal.
Nesta segunda parte, são abordados os seguintes tópicos:
4. Formas tradicionais de avaliação na ciência;
5. Memoriais;
6. A reação da comunidade científica;
7. Avaliação e neoliberalismo;
Apêndice: O quantitativo e o qualitativo na avaliação
O artigo é de Marcos Barbosa de Oliveira, Bacharel em Física pela Universidade de São Paulo (USP) (1970), Doutor em História e Filosofia da Ciência pela Universidade de Londres (1981), Livre-docente pela USP (1997), estágios de pesquisa no exterior nas Universidades de Essex (janeiro a março de 1987), de Bristol (outubro a dezembro de 1994) e na New School for Social Research (setembro a dezembro de 1999), Professor Associado da Faculdade de Educação da USP, Departamento de Filosofia da Educação e Ciências da Educação, até a aposentadoria, em agosto de 2014, a partir do mesmo ano, Professor Colaborador junto ao Programa de Pós-Graduação em Filosofia, da FFLCH-USP, vice-coordenador do Grupo de Pesquisa "Filosofia, História e Sociologia da Ciência e da Tecnologia" do Instituto de Estudos Avançados da USP e Membro da Associação Filosófica Scientiae Studia, publicado por Outras Palavras, 20-07-2022.
Para ler a primeira parte, clique aqui.
Os adeptos da avaliação neoliberal difundem implicitamente a tese de que essa é a única forma possível ‒ bem no espírito do princípio TINA, de Margaret Thatcher, “There is no alternative”. O objetivo desta seção é refutar a tese, demonstrando que a avaliação sempre fez parte das atividades científicas. No artigo “A dádiva como princípio organizador da ciência” (Oliveira, 2014), expus uma concepção, baseada em ideias do sociólogo da ciência norte-americano Warren Hagstrom, em que as contribuições dos cientistas, incluindo artigos e livros, funcionam como dádivas, não como mercadorias, nem como simulacros de mercadoria.
Uma mercadoria realiza-se numa operação de troca, a qual tem a natureza de um contrato, que estabelece direitos e obrigações mútuos. A troca de dádivas também envolve direitos e obrigações, que são porém de natureza moral, não contratual: pode-se processar o comerciante que não entregou a mercadoria pela qual pagamos; pode-se censurar, mas não levar à Justiça, o amigo que não retribuiu o presente de aniversário que lhe demos.
No campo da ciência, de acordo com Hagstrom, o doador é o cientista, individualmente ou como membro de um grupo de pesquisa; o que é doado é tipicamente um artigo, em que são expostos resultados de pesquisa; o receptor é a comunidade científica; e a retribuição é o reconhecimento. A seguinte passagem expressa algumas das ideias centrais da concepção do autor.
A troca de presentes […], em contraste com a troca mercantil ou contratual, é particularmente adequada a sistemas sociais muito dependentes da capacidade, por parte de pessoas bem socializadas, de operarem independentemente de controles formais. A prolongada e intensiva socialização pela qual passam os cientistas é reforçada e complementada pela prática da troca de informação por reconhecimento. A experiência de socialização produz cientistas fortemente comprometidos com os valores da ciência, que precisam da estima e admiração de seus pares. A recompensa do reconhecimento reforça esse compromisso mas também o faz flexível. (Hagstrom, 1965, p. 21)
Quais são as formas em que o reconhecimento se expressa? Com base nas ideias de Merton sobre o sistema de recompensa da ciência (reward system of science), pode-se dizer que elas constituem uma hierarquia. Nos níveis superiores encontram-se os títulos de paternidade (Morgagni, pai da patologia; Cuvier, pai da paleontologia); os inúmeros tipos de eponímia, como as leis (de Hooke, de Curie), efeitos (Faraday, Zeeman), unidades (watt, volt), fenômenos (movimento browniano), corpos celestes (cometa de Halley), etc. Vêm a seguir os prêmios (também ordenados numa hierarquia, com o Nobel no topo), medalhas, títulos honoríficos (p. ex., de professor emérito), outros tipos de homenagens, como colóquios, Festschriften, etc. Um aspecto do estudo de Merton que pode ser interpretado como sintoma de elitismo é o fato de que ele é restrito às formas que cabem aos cientistas mais eminentes, os grandes cientistas, ignorando as mais comezinhas, como os títulos – de mestre, doutor, etc. –, os elogios de colegas e leitores de seus artigos, os pareceres favoráveis, aplausos por palestras ministradas, etc. As citações também não deixam de ser expressão de reconhecimento, quando consideradas qualitativamente, e não quantitativamente. No que se refere à docência, vigora a tradição da escolha de patronos e paraninfos de turmas de formandos.
Com isso chegamos ao xis da questão. O fato é que todas essas formas de reconhecimento, primeiro, envolvem avaliações; segundo, essas avaliações são qualitativas, e terceiro, em diferentes graus, as formas de reconhecimento têm outros aspectos positivos. Uma defesa de dissertação de mestrado ou tese de doutorado, p. ex., não deixa de ser uma avaliação, mas é também uma troca de ideias em que todos aprendem – o candidato, com as arguições, e cada membro da banca, com a leitura do trabalho e os comentários dos outros membros. Mais do que meras avaliações, impostas por instâncias externas, as defesas são parte importante da vida acadêmica, momentos cruciais, sempre lembrados, na formação dos docentes, para isso contribuindo o tanto de ritual presente em sua condução.
Pode-se alegar, por outro lado, que, enquanto crítica à avaliação neoliberal, essas considerações são irrelevantes, uma vez que nem todas as formas tradicionais são extintas – em particular, defesas de mestrado e doutorado continuam a ser realizadas. Acontece, porém, que já se observam sinais de uma tendência à sua extinção. Um exemplo é o sistema de progressão horizontal implementado nas universidades estaduais paulistas, em que o avanço na carreira é decidido com base não em defesas, mas sim em avaliações essencialmente quantitativas – contagem de pontos correspondentes a número de artigos publicados, de citações recebidas, índice-h, etc. Não é difícil imaginar que, sendo mantida a hegemonia do espírito neoliberal, as defesas passem a ser vistas como formas antiquadas, fora de sintonia com os novos tempos, e em consequência eliminadas da vida acadêmica.
Concluindo, para os proponentes de reformas no sistema de avaliação em vigor que comentaremos a seguir, fica a sugestão de que as propostas envolvam a revalorização das formas tradicionais.
De maneira geral, no contexto acadêmico brasileiro, por memorial entende-se um texto autobiográfico centrado na carreira acadêmica, posto como requisito aos candidatos num concurso de livre-docência ou de titularidade. Essencialmente, um memorial desse tipo deve expor as razões pelas quais o candidato se julga merecedor do título a que concorre. Mais concretamente, o que se espera de um memorial é um registro não apenas dos episódios da formação, das atividades realizadas como docente, instituições a que se filiou, etc. mas também das motivações para as escolhas feitas, as explicações para mudanças de rumo, quando existem, enfim elementos que dão o sentido do percurso realizado, e das perspectivas futuras. Alguns editais em que os concursos são anunciados trazem uma lista de informações que devem necessariamente constar no memorial, outros – como os editais para concursos de titulação na USP que consultei – limitam-se a prescrever que o memorial deve ser “circunstanciado”.
Essa ausência de normas formais faz com o que o docente tenha inteira liberdade na elaboração do memorial, que resulta numa grande variedade. Enquanto alguns não passam de CVs comentados, outros têm a natureza de autobiografia intelectual ou, no outro extremo, de autobiografia tout court. Uns dedicam grande espaço às circunstâncias históricas, outros às influências mais próximas. Alguns contêm reflexões sobre o próprio ato de escrever o memorial, e assim por diante.
O importante para nossos propósitos é a ausência de normas formais, e a consequente liberdade na elaboração do memorial. Mas vale a pena observar que os concursos em pauta constituem formas de avaliação tradicionais qualitativas que – como vimos em relação a defesas de dissertações e teses – mais que meras avaliações, são atividades importantes da vida acadêmica. Isso acontece porque os concursos têm várias etapas, sendo uma delas a arguição, baseada no memorial, em que ‒ assim como nas defesas de mestrado e doutorado ‒ todos aprendem: o candidato, os membros da banca e o público.
Como na seção anterior, concluo uma sugestão, dirigida agora aos engajados nas iniciativas no Brasil visando a reforma do sistema de avaliação. A sugestão diz respeito à Plataforma Lattes, e o sistema de avaliação fundamentado nos CVs nela arquivados. Como todos sabem, tais CVs trazem em primeiro lugar um pequeno texto, denominado “resumo”, que registra as principais etapas da carreira acadêmica do pesquisador. O resumo pode ser gerado automaticamente pelo sistema, ou redigido pelo pesquisador, com inteira liberdade, podendo ser alterado ou atualizado a qualquer momento. Muito resumidamente, a sugestão é a de que no lugar, ou além do resumo, eles incluam também um memorial, nos moldes em que foram delineados, com destaque para a ausência de requisitos formais no que se refere ao conteúdo. Cada um decide qual é a melhor maneira de se apresentar, para a comunidade acadêmica, mas também para toda a sociedade. O memorial dá aos autores a possibilidade de explicar qual é o valor para a sociedade de suas contribuições, contemplando assim o Princípio Republicano.
Num segundo momento, pode-se expandir o conceito de memorial, de forma que se refira não apenas a indivíduos, mas a qualquer órgão no campo da ciência e da educação superior, isto é, departamentos, programas de pós-graduação, grupos de pesquisa, institutos de pesquisa, faculdades e universidades.
Até este ponto, a exposição sobre a forma de avaliação neoliberal foi de certo modo unilateral, sugerindo implicitamente que a comunidade científica, no mundo todo, tenha reagido de forma submissa, acatando acriticamente diretrizes, vindas de cima para baixo, escoradas na ideologia neoliberal, em particular a que promove o empresariamento da Academia. O objetivo agora é relativizar tal sugestão, mencionando episódios recentes em que, num movimento de baixo para cima, a forma neoliberal de avaliação começa a ser questionada. Estou me referindo não ao enorme volume de críticas, levantadas por especialistas, e na prática ignoradas pelas camadas dirigentes, mas a mobilizações de setores da comunidade mais sensíveis às disfuncionalidades da avaliação neoliberal, engajados na luta pela reforma dos sistemas.
A primeira manifestação digna de nota dessa postura foi uma iniciativa da International Mathematical Union, em colaboração com o International Council of Industrial and Applied Mathematics e o Institute of Mathematical Statistics. Com o objetivo de realizar um estudo crítico das formas de avaliação baseadas em números de citações, foi formado um comitê que se desincumbiu da tarefa elaborando um extenso relatório (Adler, Ewing e Taylor, 2009).
Um aspecto interessante da iniciativa é o de que, sendo obra de matemáticos e estatísticos, ela exemplifica o fenômeno em que uma área do conhecimento científico critica outras. Assim, pode-se dizer que as críticas expostas correspondem a uma exigência de que, em seu autoentendimento e na avaliação de seus produtos, os cientistas devem atuar como cientistas, isto é, devem pautar-se pelos valores do rigor, clareza, adequação metodológica, etc., próprios da ciência. Deste ponto de vista, vale a pena observar também uma das limitações do FI (fator de impacto), a saber, a de que ele não serve de base para comparações entre a produtividade de diferentes áreas do saber, uma vez que as médias de citações por área variam bastante. Num extremo situa-se a matemática/computação, com média de pouco menos de 1 citação por artigo, no outro as ciências da vida, com pouco mais de 6 (Adler et al, 2009, p. 8).
A segunda iniciativa a ser considerada é a mais influente. Foi gestada durante o encontro anual da American Society for Cell Biology, realizada em São Francisco (Califórnia) em 2012. Como parte das atividades do evento, em 16 de dezembro reuniu-se um grupo de editores e publishers de revistas científicas, que desenvolveu uma série de recomendações, expressas no documento intitulado San Francisco Declaration on Research Assessment, e conhecido pelo acrônimo DORA. Sua importância deve-se principalmente ao fato de que a partir do grupo inicial constituiu-se um movimento, representado por uma ONG, que leva também o nome DORA. Quando foi publicada, em maio de 2013, a declaração já contava com a filiação de mais de 150 cientistas e 75 organizações científicas. No momento em que escrevo estas linhas (3/5/2022), estão inscritos 19.126 indivíduos e 2.549 instituições, de 158 países.
A partir de 2013 multiplicam-se manifestações desse tipo. Uma análise minimamente informativa de cada uma extrapola os limites deste ensaio. Apresentarei apenas uma lista, com breves observações a respeito de algumas, em notas de rodapé, e a seguir comentários sobre todas, consideradas em bloco.
Leiden Manifesto for Research Metrics. (Hicks et al. 2015).
The metric tide: report of the independent review of the role of metrics in research assessment and management. (Wilsdon, J. et al. 2015)
The Academic Manifesto: from an occupied to a public university. (Halffman & Radder, 2015)
Résumé for Research (R4R) (The Royal Society, 2019)
The Hong Kong Principles for assessing researchers: fostering research integrity (Moher et al., 2020).
Responsible science assessment: downplaying indexes, boosting quality. (Kowaltowski et al. 2021)
Résumé for Research and Innovation (R4RI) (UKRI, 2021).
Responsible Research Assessment: call to action. (GRC, 2021)
Utrecht University Recognition and Rewards Vision. (Boselie, 2021)
Todas as afirmações a seguir devem ser interpretadas com a cláusula “grosso modo”. A primeira é a de que os manifestos compartilham a estrutura da DORA, sendo formados por uma parte analítica, onde são expostas as disfuncionalidades das métricas em vigor, seguida de uma parte propositiva, na forma de um conjunto de recomendações. Em contraste com a abordagem deste ensaio, ignora-se a história, o entendimento de como chegamos a este ponto, junto com a localização da Academia no panorama econômico, político e social da atualidade, particularmente no que se refere à relação da avaliação acadêmica com o neoliberalismo.
No tocante às disfuncionalidades, mais atenção é dedicada à precariedade dos indicadores do que às consequências nefastas. Associado a esse aspecto, nas recomendações preponderam as que têm por objetivo o aperfeiçoamento das métricas ‒ ainda que prescrevendo a revalorização do qualitativo. A prescrição geral é a de que os processos de avaliação devem incluir ambas as modalidades, a quantitativa e a qualitativa.
Em Oliveira (2015), exponho evidências que sustentam o diagnóstico segundo o qual a ciência nos últimos tempos é vítima de uma epidemia de más condutas, e de que as medidas tomadas para combatê-la (que caracterizo como o tratamento moralizador) não têm se mostrado eficazes. Completando o raciocínio, argumento que o fracasso deve-se ao fato de que tal tratamento combate apenas os sintomas, ignorando as causas (que, como procuro mostrar, residem principalmente em características da avaliação neoliberal). Proponho agora que o mesmo tipo de consideração vale para os males das métricas em vigor: a existência das disfuncionalidades é reconhecida, mas as recomendações voltadas para sua superação têm fracassado (Kowaltowski, Silber e Oliveira, 2021). A própria proliferação de manifestos é sinal de que os primeiros a serem proclamados não surtiram o efeito desejado.
Quais as causas desse impasse? A resposta requer algumas considerações a respeito do neoliberalismo.
O cerne do ideário neoliberal é o dogma da excelência do mercado como um princípio organizador da vida econômica e social das sociedades. Dele decorre a tendência a mercantilizar ‒ isto é, a inserir no sistema do mercado ‒ todos os níveis da vida social, do Estado aos indivíduos ‒ incluindo, entre os situados nos níveis intermediários, a Academia ou, de outro ponto de vista, a ciência. No tocante à mercantilização dos indivíduos, a melhor análise, a nosso ver, é a da dupla Pierre Dardot e Christian Laval, desenvolvida em A nova razão do mundo: ensaio sobre a sociedade neoliberal. O livro consiste numa extensa e complexa defesa da tese segundo a qual, mais que uma ideologia e um conjunto de políticas econômicas, o neoliberalismo envolve uma profunda mudança no modo de vida, na subjetividade das pessoas. Para nossos propósitos, é suficiente a transcrição da seguinte passagem, que pode ser tomada como uma caracterização do espírito do neoliberalismo, em termos de tipo ideal.
O neoliberalismo não destrói apenas regras, instituições, direitos. Ele também produz certos tipos de relações sociais, certas maneiras de viver, certas subjetividades. Em outras palavras, com o neoliberalismo o que está em jogo é nada mais nada menos que a forma de nossa existência, isto é, a forma como somos levados a nos comportar, a nos relacionar com os outros e com nós mesmos. O neoliberalismo define certa norma de vida nas sociedades ocidentais e, para além dela, em todas as sociedades que as seguem no caminho da “modernidade”. Essa norma impõe a cada um de nós que vivamos num universo de competição generalizada, intima os assalariados e as populações a entrar em luta econômica uns contra os outros, ordena as relações sociais segundo o modelo do mercado, obriga a justificar desigualdades cada vez mais profundas, muda até o indivíduo, que é instado a conceber a si mesmo e a comportar-se como uma empresa. Há quase um terço de século, essa norma de vida rege as políticas públicas, comanda as relações econômicas mundiais, transforma a sociedade, remodela a subjetividade. (Dardot; Laval, 2016, p.16)
A Academia não escapa dessa pressão mercantilizadora. A evidência mais clara disso são os novos ingressantes na carreira acadêmica, que já chegam imbuídos do espírito do neoliberalismo. Tendo naturalizado e introjetado os valores do individualismo exacerbado (ou egoísmo), da competição, do empreendedorismo, da redução de todos os valores ao valor monetário, etc., não têm dificuldade em adaptar-se à forma empresarial de administração da Academia imposta pelas forças neoliberais ‒ cuja peça-chave é, como vimos, a avaliação quantitativa. Entre os veteranos, prevalece certa insatisfação com o sistema, principalmente pelas tarefas burocráticas exigidas pelos processos de avaliação. A insatisfação, entretanto, praticamente só se manifesta em conversas pessoais; no nível institucional, quando há algum empenho em aperfeiçoar a forma de avaliação, as propostas referem-se apenas a detalhes, que não alteram sua natureza, sendo assim incapazes de superar suas disfuncionalidades.
Tais observações, por outro lado, aplicam-se apenas parcialmente aos responsáveis pelos manifestos listados acima, e seus signatários. Esse contingente, entretanto é fortemente minoritário no todo da comunidade acadêmica. A grande maioria, ou, numa postura negacionista, ignora as disfuncionalidades do sistema, ou as reconhece, mas as aceita resignadamente, como inelutáveis. O resultado é a debilidade política do movimento reformista, incapaz de se contrapor efetivamente à onda neoliberal. Essa então é a resposta que propomos para a pergunta levantada acima a respeito do impasse, da falta de avanço significativo no movimento em prol da reforma do sistema neoliberal de avaliação.
Aplicada a nosso tema, a análise de Dardot e Laval sugere que uma mudança profunda, capaz de superar as disfuncionalidades da avaliação neoliberal, não pode ser alcançada apenas através do aperfeiçoamento das métricas. O que se impõe é a necessidade de uma remodelação das subjetividades dos acadêmicos, individualmente e enquanto comunidade, livrando-as do espírito do neoliberalismo. Por outro lado, é difícil imaginar que isso possa acontecer no âmbito da Academia, caso o ideário neoliberal continue hegemônico na sociedade como um todo. A implicação é a de que o processo de des-neoliberalização dos sistemas de avaliação deve se desenvolver em paralelo com a des-neoliberalização de toda a sociedade.
Para quem subscreve o princípio de que o neoliberalismo veio para ficar, que não há alternativa viável, e ao mesmo tempo se incomoda com as disfuncionalidades da avaliação neoliberal, as considerações acima são bem pessimistas. Elas viram otimistas quando se leva em conta que o desenrolar da história no século XXI vem solapando os fundamentos do neoliberalismo. Um marco no processo foi a crise de 2008, iniciada do mercado financeiro, mas logo estendendo-se à economia em escala global, trazendo em sua esteira a recessão. Outro golpe foi o impacto da pandemia, que obrigou os Estados a atuarem de maneira oposta ao ideário neoliberal, injetando gigantescas quantias de dinheiro na economia. Com isso, cresce a cada dia o número de pensadores que dão como certo o fim do neoliberalismo – embora estejam muito pouco claras as características do que virá a seguir (Streek, 2017; Stiglitz, 2019; Durand, 2021; Gestle, 2022).
Chega-se assim à conclusão: a reforma dos sistemas neoliberais de avaliação na Academia deve ser concebida enquanto setor da luta pela superação do neoliberalismo, e sua substituição por nova forma de organização da vida social menos disfuncional, mais justa, democrática, atenta aos problemas ambientais, respeitadora da natureza e dos direitos humanos, etc.
O quantitativo e o qualitativo na avaliação
Um dos focos centrais no debate sobre a avaliação na Universidade é a oposição entre o quantitativo e o qualitativo. Na disputa, confrontam-se, de um lado, os partidários das avaliações quantitativas, defendidas como mais objetivas, infensas às distorções decorrentes de relações de clientelismo e compadrio, e consequentemente mais adequadas ao espírito da meritocracia. De outro lado, os que veem a qualidade como valor essencial das criações da mente humana. No discurso de ambas as partes em disputa, entretanto, adota-se implicitamente o pressuposto de que a distinção entre os dois tipos de avaliação é simples, e evidente para todos, dispensando explicações ou análise. A situação real é bem diferente. Se não, vejamos.
Em qualquer enunciado quantitativo, há referência a uma qualidade. “Esta abóbora pesa 3 quilos” refere-se à qualidade peso da abóbora (que além dessa tem, é claro, outras qualidades, como o volume, a densidade, a cor, etc.). As avaliações qualitativas também se referem a uma qualidade – no contexto que nos interessa, a qualidade acadêmica. A diferença entre as modalidades portanto não consiste em que as avaliações quantitativas dizem respeito apenas a quantidades.
Numa segunda tentativa, pode-se pensar que apenas as avaliações quantitativas, e não as qualitativas se expressam em números. Mas, de novo, a ideia não se sustenta. Consideremos, por exemplo, um caso típico de avaliação qualitativa, o da avaliação de redações na escola, em concursos, exames vestibulares e congêneres. O resultado completo de uma avaliação deste tipo deve ser expresso na forma de um parecer, em que se indicam as virtudes, defeitos, etc. do trabalho. O procedimento usual, entretanto, é o que consiste em apresentar o resultado de modo radicalmente sumário, por meio de um único número – a nota –, tomada como a medida da qualidade da redação. Embora limitadas por seu caráter sumário, as avaliações expressas em notas têm óbvias e importantes vantagens do ponto de vista operacional – que constituem na verdade as razões para sua adoção. De qualquer modo, parece nada haver de absurdo, ou essencialmente inaceitável em se resumir o saldo das virtudes menos os defeitos de uma redação numa nota.
Generalizando, pode-se afirmar que avaliações qualitativas podem ser expressas em números, não sendo essa portanto uma característica que as diferencie das avaliações quantitativas.
A terceira tentativa conduz à análise que propomos. Ela diz respeito à natureza de cada modalidade de avaliação, no seguinte sentido. A qualidade acadêmica é uma entidade complexa, composta de muitas outras qualidades. Consideremos, por exemplo, uma pesquisa, relatada num artigo. Sua qualidade acadêmica é função de sua originalidade, relevância, coerência, solidez argumentativa, etc. Esse mix de qualidades além do mais não é uniforme: varia em sua composição, e no peso atribuído a cada uma, de domínio para domínio, no mundo acadêmico. A adequação empírica – isto é, a boa relação entre as afirmações teóricas e as evidências empíricas –, crucialmente importante nas ciências naturais e sociais, de maneira geral não é um critério que se aplique no domínio das humanidades. Nestas, por outro lado, leva-se em conta a qualidade literária do texto, pouquíssimo valorizada nas ciências naturais.
A qualidade acadêmica, bem como suas qualidades componentes, em cada contexto, são valores – diferentemente das qualidades medidas pelas avaliações quantitativas, que por si só são factuais, axiologicamente neutras.
Essas duas características da qualidade acadêmica fazem com que ela seja vaga, e essa vagueza abre espaço para a subjetividade, no sentido de que diferentes avaliadores podem chegar a resultados diferentes. As qualidades que são objeto das avaliações quantitativas, em contraste, são nítidas, no sentido de que não causam divergências entre os resultados a que chegam diferentes avaliadores, podendo inclusive ser realizadas por sistemas computacionais – como, p. ex., o número de artigos publicados por um pesquisador.
A subjetividade das avaliações qualitativas não é completa, como a de um gosto que não se discute: elas envolvem a objetividade como um princípio regulador, um ideal que se procura atingir. Uma avaliação qualitativa se faz com base em critérios, implícitos ou, com maior frequência, explicitamente estipulados. Tais critérios correspondem às qualidades componentes da qualidade acadêmica; o objetivo da estipulação é tornar tão precisa quanto possível sua caracterização ou, em outras palavras, reduzir sua vagueza. A norma para o avaliador é a de que ele deve se pautar apenas pelos critérios estabelecidos, procurando evitar a influência de fatores espúrios – como interesses pessoais, preconceitos de raça, gênero ou religião, etc. – que desviam o processo do caminho da objetividade. Toda essa maneira de conceber as avaliações qualitativas tem como pressuposto a existência na realidade – e não apenas na mente do avaliador – das qualidades em jogo. O problema da vagueza da qualidade acadêmica, que dá margem a divergências nos resultados de diferentes avaliadores situa-se na esfera não da ontologia, mas da epistemologia.
Outra característica importante das novas formas de avaliação é a de que muitas delas consistem em processos complexos, formados por várias etapas, podendo a natureza de cada uma ser quantitativa ou qualitativa. Considere-se, por exemplo, o número de artigos publicados (NA). À primeira vista, NA parece ter uma natureza puramente quantitativa. Um exame mais detido, entretanto, traz à tona o sistema de revisão por pares – em que os pareceristas, com base em avaliações qualitativas, recomendam ou não a publicação dos artigos. A determinação de NA envolve portanto uma etapa essencialmente quantitativa – a contagem de artigos – mas também uma etapa preliminar qualitativa, que delimita o conjunto de artigos a serem contados. Num plano mais geral, a implicação do exemplo é a de que a distinção quantitativo/qualitativo na avaliação não constitui uma dicotomia, mas sim uma questão de grau.
Adler, Robert, Ewing, John e Taylor, Peter (2009). Citation statistics. Statistical Science 24(1) p.1-14. Tradução brasileira: Estatísticas de citações. Mediações 14 (1), p. 69-100. Disponível aqui.
Bornmann, Lutz et al. (2011). A multilevel meta-analysis of studies reporting correlations between the h-index and 37 different h-index variants. Journal of Informetric 5(3), p. 346–59.
Bornmann, Lutz & Mutz, Rütiger (2015). Growth rate of modern science: a bibliometric analysis based on the number of publication and cited references. Journal of the Association for Information Science and Technology 66, p. 2215-2222.
Boselie, Paul et al. (2021). Recognition and Rewards Vision. Utrecht University. Disponível aqui.
Cafardo, Renata (2021). Quase 40% dos brasileiros não sabem o que faz a universidade pública, aponta estudo. O Estado de São Paulo, 28/11/2021.
Casadevall, Arturo & Fang, Ferric C. (2014). Causes for the Impact Factor mania. ASM Journals/ mBio 5(2), p. 2-5. Disponível aqui.
CGEE (2015). Percepção pública da C&T no Brasil 2015: ciência e tecnologia no olhar dos brasileiros. Sumário executivo. Brasília: Centro de Gestão e Estudos Estratégicos. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2017). A ciência e a tecnologia no olhar dos brasileiros: percepção pública da C&T no Brasil – 2015. Brasília: Centro de Gestão e Estudos Estratégicos. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2019). Percepção pública da C&T no Brasil – 2019. Resumo executivo. Brasília: Centro de Gestão e Estudos Estratégicos. Disponível aqui.
Clark, Brett & Foster, John B. (2020). The robbery of nature: capitalism and the ecological rift. Nova York: Monthly Review Press.
Cronin, Blaise & Sugimoto, Cassidy R. (orgs.) (2014). Beyond bibliometrics: harnessing multidimensional indicators of scholarly impact. Cambridge (Mass.): MIT.
Dardot, Pierre & Laval, Christian (2016). A nova razão do mundo: ensaio sobre a sociedade neoliberal. São Paulo: Boitempo.
Duflo, Esther & Banerjee, Abhijit (2019). Economic incentives don’t always do what we want them to. The New York Times, 26/10/2019.
Durand, Cédric (2021). 1979 in reverse. New Left Review/Sidecar Junho 2011. Disponível aqui.
Einstein, Albert (1905). Zur Elektrodynamik bewegter Körper. Annalen der Physik 4(17) p. 891-921.
Elkana, Yehuda; Lederberg, Joshua; Merton, Robert K.; Thackray, Arnold e Zuckerman, Harriet (1978). Toward a metric of science: the advent of science indicators. Nova York: Wiley.
Garfield, Eugene (1964). Can citation indexing be automated? Em Stevens et al. (orgs.), Statistical association methods for mechanized documentation, symposium proceedings, 1964. Washington: National Bureau of Standards Miscellaneous Publication 269, 1965, p. 89-192. Disponível aqui.
Gestle, Gary (2022). The rise and fall of the neoliberal order: America and the world in the free market era. Nova York: Oxford U.P.
Gingras, Yves (2014). Criteria for evaluating indicators. Em Cronin & Sugimoto (2014), p. 109-125.
GRC (Global Research Council) (2021). Responsible Research Assessment: call to action. Disponível aqui.
Hagstrom, Warren O. (1965). The scientific community. Nova York: Basic Books.
Halffman, Willen & Hans Radder (2015). The Academic Manifesto: from an occupied to a public university. Minerva 53(2), p.165-187. Tradução brasileira: Manifesto Acadêmico: de uma universidade ocupada para uma pública (2017) . Revista Adusp nº 60, p. 7-25. Disponível aqui.
Hicks, Diana, et al. (2015). The Leiden Manifesto for research metrics. Nature 520, 23 de abril de 2015, p. 429-431. A tradução para o português (Manifesto de Leiden sobre Métricas de Pesquisa) encontra-se aqui.
INCT-CPCT (2019). O que os jovens brasileiros pensam da ciência e da tecnologia? Brasília: Instituto Nacional de Ciência e Tecnologia em Comunicação Pública da Ciência e Tecnologia. Disponível aqui.
Jevons, William S. (1983 [1871]). A teoria da economia política. São Paulo: Abril Cultural.
Koltun, Vladlen & Hafner, Danijar (2021). The h-index is no longer an effective correlate of scientific reputation. PLoS ONE 16(6): e0253397. Disponível aqui.
Kowaltowski, Alicia J., Silber, Ariel M. e Oliveira, Marcus F. (2021). Responsible science assessment: downplaying indexes, boosting quality. Anais da Academia Brasileira de Ciências 93 (1). Disponível aqui.
Marcovitch, Jacques (org.) (2018). Repensar a universidade: desempenho acadêmico e comparações internacionais. São Paulo: Com-Arte; Fapesp. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2019). Repensar a universidade II: impactos para a sociedade. São Paulo: Com-Arte; Fapesp. Disponível aqui.
Marques, Fabrício (2022). O encargo de contar a própria história. Pesquisa FAPESP 23(316), p.43-44.
Merton, Robert K. (1957): Social theory and social structure. 2a edição, revista e ampliada. Glencoe (Ill.): The Free Press.
Moher et al. (2020 ). The Hong Kong Principles for assessing researchers: fostering research integrity. PLoS Biol 18(7). Disponível aqui.
Narin, Francis (1976). Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Parsippany (NJ): Computer Horizons.
Oliveira, Marcos B. de (2008) A avaliação neoliberal na Universidade e a responsabilidade social dos pesquisadores. Scientiae Studia, 6(3), p 379-387. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2010). A estratégia dos bônus: três pressupostos e uma consequência. Trabalho, Educação e Saúde, 7(3), p. 419-433. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2014). A dádiva como princípio organizador da ciência. Estudos Avançados, 28(82), p. 201- 223 Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2015). A epidemia de más condutas na ciência: o fracasso do tratamento moralizador. Scientiae Studia 13(4), p. 867-897. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2017). Fraudes e plágios na ciência: a epidemia, o tratamento moralizador e seu fracasso. Revista Adusp 60, p. 66-77. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2018). Sobre a distinção quantitativo/qualitativo na avaliação acadêmica. Jornal da USP, 05/12/2018. Disponível aqui.
‒‒‒‒‒‒‒‒‒ (2019). Empresariamento da Universidade: consequências nefastas do produtivismo. Revista Adusp 63, p. 59-72. Disponível aqui.
Orwell, George (1958). The road to Wigan Pier. Nova York: Harcourt.
Passeggi, Maria da C. & Souza, Elizeu C. de (orgs.) (2008). (Auto)biografia: formação, territórios e saberes. Natal: Editora da UFRN.
Silva, Wilton C. L. da (2015). A vida, a obra, o que falta, o que sobra: memorial acadêmico, direitos e obrigações da escrita. Tempo e Argumento 7(15), p. 103-136.
Streek, Wolfgang (2017) How will capitalism end? Essays on a falling system. Londres: Verso.
Stiglitz, Joseph (2019) O fim do neoliberalismo e o renascimento da história. Disponível aqui.
Tal, Eran (2020). Measurement in science. The Stanford Encyclopedia of Philosophy (Edição do outono de 2020). Disponível aqui.
The Royal Society (2019). Résumé for Research (R4R). Disponível aqui.
UKRI (United Kingdom Research and Innovation (2021) Résumé for Research and Innovation (R4RI). Disponível aqui.
Urbina-Garcia, Angel (2020). What do we know about university academics mental health? A systematic literature review”. Stress and Health 36, p. 563-585. Disponível aqui.
Veblen, Thorstein (1898). The instinct of workmanship and the irksomeness of labor. American Journal of Sociology, vol. 4, p. 187-201.
Vermeir, Koen (2013). Scientific research: commodities or commons? Science & Education 22 (10), p. 2485-2510.
Waizbort, Leopoldo (1998). Para uma sociologia do memorial acadêmico: um fragmento. Literatura e Sociedade 3, p. 62-76.
Wilsdon, James et al. (2015). The metric tide: report of the independent review of metrics in research. DOI:10.13140/RG.2.1.4929.1363 Disponível aqui.
Wouters, Paul (1999). The citation culture. PhD thesis. Faculty of Science, University of Amsterdam. Disponível aqui.