Um paper na Nature vale mais que 20 no Xoroxó Journal of Experimental Medicine? ou O que julgamos ao avaliar a produção científica?

Produção científica por país em todas as áreas indexadas no Scopus (2012). 

Ordenamento por número de publicações (esq) e por citações (dir). Fonte: Scimago.

Há várias evidências que a produção científica brasileira se expandiu numericamente de forma robusta nos últimos anos mas que a qualidade (definida por citações recebidas) não acompanhou o mesmo ritmo de crescimento. Esta defasagem não é uma surpresa, ela ocorre com vários países (ou instituições), sem tradição prévia, que expandem rapidamente a sua produção. Há várias possíveis explicações. Não tentarei tratar extensivamente as causas aqui, mas colocarei as minhas idéias sobre duas delas. 

Um dos componentes da distância entre número de publicações e citações decorre da falta de confiança com os emergentes e isto pode ser curado com a produção continuada de boa ciência. Neste ponto é fundamental uma prática continuada de extremo cuidado com a integridade científica. O comportamento de alguns dos países emergentes com a fabricação de dados não tem ajudado a melhorar a imagem, para dizer o mínimo. 

O outro aspecto que leva à distância entre número de publicações e de citações é que vários países se contentam com a produção numérica e não dão o passo para trabalhar na fronteira do conhecimento. Para corrigir este problema é necessário fazer um diagnóstico da situação e adotar medidas que minimizem os entraves e estimulem o trabalho nos grande temas da ciência e/ou em estudos de maior envergadura (aqui penso em grande estudos de coorte e ensaios clínicos, por exemplo).

Fatores inter alia que prejudicam a atuação nas áreas avançadas da pesquisa:

• Irregularidade no financiamento para a pesquisa;
• Financiamento pulverizado, consumindo muito tempo/esforço para obtenção do nível adequado de financiamento;
• Burocracia e dificuldade no uso dos recursos;
• Ausência de mecanismos para formação de grupos multidisciplinares de pesquisa;
• Periculum horrorem;
• Vícios de avaliação que reforçam o status quo, como o estímulo continuado à produção numérica sem claro comprometimento com a qualidade.

Qual o papel da comunidade científica na correção da situação? Em vários dos pontos listados, a maior ação é a pressão sobre as instâncias decisórias. Contudo em alguns casos, como nos dois últimos ítens da listagem acima, o papel da comunidade científica é fundamental, pois ela mesmo os pratica e tem grande poder de decisão.

O nosso sistema de avaliação de propostas científicas tem tal horror ao risco que penso já constitui uma patologia: o Periculum horrorem. Se precisamos de uma chance enorme que os resultados confirmem nossa hipótese qual a chance de encontrar algo novo? Na maioria destes experimentos, apenas desejamos quantificar um fenômeno conhecido. Evidentemente que o risco de não confirmar a hipótese precisa ser contrabalançado com hipóteses e experimentos bem formulados. Não precisamos lembrar que o risco de não confirmar a hipótese também pode decorrer de hipóteses mal embasadas, desenhos experimentais falhos etc., ou seja má ciência. Assim, o trabalho de julgar se torna muito maior. 

O último ponto a tratar neste post se refere ao tema do título. Quantos de nós refletimos adequadamente sobre o futuro da ciência no Brasil quando estamos em comitês de análise de projetos ou bolsas, em bancas de teses e de concursos? Onde desejamos chegar? Queremos uma tonelada de trabalhos no JEM de Xoroxó ou algumas gramas de trabalhos fundamentais para a ciência? 

Ao estimular desenfreadamente a quantidade, reforçamos também várias práticas na fronteira ou mesmo em pleno terreno da falta de ética em ciência, como a autoria graciosa (autores que não participaram adequadamente do trabalho e nem sabem explicá-lo, e.g). Devemos reconhecer que entre os poucos sinais em prol da qualidade, estão os critérios de julgamento de bolsas do CA de Imunologia no CNPq. Infelizmente grande parte da comunidade os desconhece, pois envia as propostas sem ao menos tentar cumpri-los. Ao invés de número de publicações, o candidato deve:

• Fazer uma avaliação crítica da produtividade científica (publicações) e acadêmica (formação de RH) alcançada no quinqüênio anterior;
• Apresentar, para análise comparativa da qualidade das publicações científicas, 3 trabalhos científicos (ou mais) publicados de alta qualidade em revistas indexadas;
• O candidato deverá ser obrigatoriamente o primeiro autor ou autor correspondente nestes 3 artigos escolhidos, devendo caracterizar liderança na condução de uma linha científica bem definida.

São perfeitos estes critérios? Evidentemente que não. Exigir tão estritamente liderança de todos os participantes não estimula a formação de grande grupos que demorarão mais para produzir trabalhos de alto impacto.

Precisamos refletir mais sobre o tema e propor mecanismos eficientes que contribuam para o salto da qualidade na ciência no Brasil.

PS.
Não confundir a hipotética Xoroxó com a cidade de Chorroxó-Bahia. Qualquer semelhança é mera coincidência sonora, até porque Chorrochó não é (ainda) sede de revistas científicas.