Retratações de artigos e outros problemas de integridade científica. Um problema crescente?

Um artigo no New York Times de 28 de maio último foi dedicado ao problema da retratação de artigos científicos (Retracted Scientific Studies: A Growing List aqui). A motivação do artigo foi a retratação na Science do artigo sobre mudança de atitudes frente ao casamento homoafetivo mas cita vários casos emblemáticos anteriores, incluindo o artigo que descreveu a relação entre vacinação e autismo publicado no Lancet e retratado 12 anos depois.

Um artigo da Nature de 2011 (aqui) havia mostrado que o problema  de retratações é crescente. O tema já foi tratado no SBlogI em postagens anteriores (aqui, aqui, aqui, entre outros, incluindo posts nos quais o problema é tratado mesmo não sendo o tema central).

Figura do artigo The Trouble with Retractions (aqui).

Em outubro de 2014, a FAPESP divulgou, identificando os pesquisadores, "Cinco casos de fraude científica – incluindo plágio e fabricação de dados – foram divulgados nesta terça pela Fapesp, fundação pública que financia a pesquisa científica no Estado de São Paulo. Desde o lançamento do Código de Boas Práticas Científicas, em 2011, é a primeira vez que a instituição expõe conclusões de investigações. A divulgação das fraudes deve continuar, conforme forem apuradas. A medida é inédita no Brasil."

Um possível esquema para ampliar as citações de revistas brasileiras foi denunciado em 2013 (Brazilian citation scheme outed. pdf aqui)

Figura do artigo Brazilian citation scheme outed. pdf aqui

O tema da retratação se soma à cobertura da imprensa para outros aspectos embaraçosos da atividade científica. Em 2012, um artigo na Reuters tratou da questão da irreproducibilidade dos dados de trabalhos científicos publicados. “A former researcher at Amgen Inc has found that many basic studies on cancer -- a high proportion of them from university labs -- are unreliable, with grim consequences for producing new medicines in the future. … During a decade as head of global cancer research at Amgen, C. Glenn Begley identified 53 "landmark" publications -- papers in top journals, from reputable labs -- for his team to reproduce. Begley sought to double-check the findings before trying to build on them for drug development. Result: 47 of the 53 could not be replicated. He described his findings in a commentary piece published on Wednesday in the journal Nature." O artigo da Nature (pdf aqui) mostra aspectos interessantes, inclusive que artigos não reproduzíveis publicados em revistas com Fator de Impacto de 5 a 19, tiveram maior número de citações que os reproduzíveis. 

Tabela do comentário Raise Standards for Preclinical Cancer Research aqui

Contudo, o aumento de retratações não deve apavorar. Os artigos retratados representam cerca de 0,02% dos artigos publicados anualmente e isto pode refletir a decisão mais firme dos editores de retirar os resultados não confiáveis do que um aumento importante do problema. Contudo a divulgação dos episódios na imprensa leiga tende a maximizar os problemas. Assim, ou a comunidade científica enfrenta de forma decidida esta situação ou corre o sério risco de desmoralização e perda de credibilidade de forma perigosa.

Um paper na Nature vale mais que 20 no Xoroxó Journal of Experimental Medicine? ou O que julgamos ao avaliar a produção científica?

Produção científica por país em todas as áreas indexadas no Scopus (2012). 

Ordenamento por número de publicações (esq) e por citações (dir). Fonte: Scimago.

Há várias evidências que a produção científica brasileira se expandiu numericamente de forma robusta nos últimos anos mas que a qualidade (definida por citações recebidas) não acompanhou o mesmo ritmo de crescimento. Esta defasagem não é uma surpresa, ela ocorre com vários países (ou instituições), sem tradição prévia, que expandem rapidamente a sua produção. Há várias possíveis explicações. Não tentarei tratar extensivamente as causas aqui, mas colocarei as minhas idéias sobre duas delas. 

Um dos componentes da distância entre número de publicações e citações decorre da falta de confiança com os emergentes e isto pode ser curado com a produção continuada de boa ciência. Neste ponto é fundamental uma prática continuada de extremo cuidado com a integridade científica. O comportamento de alguns dos países emergentes com a fabricação de dados não tem ajudado a melhorar a imagem, para dizer o mínimo. 

O outro aspecto que leva à distância entre número de publicações e de citações é que vários países se contentam com a produção numérica e não dão o passo para trabalhar na fronteira do conhecimento. Para corrigir este problema é necessário fazer um diagnóstico da situação e adotar medidas que minimizem os entraves e estimulem o trabalho nos grande temas da ciência e/ou em estudos de maior envergadura (aqui penso em grande estudos de coorte e ensaios clínicos, por exemplo).

Fatores inter alia que prejudicam a atuação nas áreas avançadas da pesquisa:

• Irregularidade no financiamento para a pesquisa;
• Financiamento pulverizado, consumindo muito tempo/esforço para obtenção do nível adequado de financiamento;
• Burocracia e dificuldade no uso dos recursos;
• Ausência de mecanismos para formação de grupos multidisciplinares de pesquisa;
• Periculum horrorem;
• Vícios de avaliação que reforçam o status quo, como o estímulo continuado à produção numérica sem claro comprometimento com a qualidade.

Qual o papel da comunidade científica na correção da situação? Em vários dos pontos listados, a maior ação é a pressão sobre as instâncias decisórias. Contudo em alguns casos, como nos dois últimos ítens da listagem acima, o papel da comunidade científica é fundamental, pois ela mesmo os pratica e tem grande poder de decisão.

O nosso sistema de avaliação de propostas científicas tem tal horror ao risco que penso já constitui uma patologia: o Periculum horrorem. Se precisamos de uma chance enorme que os resultados confirmem nossa hipótese qual a chance de encontrar algo novo? Na maioria destes experimentos, apenas desejamos quantificar um fenômeno conhecido. Evidentemente que o risco de não confirmar a hipótese precisa ser contrabalançado com hipóteses e experimentos bem formulados. Não precisamos lembrar que o risco de não confirmar a hipótese também pode decorrer de hipóteses mal embasadas, desenhos experimentais falhos etc., ou seja má ciência. Assim, o trabalho de julgar se torna muito maior. 

O último ponto a tratar neste post se refere ao tema do título. Quantos de nós refletimos adequadamente sobre o futuro da ciência no Brasil quando estamos em comitês de análise de projetos ou bolsas, em bancas de teses e de concursos? Onde desejamos chegar? Queremos uma tonelada de trabalhos no JEM de Xoroxó ou algumas gramas de trabalhos fundamentais para a ciência? 

Ao estimular desenfreadamente a quantidade, reforçamos também várias práticas na fronteira ou mesmo em pleno terreno da falta de ética em ciência, como a autoria graciosa (autores que não participaram adequadamente do trabalho e nem sabem explicá-lo, e.g). Devemos reconhecer que entre os poucos sinais em prol da qualidade, estão os critérios de julgamento de bolsas do CA de Imunologia no CNPq. Infelizmente grande parte da comunidade os desconhece, pois envia as propostas sem ao menos tentar cumpri-los. Ao invés de número de publicações, o candidato deve:

• Fazer uma avaliação crítica da produtividade científica (publicações) e acadêmica (formação de RH) alcançada no quinqüênio anterior;
• Apresentar, para análise comparativa da qualidade das publicações científicas, 3 trabalhos científicos (ou mais) publicados de alta qualidade em revistas indexadas;
• O candidato deverá ser obrigatoriamente o primeiro autor ou autor correspondente nestes 3 artigos escolhidos, devendo caracterizar liderança na condução de uma linha científica bem definida.

São perfeitos estes critérios? Evidentemente que não. Exigir tão estritamente liderança de todos os participantes não estimula a formação de grande grupos que demorarão mais para produzir trabalhos de alto impacto.

Precisamos refletir mais sobre o tema e propor mecanismos eficientes que contribuam para o salto da qualidade na ciência no Brasil.

PS.
Não confundir a hipotética Xoroxó com a cidade de Chorroxó-Bahia. Qualquer semelhança é mera coincidência sonora, até porque Chorrochó não é (ainda) sede de revistas científicas.