Reprodutibilidade em pesquisa, retratação de artigos e uma iniciativa educacional do NIH

Autor: Dinler Antunes, pós-doutorando no Departamento de Ciências da Computação da Rice University, no Texas/EUA.

A reprodutibilidade e os artigos retratados

A reprodutibilidade de experimentos/resultados é um dos pilares das ciências e a preocupação com o aumento de trabalhos retratados é um debate recorrente na comunidade (este tema foi previamente abordado aqui no SBlogI em post de Janeiro de 2012: "A reprodutibilidade em discussão"). Em um editorial da revista Infection and Immunity, publicado em 2011, os autores descrevem que a frequência de retratações varia entre os periódicos científicos e que existe uma forte correlação entre o "índice de retratação" (métrica desenvolvida pelos autores) e o fator de impacto da revista: quanto maior o impacto, maior o número de retratações.  

Figura 1. Correlação entre o fator de impacto do periódico e frequência de artigos retratados, indicada pelo "índice de retratação. Vide publicação original.

Obviamente esta correlação deve ser fruto de uma série de fatores. Por exemplo, o status e os possíveis benefícios advindos da publicação em revistas de alto impacto poderiam incentivar alguns pesquisadores a falsificar/omitir dados ou "maquiar" resultados, sobretudo considerando a maior exigência destas revistas quanto a clareza e coerência dos resultados. Alternativamente, as mesmas condições podem favorecer a publicação de dados incorretos ou conclusões equivocadas simplesmente por incentivar nos autores um comportamento mais ousado, quanto ao desenho experimental e a defesa das implicações e abrangência dos resultados. Consequentemente assumindo mais riscos e estando mais propensos a erros. Por fim, o maior número de retratações pode ser apenas o reflexo da maior exposição dos artigos publicados em revistas de alto impacto, fazendo com que os experimentos e resultados sejam discutidos e reproduzidos por uma parcela maior da comunidade. Conforme discutido por Liliane Lins no blog da SciELO, os pesquisadores são falíveis e o processo de revisão pelos pares também tem suas limitações, de modo que a publicação do artigo representa apenas a primeira etapa no processo de auto-correção das ciências. A exposição deste trabalho para a comunidade e sua confrontação com outros estudos permitirão que seja posteriormente confirmado ou refutado. Sua refutação, neste caso, pode ser tanto a constatação de que as conclusões estavam incorretas/incompletas, apesar de o trabalho ter sido desenvolvido de modo cientificamente adequado, ou que houve um sério erro na execução do estudo, a ponto de ele precisar ser retratado. 

Figura 2. (A) Número de artigos retratados por causas específicas, ao longo dos anos. (B) Porcentagem de artigos retratados por fraude ou suspeita de fraude por ano de publicação. Reproduzido de Fang e colaboradores, 2012.

Um estudo publicado em 2012 na revista PNAS, descrevendo a revisão de 2.047 artigos da área da saúde que constam como retratados no Pubmed, revelou que apenas 21,3% das retrações foram atribuídas a erros. Infelizmente, 67,4% das retratações foram atribuídas a conduta inadequada (misconduct), incluindo fraude ou suspeita de fraude (43,4%), publicações duplicadas (14,2%) e plágio (9,8%). Conforme também abordado por Liliane Lins, o crescente uso de ferramentas para detecção de plágio e de publicação duplicada deve reduzir ainda mais a ocorrência destes nos próximos anos, mas erros e fraudes são mais difíceis de serem detectados. O aumento no número de artigos retratados por fraude, observado na figura acima, pode refletir uma real "popularização" de condutas inadequadas, ou apenas maior eficiência nos mecanismos de verificação. 

Os custos pessoais, econômicos e sociais dos artigos retratados

Além das questões éticas e das implicações para o desenvolvimento da ciência, estas retratações tem um impacto econômico real e consequências legais para os envolvidos. Conforme apresentado por Stern e colaboradores (2014), o financiamento do NIH direcionado para trabalhos retratados soma aproximadamente 58 milhões de dólares no período de 1992 a 2012. Apesar de representar apenas 1% do orçamento total do NIH para o mesmo período, os custos indiretos para a sociedade são certamente muito maiores. Os autores citam o exemplo do trabalho que apresentou uma falsa associação entre vacinação e autismo (Wakefield et al., 1998). Apesar de posteriormente retratado, o artigo gerou uma onda de desconfiança na população e o aumento de campanhas contra vacinação, as quais propiciaram os surtos de sarampo nos EUA e difteria na Espanha. Um surto de sarampo no Reino Unido, com 1200 casos reportados, teve um custo estimado de 800 mil dólares. (Esta polêmica em torno das vacinas também foi abordada em publicações anteriores do SBlogI, aqui e aqui). Mesmo após o controle de um surto, a baixa adesão a campanhas de vacinação mantém a limitada cobertura da população e propicia o surgimento de novos casos. Os EUA havia eliminado o sarampo em 2000, mas a partir de 2011 houve uma escalada no número de casos (CDC-2011, CDC-2015).
O longo tempo entre a publicação e a retratação amplia os impactos negativos do erro/fraude, tanto científicos quanto sociais. Pior do que isso, existe pouca divulgação acerca de trabalhos retratados e muitos deles continuam sendo citados mesmo após a retratação (Campanário, 2000, Ferguson, 2015). Algumas iniciativas independentes, como o blog Retraction Watch, tentam reunir e divulgar informações sobre trabalhos retratados. No que se refere ao aspecto pessoal, Stern e colaboradores (2014) reportaram uma redução de 91,8% (mediana) no número de publicações dos autores após terem seus artigos retratados, bem como uma importante redução no acesso a financiamento para pesquisa.

NIH oferece módulos de treinamento para rigor e reprodutibilidade em pesquisa

Preocupados com o crescente número de trabalhos retratados, em Janeiro de 2014 o NIH lançou uma série de iniciativas para fortalecer o rigor e a reprodutibilidade na pesquisa. Como parte deste projeto, o órgão esta financiando o desenvolvimento de uma série de módulos de treinamento no tema, visando atingir sobretudo alunos de pós-graduação e jovens pesquisadores. Além disso, já estão disponíveis quatro módulos iniciais desenvolvidos pelo NIH, com o objetivo de propiciar o debate. Estes módulos incluem vídeos e material acessório para guiar a discussão, abordando os seguintes temas: (i) falta de transparência, (ii) randomização e mascaramento, (iii) replicatas biológicas e técnicas e (iv) tamanho amostral e critério de exclusão. Confira abaixo o vídeo do primeiro módulo e veja aqui as perguntas propostas para orientar esta discussão.