Responsável pela arte: Marcelo Fábio Gouveia Nogueira
Um volume especial da Science neste mês (Science, 2011: Vol. 334 no. 6060 p. 1225-1232) dedicou boa parte de sua edição ao problema da “reprodutibilidade de experiências científicas” em diferentes campos da ciência. Ainda este mês, o jornal Valor Econômico do dia 05 (página B5) trouxe à tona esta mesma temática ao discutir a problemática de empresas farmacêuticas que não conseguem reproduzir resultados publicados em revistas científicas.
Os autores colaboradores da seção especial “Data Replication and Reproducibility” na Science destacam que nas últimas décadas houve um grande aumento no número de publicações, na quantidade de profissionais envolvidos com pesquisa científica, bem como quanto ao número de revistas especializadas. Mas que paralelamente à tudo isso houve também um número crescente de trabalhos que não se confirmam, ou seja, não são reproduzíveis por outros grupos, trabalhos fraudulentos que apresentam resultados forjados ou ainda plagiados.
Os motivos apontados pelos autores para esta crescente característica negativa nos trabalhos científicos são os mais variados: (i) a pressão do mercado de trabalho que ressalta resultados positivos e marginaliza resultados negativos; (ii) o aumento no número de revistas científicas que resulta em acirrada competição pela publicação de artigos chamativos e que apresentem um corpo robusto de resultados; (iii) a cultura no mundo da ciência de que resultados positivos são publicáveis enquanto que resultados negativos devem ser engavetados; (iv) a pressão das agências de fomento por um aumento no número de publicações; (v) a realização cada vez maior de ensaios sofisticados que incluem uma grande quantidade de variáveis e que dificultariam a reprodutibilidade dos resultados; (vi) o uso de equipamentos, materiais e reagentes ligeiramente diferentes entres os grupos científicos que levariam a resultados divergentes; e ainda, (vii) a descrição restrita de procedimentos experimentais que diminuem as chances do mesmo ensaio ser repetido por um outro profissional.
De forma intencional ou não, o fato é que, diferentes campos da ciência têm produzido uma avalanche de tecnologias inovadoras as quais despertam os anseios mais otimistas em relação a novos medicamentos e melhoras na qualidade de vida dos nossos mais de 6 bilhões de habitantes do planeta Terra. Ah!! Não devemos nos esquecer da indústria farmacêutica, sempre de olhos bem abertos e sedentos por promissores candidatos biotecnológicos a novos remédios, eficientes e lucrativos.
A reportagem publicada no jornal Valor Econômico dá vários exemplos de como a dificuldade em reproduzir resultados vêm afetando a indústria farmacêutica. No ano de 2009, um grupo de pesquisadores nos EUA publicaram um conjunto de dados que demonstravam uma alternativa terapêutica na eliminação de células tumorais através da inibição de uma proteína quinase chamada STK33 por meio do uso de RNAs de interferência sintéticos (RNAi). A proteína STK33 está implicada na vialibidade celular de células tumorais por regular negativamente os processos de apoptose mediados via mitocôndrias. Os olhares ávidos de pesquisadores da empresa de biotecnologia Amgen Inc. rapidamente se deslumbraram com estes dados. Era a possibilidade de se desenvolver uma terapia alternativa antitumoral de forma dirigida e mais restritiva a células tumorais. Seis meses mais tarde, o discurso do vice-presidente de pesquisas da Amgen em Thousand Oaks, na Califórnia, o Sr. Glenn Begley, foi: “Fiquei decepcionado, mas não surpreso”. Ou seja, os resultados não se reproduziram e mais uma pesquisa foi deixada para trás e junto com ela, esforços braçais, intelectuais e milhões em dinheiro desperdiçados. Nesta mesma linha, outros exemplos são citados envolvendo nomes de empresas renomadas como a Bayer e a Pfizer. Já na Science, o artigo “Improving Validation Practices in “Omics” Research” (página 1230-1232) descreve as dificuldades dos cientistas em reproduzir os resultados de 18 artigos publicados, sendo que obtiveram replicação para apenas 2 artigos.
Mesmo em outras áreas a reprodutibilidade não é uma tarefa fácil, no artigo “Reproducible Research in Computational Science” (página 1226-1227) o autor Roger D. Peng ressalta as dificuldades da investigação reprodutível na Ciência da Computação, pois os códigos, dados e pacotes dos softwares utilizados em sua maioria não ficam disponíveis aos demais pesquisadores. Ainda de acordo com o artigo, a replicação total se daria de fato quando a publicação do experimento computacional fosse vinculada ao acesso livre aos códigos e dados brutos utilizados no trabalho.
Mas algumas iniciativas, mesmo que pequenas em um universo de quase 2 milhões de artigos publicados no ano de 2010 de acordo com o jornal Valor Econômico do dia 05 (página B5), começam a surgir como no “The Journal Biostatistics”, na qual Peng é editor associado. Desde julho de 2009 os autores são encorajados a enviar seus códigos e dados para que seus trabalhos possam ser reproduzidos por outros pesquisadores e os artigos recebem marcas com D, quando os dados brutos são divulgados, C para os códigos ou R quando os resultados são reproduzidos.
Frente este cenário é inquestionável a necessidade de que nós cientistas tenhamos ainda mais cuidados quanto à confiança, originalidade e transparência em nossas pesquisas. A formação de grupos multidisciplinares e o trabalho em conjunto de diferentes pesquisadores com certeza irá nos auxiliar nesta tarefa e fará crescer a qualidade de nossos trabalhos. Esperamos que o fruto destas colaborações implique não somente em pesquisas inovadoras mas também que isso se reflita em uma maior confiança da sociedade em nós cientistas.
Sites consultados:
http://www.sciencemag.org/content/334/6060/1225.full
http://www.sciencemag.org/content/334/6060/1226.full
http://www.sciencemag.org/content/334/6060/1230.full
Sugestão de leitura complementar: “Código de Boas Práticas Científicas” recém publicado no site da FAPESP
Post de: Karina Alves de Toledo, Juliana de Oliveira e Marcelo Fabio Gouveia Nogueira
Recomendo o blog http://retractionwatch.wordpress.com/ que trás toda semana notícias acerca de artigos retratados e manipulação/invenção de dados, seja em revistas de baixo ou alto impacto. É impressionante o que as pessoas são capazes de fazer para publicar.
ResponderExcluirEsse tópico deveria ser abordado mais vezes. Ótimo post.
Essa discussão pra mim é uma das mais importantes em ciencia. Sem reprodutibilidade, os resultados nao valem nada. Perda de tempo e dinhieiro, perda de credibilidade, so se perde. Esta eh uma discussão que precisa ser feita em todos os programas em que estamos formando cientistas, e em todas as instancias de avaliação de publicação e produtividade.
ResponderExcluirEste comentário foi removido pelo autor.
ResponderExcluirJá passou da hora de uma CPI da ciência ser instaurada, mas já que isto só acaba ocorrendo caso alguém tenha interesses maiores nos seus dados e tenta reproduzi-los, seria válido cada orientador fazer uma investigação mais restrita em seu laboratório. Já que nos cobram tanto ter publicações, e ainda tem a cobrança de prazos para defesa e tudo mais, é muito fácil que alunos com mentes "espertas" ou preguiçosas (pra não dar o adjetivo correto) fraudem dados para cair nas graças do orientador e conseguir o que o "sistema" pede: papers. Afinal, não é maravilhoso quando os resultados ficam exatamente perfeitos!? Pois é essa perfeição toda que me assusta! Se eu fosse orientadora desconfiaria na hora. Mas mesmo para resultados não tão perfeitos assim, mas muito bons de qualquer maneira, não seria válido fazer outro aluno do lab (não colaborador preferencialmente) repetir alguns experimentos chaves do trabalho antes de publica-los??? Afinal convenhamos, é muito estranho uma técnica ou resultado só dar certo na mão de uma pessoa ou grupo, né?
ResponderExcluirValeu Karina e Juliana pela ideia do post!
ResponderExcluirMarcelo N.