Quem se importa com o Índice de Impacto?

De uns tempos para cá, virou moda usar o chamado Índice de Impacto (Impact Factor, IF) como medida de qualidade em publicação científica^1,2. Não só isso. Publicação em revistas com elevado IF virou critério para financiamento em pesquisa, contratação em grande universidades e até mesmo para concessão de bônus salariais! Todo mundo fala, todo mundo usa, mas será que todo mundo realmente sabe do que está falando?

O que é o Índice de Impacto?

A atual métrica que você vê anunciada como Impact Factor é uma medida calculada por uma empresa privada, a ThomsonScientific (anteriormente chamada Institute of Scientific Information, ISI)³. Ela compila informação disponível nos bancos de dados públicos e nas próprias publicações científicas, e baseada nisso, calcula uma série medidas. A mais famosa, o IF, é calculado como a média do número de vezes que um artigo publicado nos dois anos anteriores foi citado no ano em questão. Por exemplo, se o IF é calculado em 2012, a medida leva em consideração as citações feitas entre 2010 e 2011. Como qualquer empresa privada, A Thomson vende os resultados às partes interessadas (editores, empresas, universidades, centros de pesquisa, etc).

De onde surgiu o Índice de Impacto?

O IF foi idealizado como uma medida útil em biblioteconomia. A ideia era ajudar as bibliotecas, com um orçamento limitado, a selecionar que revistas elas iriam assinar no próximo ano. Isso nos anos 70, quando (pasme) ainda não havia pubmed ou internet e as pessoas ainda iam a bibliotecas³.

Como se calcula o Índice de Impacto na prática?

Aha. Prepare-se. O numerador é um somatório de todas as “citações detectáveis a uma determinada revista” nos dois anos anteriores. O denominador é o somatório de todas as citações a “artigos primários e revisões” nos dois anos anteriores. Simples, não – você pode pensar. Na verdade é um pouco mais complicado. Talvez você já tenha observado que algumas revistas publicam somente artigos contendo novos dados (os chamados artigos primários) e revisões. Outras, publicam além destes, os chamados front matter – comentários, editoriais, news & views, notícias científicas, até obituários (dentre outros). Tudo isso é contado como citação no cálculo do numerador do índice de impacto, mas não há correspondência do denominador. Isso significa, que revistas que publicam um grande número de artigos do tipo front matter, naturalmente sairão na vantagem na hora do cálculo do IF e terão seus IF inflacionados por razões outras que a qualidade e número de citações de seus artigos primários. É interessante notar também que a definição de artigo primário, revisão ou front matter é feita à mão, pelos funcionários da Thomson.

Dá para confiar nos resultados?

Tudo que tenho a dizer é que em 2007, A Rockefeller University Press (RUP), que publica dentre outros, o Journal of Experimental Medicine, decidiu comprar os dados primários, os quais segundo relato da Thomson, foram usados para calcular os IF para aquele ano. A RUP não conseguiu reproduzir os resultados divulgados pela Thomson^4,5.

Okay, considerando que o IF é confiável, o quê aquele número realmente significa?

Veja só. O problema é querer associar o índice de impacto de uma revista com a qualidade dos artigos que ela publica. Alguns exemplos. Em 2005, a Nature publicou um editorial mostrando que 89% de todas as citações recebidas em 2003 e 2004 (usadas para calcular o IF 2005) vieram de apenas 25% dos artigos publicados naquele período⁶. Em 2009, a Nature Protocols publicou um artigo, que sozinho, foi citado mais de 3000 vezes somente naquele ano. Não surpreendentemente, o IF da revista foi às alturas nos dois anos seguintes⁷. Em 2007, um estudo publicado na PLoS One, comparou o número real de citações de artigos sobre evolução publicados em revistas especializadas em evolução, versus revistas com escopo mais amplo (como Science ou Nature)⁸. Resultado: não há diferença. O resumo da ópera é que o cálculo do Índice de Impacto não leva em considerações distorções na distribuição das citações. Muitos artigos publicados em revistas com alto IF não contribuem em nada para aquele IF – ou seja, não são citados!

Where to go?

Agora vem a melhor parte. Os editores de revistas importantes como Science, Nature, Cell ou Journal of Experimental Medicine, importam-se muito pouco com o Índice de Impacto. Não é que eles não se preocupem com citações¹. Mas a preocupação é primariamente com a importância e com qualidade do que é publicado.  É verdade que alguns editores jogam o “jogo do fator de impacto” mais agressivamente que outros, para capitalizar suas publicações. Mas o grande vilão do mau uso do fator de impacto é a própria comunidade científica. Nós cientistas, que estamos na bancada e fazemos escolhas de para onde mandar os nossos artigos baseadas nesse índice. Ou que julgamos o trabalho dos outros baseado nele. Ou que opinamos favoravelmente ou desfavoravelmente num pedido de financiamento, levando em consideração o índice de impacto das publicações no curriculum do proponente – e não o impacto real da pesquisa do fulano no seu campo de estudo.

Em tempos de redes sociais, compartilhamentos, fluxo ultra-veloz de informação, outras medidas vão aparecer. Na realidade, a PLoS e a Cell Press já usam há alguns anos o Altmetrics⁹, uma forma de medida de impacto que agrega visualizações do conteúdo, compartilhamento em redes sociais e comentários dos usuários. O ponto mais importante é que nenhuma medida objetiva vai substituir uma análise criteriosa da importância de uma contribuição científica.  É nisso que a comunidade científica precisa investir. Propostas como o F1000, onde membros da comunidade comentam  de forma independente a importância do trabalho de seus pares, são um bom caminho. Não há solução única para uma questão tão complexa, mas já passou da hora da comunidade científica se engajar mais ativamente nessa discussão e parar de se importar tanto com um número tão cheio de problemas.

João Monteiro 

______________________

Leia mais:

     1.  Marcus, E. June is the Cruelest Month. Cell. July 2 2013. 154:9

     2.  The PLoS Medicine Editors. The Impact Factor Game. PloS Medicine. June 2006. 3:e291.

     3. Joint Committee on Quantitative Assessment of Research. Citation Statistics. Corrected version  June 12 2008.

     4. Rossner, M. Van Epps, H. Hill, E. Show me the data. JEM. Dec 24 2007. 204:3052.

     5. Rossner, M. Van Epps, H. Hill, E. Irreproducible results: a response to Thomson Scientific. JEM. Feb 18 2008. 205:260.

     6. Editorial. Not-so-deep impact. Research assessment rests too heavily on the inflated status of impact factor. Nature. 435:1003. 2005.

     7.  Surridge, C. IF all over again. Nature Protocols blog. 21 Jun 2013.

     8. Postma, E. Inflated Impact Factors? The True Impact of Evolutionary Papers in Non-Evolutionary Journals. PLosOne. October 2007. 10:e999.

    9.  Strasser C. The Future of Metric in Science. Data Pub blog. April 6 2012.