De uns tempos para cá, virou moda
usar o chamado Índice de Impacto (Impact
Factor, IF) como medida de qualidade em publicação científica1,2.
Não só isso. Publicação em revistas com elevado IF virou critério para
financiamento em pesquisa, contratação em grande universidades e até mesmo para
concessão de bônus salariais! Todo mundo fala, todo mundo usa, mas será que
todo mundo realmente sabe do que está falando?
O que é o Índice de Impacto?
A atual métrica que você vê
anunciada como Impact Factor é uma
medida calculada por uma empresa privada, a ThomsonScientific (anteriormente chamada Institute
of Scientific Information, ISI)3. Ela compila informação disponível nos bancos de dados públicos e nas próprias publicações científicas,
e baseada nisso, calcula uma série medidas. A mais famosa, o IF, é calculado
como a média do número de vezes que um artigo publicado nos dois anos
anteriores foi citado no ano em questão. Por exemplo, se o IF é calculado em
2012, a medida leva em consideração as citações feitas entre 2010 e 2011. Como
qualquer empresa privada, A Thomson vende os resultados às partes interessadas
(editores, empresas, universidades, centros de pesquisa, etc).
De onde surgiu o Índice de Impacto?
O IF foi idealizado como uma medida
útil em biblioteconomia. A ideia era ajudar as bibliotecas, com um orçamento
limitado, a selecionar que revistas elas iriam assinar no próximo ano. Isso nos
anos 70, quando (pasme) ainda não havia pubmed
ou internet e as pessoas ainda iam a bibliotecas3.
Como se calcula o Índice de Impacto na prática?
Aha. Prepare-se. O numerador é um
somatório de todas as “citações detectáveis a uma determinada revista” nos dois
anos anteriores. O denominador é o somatório de todas as citações a “artigos
primários e revisões” nos dois anos anteriores. Simples, não – você pode
pensar. Na verdade é um pouco mais complicado. Talvez você já tenha observado
que algumas revistas publicam somente artigos contendo novos dados (os chamados
artigos primários) e revisões. Outras, publicam além destes, os chamados front matter – comentários, editoriais, news & views, notícias científicas,
até obituários (dentre outros). Tudo isso é contado como citação no cálculo do
numerador do índice de impacto, mas não há correspondência do denominador. Isso
significa, que revistas que publicam um grande número de artigos do tipo front matter, naturalmente sairão na
vantagem na hora do cálculo do IF e terão seus IF inflacionados por razões
outras que a qualidade e número de citações de seus artigos primários. É
interessante notar também que a definição de artigo primário, revisão ou front matter é feita à mão, pelos
funcionários da Thomson.
Dá para confiar nos resultados?
Tudo que tenho a dizer é que em
2007, A Rockefeller University Press
(RUP), que publica dentre outros, o Journal
of Experimental Medicine, decidiu comprar os dados primários, os quais
segundo relato da Thomson, foram usados para calcular os IF para aquele ano. A
RUP não conseguiu reproduzir os resultados divulgados pela Thomson4,5.
Okay, considerando que o IF é confiável, o quê aquele número realmente significa?
Veja só. O problema é querer
associar o índice de impacto de uma revista com a qualidade dos artigos que ela
publica. Alguns exemplos. Em 2005, a Nature
publicou um editorial mostrando que 89% de todas as citações recebidas em 2003
e 2004 (usadas para calcular o IF 2005) vieram de apenas 25% dos artigos
publicados naquele período6. Em 2009, a Nature Protocols publicou um artigo, que sozinho, foi citado mais
de 3000 vezes somente naquele ano. Não surpreendentemente, o IF da revista foi
às alturas nos dois anos seguintes7. Em 2007, um estudo publicado na
PLoS One, comparou o número real de citações de artigos sobre evolução
publicados em revistas especializadas em evolução, versus revistas com escopo
mais amplo (como Science ou Nature)8. Resultado: não há
diferença. O resumo da ópera é que o cálculo do Índice de Impacto não leva em
considerações distorções na distribuição das citações. Muitos artigos
publicados em revistas com alto IF não contribuem em nada para aquele IF – ou
seja, não são citados!
Where to go?
Agora vem a melhor parte. Os
editores de revistas importantes como Science,
Nature, Cell ou Journal of
Experimental Medicine, importam-se muito pouco com o Índice de Impacto. Não
é que eles não se preocupem com citações1. Mas a preocupação é
primariamente com a importância e com qualidade do que é publicado. É verdade que alguns editores jogam o “jogo
do fator de impacto” mais agressivamente que outros, para capitalizar suas
publicações. Mas o grande vilão do mau uso do fator de impacto é a própria
comunidade científica. Nós cientistas, que estamos na bancada e fazemos
escolhas de para onde mandar os nossos artigos baseadas nesse índice. Ou que
julgamos o trabalho dos outros baseado nele. Ou que opinamos favoravelmente ou
desfavoravelmente num pedido de financiamento, levando em consideração o índice
de impacto das publicações no curriculum do proponente – e não o impacto real da
pesquisa do fulano no seu campo de estudo.
Em tempos de redes sociais,
compartilhamentos, fluxo ultra-veloz de informação, outras medidas vão
aparecer. Na realidade, a PLoS e a Cell Press já usam há alguns anos o
Altmetrics9, uma forma de medida de impacto que agrega visualizações
do conteúdo, compartilhamento em redes sociais e comentários dos usuários. O
ponto mais importante é que nenhuma medida objetiva vai substituir uma análise
criteriosa da importância de uma contribuição científica. É nisso que a comunidade científica precisa
investir. Propostas como o F1000, onde membros da comunidade comentam de forma independente a importância do trabalho de seus pares, são um bom caminho. Não
há solução única para uma questão tão complexa, mas já passou da hora da
comunidade científica se engajar mais ativamente nessa discussão e parar de se
importar tanto com um número tão cheio de problemas.
João Monteiro
______________________
Leia mais:
1. Marcus, E. June is the Cruelest Month. Cell.
July 2 2013. 154:9
2. The PLoS Medicine Editors. The Impact Factor
Game. PloS Medicine. June 2006. 3:e291.
3. Joint Committee on Quantitative Assessment of
Research. Citation Statistics. Corrected version June 12 2008.
4. Rossner, M. Van Epps, H. Hill, E. Show me the
data. JEM. Dec 24 2007. 204:3052.
5. Rossner, M. Van Epps, H. Hill, E. Irreproducible
results: a response to Thomson Scientific. JEM. Feb 18 2008. 205:260.
6. Editorial. Not-so-deep impact. Research
assessment rests too heavily on the inflated status of impact factor. Nature.
435:1003. 2005.
7. Surridge, C. IF all over again. Nature Protocols
blog. 21 Jun 2013.
8. Postma, E. Inflated Impact Factors? The True
Impact of Evolutionary Papers in Non-Evolutionary Journals. PLosOne. October 2007.
10:e999.
9. Strasser C. The Future of Metric in Science.
Data Pub blog. April 6 2012.