terça-feira, 2 de outubro de 2012

É possível prever qual será o seu desempenho em ciência nos próximos anos?


Uma preocupação constante na ciência é medir, tudo deve ser capaz de ser expresso numa unidade física. Não é de estranhar que tal aspecto seja empregado em avaliar o próprio desempenho científico. Outra característica da ciência é o constante aperfeiçoamento. 
As primeiras medidas de desempenho científico (número de trabalhos publicados) são muito pouco sofisticadas, pois há trabalhos de grande qualidade como os há de qualidade muito duvidosa. Devo mencionar, contudo, que em geral a qualidade acompanha a quantidade em publicações científicas. 
O fator de impacto das revistas em que se publica adiciona alguma qualidade ao cálculo, já que as revistas de grande prestígio (quase) não aceitam trabalhos de baixa qualidade. Contudo, o fator de impacto de uma revista científica é obtido dividindo-se o número de  citações pelo número de trabalhos publicados, ou seja, muitos trabalhos ali publicados são citados menos que o fator de impacto da revista. Em alguns casos , bem menos que este indicador. 
Um outro avanço foi observar-se o número real de citações obtidas por cada um dos artigos em análise. Ainda restava a limitação de trabalhar com a média (ou algo similar) de citações obtidas, o que pode levar a conclusões falsas. Um, ou poucos artigos, com muitas citações podem elevar a média de citações de um determinado autor sem significar, necessariamente, qualidade maior que outro indivíduo. Como exemplo constate, usa-se o fato de um cientista que durante o seu pós-doutoramento teve oportunidade de trabalhar com alguém muito bom e colaborou em alguns trabalhos muito citados. Após este período, não teve mais artigos com elevado número de citações.
O índice h proposto por Jorge Hirsch “captures the quality (citations) and quantity (number) of papers, thus representing scientific achievements better than either factor alone. A scientist has an h­index of n if he or she has published n articles receiving at least n citations each. Einstein, Darwin and Feynman, for example, have impressive h­indices of 96, 63 and 53, respectively.
Ainda resta o problema de que o índice h é uma medida útil para cientistas com uma carreira já estabelecida, pois, assim como outros indicadores, se baseia no passado. Como comparar então jovens cientistas em início de carreira? o que ocorre nos concursos de ingresso, por exemplo.
Um artigo recente na Nature (Future Impact: Predicting scientific success) analise o problema e propõe uma solução. Eles cegaram a uma fórmula capaz de incluir “number of publications, those in high­profile journals, the h­index and collaborators. One can also infer inter­ disciplinary breadth, the length and quality of training, the amount of funding received and even the standing of the scientist’s PhD adviser.” Eles lembram que tais fatores já são normalmente avaliados pelos comitês de forma subjetiva. O que eles conseguem no trabalho é colocar pesos para tais fatores. Para chegar à fórmula eles usaram um grande banco de dados sobre neurocientistas e empregaram técnicas de aprendizado de máquina (machine-learning techniques) e linear regression with elastic net regularization (seja lá o que isto for!). 
O gráfico da publicação mostra que o modelo tem uma grande capacidade de predição.
“The model predicted the future h­index accurately, yielding a respectable R2 = 0.67, cross­validated across scientists (an R2 of 1 would imply that the model predicts the data perfectly). A simplified model containing only the number of published articles, the h­index, years since first publication, num­ ber of publications in prestigious neuro­ science journals (Nature, Science, Nature Neuroscience, Neuron and the Proceedings of the National Academy of Sciences) and the number of distinct journals still performed nearly equally well (R2 = 0.66; see ‘Predict your future h­index’)”

Vale a pena ler o artigo (aqui).

Acuna, D. E., Allesina, S., & Kording, K. P. (2012). Future impact: Predicting scientific success. Nature, 489(7415), 201–202. doi:10.1038/489201a

As ilustrações são do artigo original.


6 comentários:

  1. Muito bom, Barral. Acho todos esses caveats discutidos do indice H muito corretos - tem que ter essa preocupacao sim. a avaliacao precisa ser mais global que so o H. mas tinha que tentar criar um algoritmo que incluisse essas preocupacoes. certamente a gente consegue, se pensar...

    ResponderExcluir
  2. O que acontece com o indice H, citacoes etc quando um paper é retratado?

    ResponderExcluir
    Respostas
    1. Boa pergunta, Gabi.
      É engraçado que muitas vezes o paper continua a receber muitas citações, mesmo havendo sido retratado. Embora tal vez seja menos frequente agora.
      Como "tirar" as citações ao autor?. E à revista?. Se fizerem isso com revistas grandes, provavelmente irão diminuir notavelmente o seu IF. Tem ai um novo fator a incluir no calculo do h-index e do IF.

      Excluir
  3. Gabriel Shimizu Bassi3 de outubro de 2012 às 16:08

    O fator H é o melhor meio atualmente conhecido para se saber o impacto que uma publicação possui

    Mas há imperfeições. um problema simples é a separação correta dos nomes de autores dos artigos por citação(principalmente entre os orientais), outro problema é a grande variação do fator H entre as áreas (humanas, biológicas e exatas). Porém o problema maior (no meu ver) com o fator H ultimamente é o número de autocitações que mascaram a computação do número H. Além disso, artigos retratados e falhos (que não foram retratados) também entram no índice H (a não ser que uma pesquisa mais detalhada seja feita).

    Há várias críticas sobre o índice H, incluindo um que eu especialmente recomendo do Alonso et al. (2009)(http://sci2s.ugr.es/publications/ficheros/2009-Alonso-JI.pdf) e um editorial um tanto petulante (mas correto) feito por Loscalzo (2011) (http://circ.ahajournals.org/content/123/9/947.full). E fica no ar se o fator H não seria uma "chave para o estrelato" científico (se é que alguém já tirou proveito disso).

    Mas, no final das contas, dos males, o menor.

    ResponderExcluir
  4. Comentario de Magnus colcoando no FB:
    "I do not know...The problem is that the publication scenario has changed the last 10 years with the introduction of the open Journals and how the journals in general nowadays manage their citations , to increase the impact."

    ResponderExcluir
  5. Muito bom o post, professor Barral.
    Algumas plataformas como SCOPUS permitem excluir autocitações. Existem outros índices como o g, que já foram sugeridos e que são complementares do h-index. Eu considero que a relacao g/h por exemplo, é mito mais saudável para avaliar o desempenho de um cientista.
    Por outro lado, dizer que as revistas de acesso livre vieram para favorecer os improdutivos seria tão errado como condenar as revistas de maior impacto por terem mais artigos retratados. Já viram quantas retractions tem a Cell? e a Science? Temos que revisar as estatísticas com calma, e entender que nesse assunto há um contexto econômico muito forte.
    Quando o assunto e classificar as pessoas de acordo a produtividade, sempre haverá descontentes. Precisamos de uma abordagem diferente, mais ampla que considere muitas variáveis. Essa formula desenhada no artigo e bem acertada, mas precisa ser avaliada em diferentes contextos.
    De repente vale a pena considerar a colocação na lista de autores (não aplicaria em muitos casos em papers de física, onde a ordem é alfabética, etc), ou considerar a “seletividade” dos temas publicados pelo autor poderia fazer mais jutas essas avaliações.

    ResponderExcluir