BLOG DA SOCIEDADE
BRASILEIRA DE IMUNOLOGIA
Acompanhe-nos:

Translate

quarta-feira, 26 de março de 2014

Um paper na Nature vale mais que 20 no Xoroxó Journal of Experimental Medicine? ou 
O que julgamos ao avaliar a produção científica?

Produção científica por país em todas as áreas indexadas no Scopus (2012). 
Ordenamento por número de publicações (esq) e por citações (dir). Fonte: Scimago.

Há várias evidências que a produção científica brasileira se expandiu numericamente de forma robusta nos últimos anos mas que a qualidade (definida por citações recebidas) não acompanhou o mesmo ritmo de crescimento. Esta defasagem não é uma surpresa, ela ocorre com vários países (ou instituições), sem tradição prévia, que expandem rapidamente a sua produção. Há várias possíveis explicações. Não tentarei tratar extensivamente as causas aqui, mas colocarei as minhas idéias sobre duas delas. 
Um dos componentes da distância entre número de publicações e citações decorre da falta de confiança com os emergentes e isto pode ser curado com a produção continuada de boa ciência. Neste ponto é fundamental uma prática continuada de extremo cuidado com a integridade científica. O comportamento de alguns dos países emergentes com a fabricação de dados não tem ajudado a melhorar a imagem, para dizer o mínimo. 
O outro aspecto que leva à distância entre número de publicações e de citações é que vários países se contentam com a produção numérica e não dão o passo para trabalhar na fronteira do conhecimento. Para corrigir este problema é necessário fazer um diagnóstico da situação e adotar medidas que minimizem os entraves e estimulem o trabalho nos grande temas da ciência e/ou em estudos de maior envergadura (aqui penso em grande estudos de coorte e ensaios clínicos, por exemplo).
Fatores inter alia que prejudicam a atuação nas áreas avançadas da pesquisa:
  • Irregularidade no financiamento para a pesquisa;
  • Financiamento pulverizado, consumindo muito tempo/esforço para obtenção do nível adequado de financiamento;
  • Burocracia e dificuldade no uso dos recursos;
  • Ausência de mecanismos para formação de grupos multidisciplinares de pesquisa;
  • Periculum horrorem;
  • Vícios de avaliação que reforçam o status quo, como o estímulo continuado à produção numérica sem claro comprometimento com a qualidade.

Qual o papel da comunidade científica na correção da situação? Em vários dos pontos listados, a maior ação é a pressão sobre as instâncias decisórias. Contudo em alguns casos, como nos dois últimos ítens da listagem acima, o papel da comunidade científica é fundamental, pois ela mesmo os pratica e tem grande poder de decisão.
O nosso sistema de avaliação de propostas científicas tem tal horror ao risco que penso já constitui uma patologia: o Periculum horrorem. Se precisamos de uma chance enorme que os resultados confirmem nossa hipótese qual a chance de encontrar algo novo? Na maioria destes experimentos, apenas desejamos quantificar um fenômeno conhecido. Evidentemente que o risco de não confirmar a hipótese precisa ser contrabalançado com hipóteses e experimentos bem formulados. Não precisamos lembrar que o risco de não confirmar a hipótese também pode decorrer de hipóteses mal embasadas, desenhos experimentais falhos etc., ou seja má ciência. Assim, o trabalho de julgar se torna muito maior. 
O último ponto a tratar neste post se refere ao tema do título. Quantos de nós refletimos adequadamente sobre o futuro da ciência no Brasil quando estamos em comitês de análise de projetos ou bolsas, em bancas de teses e de concursos? Onde desejamos chegar? Queremos uma tonelada de trabalhos no JEM de Xoroxó ou algumas gramas de trabalhos fundamentais para a ciência? 
Ao estimular desenfreadamente a quantidade, reforçamos também várias práticas na fronteira ou mesmo em pleno terreno da falta de ética em ciência, como a autoria graciosa (autores que não participaram adequadamente do trabalho e nem sabem explicá-lo, e.g). Devemos reconhecer que entre os poucos sinais em prol da qualidade, estão os critérios de julgamento de bolsas do CA de Imunologia no CNPq. Infelizmente grande parte da comunidade os desconhece, pois envia as propostas sem ao menos tentar cumpri-los. Ao invés de número de publicações, o candidato deve:
  • Fazer uma avaliação crítica da produtividade científica (publicações) e acadêmica (formação de RH) alcançada no quinqüênio anterior;
  • Apresentar, para análise comparativa da qualidade das publicações científicas, 3 trabalhos científicos (ou mais) publicados de alta qualidade em revistas indexadas;
  • O candidato deverá ser obrigatoriamente o primeiro autor ou autor correspondente nestes 3 artigos escolhidos, devendo caracterizar liderança na condução de uma linha científica bem definida.

São perfeitos estes critérios? Evidentemente que não. Exigir tão estritamente liderança de todos os participantes não estimula a formação de grande grupos que demorarão mais para produzir trabalhos de alto impacto.

Precisamos refletir mais sobre o tema e propor mecanismos eficientes que contribuam para o salto da qualidade na ciência no Brasil.

PS.
Não confundir a hipotética Xoroxó com a cidade de Chorroxó-Bahia. Qualquer semelhança é mera coincidência sonora, até porque Chorrochó não é (ainda) sede de revistas científicas.

Comente com o Facebook :

13 comentários:

  1. Luiz Gustavo Gardinassi26 de março de 2014 10:34

    Caro Dr. Barral, acho o assunto de muita relevância, principalmente para recém-doutores, os quais em sua maioria encontram dificuldades muito grandes para realizar trabalhos de alta qualidade devido à alguns dos fatores citados no seu post. Creio que a cultura da quantidade ainda atrapalha muito, como exemplo, basta observar os itens sobre publicação científica de editais para vagas de docentes, nos quais a qualidade de sua produção não pesa quase nada, um artigo na Nature pode valer o mesmo que um artigo no JEM de Xororó. Pior ainda é quando o indivíduo com 5 artigos no JEM de Xororó é melhor avaliado que o indivíduo com 1 na Nature, pois a quantidade é o que pesa. Creio que enquanto não tivermos políticas robustas para que se preze a qualidade, principalmente no que se refere a absorção de profissionais com este pensamento, pelas instituições de ensino e pesquisa, ainda teremos muito trabalho para que a qualidade da pesquisa no Brasil acompanhe a quantidade.

    ResponderExcluir
    Respostas
    1. Caro Luiz Gustavo,
      Obrigado pelo comentário.
      Seria interessante receber propostas de como incentivar a qualidade na ciência brasileira.
      Abraço

      Excluir
  2. Que tal começar com a moralização dos concursos públicos para o Magistério Superior?

    ResponderExcluir
  3. Olá Barral e colegas,

    Excelente post, um tema muito relevante. Os pontos levantados são de extrema importância e vejo que grande parte deles pode ser resolvida dentro da própria comunidade cientifica, com uma mudança de hábito, sem nem passar por instâncias governamentais. Explico, nossa produção intelectual está atrelada a pós-graduação e na grande maioria das vezes, o título obtido está vinculado a um trabalho publicado. De certo modo os PPGs são avaliados com essa base gerando uma pressão dos pares para publicação de trabalhos que muitas vezes poderiam ser melhorados. Na minha opinião esse é um dos motivos pelos quais não publicamos coisas mais solidas. Para resolver esse problemas só precisamos de uma mudança de postura de nós mesmos. Muito importante salientar, como o próprio Barral chamou a atenção, uma hipótese pode não dar em nada porque foi mal concebida ou o desenho experimental foi falho. Isso também se resolve com um envolvimento maior dos pares. Para isso precisamos de tempo. Uma das coisas que podemos propor é o fim do mínimo de 8 horas aulas semanais por docente (no caso das universidades federais). Especialmente para recém contratados esse tempo é muito valioso e um "grace period" de dois anos sem aulas ou atividades administrativas para todos os que entram seria excelente para refrescar as ideias da nossa ciência.

    Por último, só reforçando o mencionado pelo Barral, projetos de risco normalmente precisão de mais dinheiro do que projetos "pre-destinados" a dar certo. Talvez uma coisa que nos ajude a angariar mais recursos seja uma reformulação da "lei do bem" para torná-la mais acessível tanto para empresários quanto para os pesquisadores.

    No mais, parabéns ao CA de imuno que já a algum tempo mudou as regras para busca de mais qualidade.

    Abraços

    ResponderExcluir
  4. Obrigado Daniel.
    Colocarei abaixo alguns comentários feitos no Facebook, pois podem estimular a participação de quem vê o texto no blog.
    Mauricio
    Eu estou entre que enquanto ache importante medir citações como forma de mensurar a influência da produção cientifica, também tenho duvidas quanto a utilizar citações como sinônimo de qualidade. Barral, acho que temos que discutir o que significa qualidade no campo da produção científica

    ResponderExcluir
  5. Flávio (no Facebook)
    Sempre me indago sobre o que é produção de impacto. Se formos esperar aprovação em revista A1, teríamos pouca produção. Creio que, as vezes, é bom adotarmos o "serve, ainda que pouco, servr, pois pior que servir pouco é não servir nada".

    ResponderExcluir
  6. André (no Facebook)
    Belo post do professor Barral. Discussão altamente necessária e que deve ser estimulada desde o início da formação científica para tentarmos mudar o paradigma e mentalidade vigentes - nisso tenho esperança que o CsF pode influenciar positivamente. Na área de saúde mais aplicada, tenho visto algumas tentativas de mensurar com base em influência em políticas de saúde e diretrizes de manejo, mas na ciência básica vejo ser mais complexo e desafiador.

    ResponderExcluir
  7. Paulo (no Facebook)
    Qualidade não é tão difícil assim de reconhecer. Os bons leitores / pesquisadores sabem muito bem quando estão diante de um trabalho de qualidade. Uma definição genérica que se aplique a todas as áreas, no entanto, pode ser difícil de conseguir. Certamente, qualidade não é sinônimo de quantidade (ou vice-versa). Albert Einstein tem 10 papers indexados em PubMed. Citações também não contam toda a história, porque artigos de revisão, guidelines, consensos, etc. são muito citados, mas pouco contribuem com o avanço da ciência

    ResponderExcluir
  8. Avaliar mérito em ciência é realmente uma tarefa complicada. Porém, alguns parâmetros podem ser interessantes referências na hora de julgar a produção de um pesquisador. O problema é a heterogeneidade das áreas, visto que as ciências humanas se desenvolvem com frequência com a publicação de livros. A heterogeneidade continua sendo um fator importante mesmo dentro das grandes áreas, como nas ciências biológicas, onde os pesquisadores da área de taxonomia e sistemática produzem um conhecimento extremamente relevante, que é a descrição de novas espécies, assim, aumentando o pool de espécies do país, o que valoriza a biodiversidade e fornece subsídios para a produção teórica, essa, na fronteira do conhecimento, como é o caso da ciência ecológica e evolutiva, áreas que o Brasil vem cada dia aumentando sua expressão. Porém, a falta de incentivo para com a ciência básica acaba prejudicando o desenvolvimento da produção intelectual de ponta. Os pesquisadores de ciência básica no Brasil são guerreiros, que conseguem muito com muito pouco. Desta forma, acredito que as áreas do conhecimento devem apresentar formas de avaliação condizentes com suas realidades. Acredito não ser uma tarefa impossível considerar a heterogeneidade cientifica na hora de avaliar o mérito do pesquisador.

    ResponderExcluir
    Respostas
    1. Caro Alexandre,
      Você tem razão em afirmar que as diferentes áreas não podem ser compradas pela mesma métrica. Atualmente, nas agencias brasileiras de financiamento, as distintas áreas do conhecimento já empregam critérios e indicadores diferentes entre si.
      Em relação ao post me restringi às avaliações dentro da área da imunologia, embora muitos aspectos possam ser aplicados a áreas próximas das ciências biomédicas.

      Excluir
  9. Caro Barral,
    Parece que a maioria dos pesquisadores brasileiros concordam que para se fazer ciência de boa qualidade é necessário mais tempo de pesquisa, mas na busca de produtividade isso é atropelado. Porém continuamos a cometer os mesmos erros no anseio de entrar para o seleto grupo de pesquisadores do CNPq.

    ResponderExcluir
  10. Caro Luciano,
    Veja que o comitê de imuno do CNPq já reverteu a tendência de hipervalorização do número de publicações.
    Abraço

    ResponderExcluir
  11. Outro do Facebook:
    André:
    Acho a iniciativa do CA Imuno bem interessante e particularmente intrigante o trecho "Quantos de nós refletimos adequadamente sobre o futuro da ciência..." Acho que se faz fundamental que haja engajamento científico e político no aprimoramento dos sistemas de aferição de acordo com uma estratégia de médio e longo prazo. Confesso ter bem pouca experiência e conhecimento neste campo (talvez em todos), mas acredito que é fundamental a interação com áreas do conhecimento que tenham expertize e tecnologia em abordagens inovadoras - formar grupos de estudo e redes e avaliar diferentes abordagens cientificamente. Uma das iniciativas interessantes que descobri a pouco tempo é a do link abaixo, embora com um forte viés clínico. https://becker.wustl.edu/impact-assessment

    Assessing the Impact of Research | Becker Medical Library
    becker.wustl.edu
    What was CREATED by a research study? How was the research output DISSEMINATED? What activities were UNDERTAKEN by the members of the research group?

    ResponderExcluir

©SBI Sociedade Brasileira de Imunologia. Desenvolvido por: