Todo mundo sabe da importância dos referees no processo de publicação de resultados de pesquisa em revistas acadêmicas de qualidade, como também no processo de avaliação de projetos para financiamento. Porém, não existe na atualidade um sistema de avaliação da atuação dos referees acadêmicos.
A pesar de ser considerado um dos Standards de qualidade, a avaliação por referees acadêmicos, como todos os sistemas de avaliação, tem as suas falências, que podem ir desde falta de idoneidade real para avaliar a proposta, até coisas mais graves como faltas à ética por não declarar conflitos de interesse, ou a falta de critérios unificados e de evidencia científica para selecionar propostas muito inovadoras, entre outras. Mas as bondades de uma avaliação honesta por múltiplos pares são muitas. Permite não só enriquecer a discussão acadêmica pela retroalimentação aos autores, como também o próprio referee pode aprender durante o processo.
Esses dias eu encontrei um comentário na The Scientist (1), escrito pelo David Cameron Duffy, propondo a avaliação dos referees, com o intuito de fortalecer o processo acadêmico. Ele propõe uma combinação entre o H-index do peer reviewer, o impact factor da revista, e o número de manuscritos revisados (o caso de agencias de financiamento não foi contemplado). Algo assim como um "R-index". Particularmente achei interessante a proposta, e penso que discutir entorno a ela pode ser muito produtivo.
Embora as editoriais devam ter sistemas internos (como parte normal do controle da qualidade) para avaliar a o trabalho dos pares acadêmicos, seria útil identificar os bons referees de alguma maneira, e que seja pública essa informação. Principalmente pensando que este é um trabalho que consome o tempo dos pesquisadores, e que merece ser reconhecido objetivamente. Além disso, com o recente surgimento de milhares de editoriais de livre acesso, existe o risco desse trabalho anônimo do referee se tornar um ponto fraco na qualidade do processo.
Por outro lado, nesta época em que o H-index e o fator de impacto estão sendo fortemente criticados, não sei até que ponto seria bem vindo um novo indicador no currículo. A adopção de um sistema de avaliação rigoroso e oficial do desempenho de revisores poderia trazer vários problemas adicionais. Por exemplo, poderia dificultar o acesso como referees de revistas de impacto, principalmente para pesquisadores que estão começando carreira. Em todo caso, iniciativas como a adotada no NIH para incluir oficialmente os pesquisadores jovens no processo de revisão acadêmica por pares poderia contribuir com essa inclusão. As informações dos perfis destes referees poderiam ser de utilidade, por exemplo, para a seleção de potenciais referees de bom desempenho por parte dos editores de revistas de alto impacto.
Links sobre o assunto:
1 Opinion: Reviewing Reviewers. The Scientist. David Cameron Duffy. Jul 19, 2013
2 Contributing to Peer Review: Guidance for Early-Career Researchers. PLOS Blogs.
3 Opinion: Learning from Peer Review. The Scientist. May 24, 2013. David Irwin, Stephen A. Gallo, and Scott R. Glisson.
4 Update on Peer Review at NIH. Letter from Dr. Stephen I. Katz (Director, National Institute of Arthritis and Musculoskeletal and Skin Diseases).
5 Peer review: the nuts and bolts. Voice of Young Science.
A pesar de ser considerado um dos Standards de qualidade, a avaliação por referees acadêmicos, como todos os sistemas de avaliação, tem as suas falências, que podem ir desde falta de idoneidade real para avaliar a proposta, até coisas mais graves como faltas à ética por não declarar conflitos de interesse, ou a falta de critérios unificados e de evidencia científica para selecionar propostas muito inovadoras, entre outras. Mas as bondades de uma avaliação honesta por múltiplos pares são muitas. Permite não só enriquecer a discussão acadêmica pela retroalimentação aos autores, como também o próprio referee pode aprender durante o processo.
Esses dias eu encontrei um comentário na The Scientist (1), escrito pelo David Cameron Duffy, propondo a avaliação dos referees, com o intuito de fortalecer o processo acadêmico. Ele propõe uma combinação entre o H-index do peer reviewer, o impact factor da revista, e o número de manuscritos revisados (o caso de agencias de financiamento não foi contemplado). Algo assim como um "R-index". Particularmente achei interessante a proposta, e penso que discutir entorno a ela pode ser muito produtivo.
Embora as editoriais devam ter sistemas internos (como parte normal do controle da qualidade) para avaliar a o trabalho dos pares acadêmicos, seria útil identificar os bons referees de alguma maneira, e que seja pública essa informação. Principalmente pensando que este é um trabalho que consome o tempo dos pesquisadores, e que merece ser reconhecido objetivamente. Além disso, com o recente surgimento de milhares de editoriais de livre acesso, existe o risco desse trabalho anônimo do referee se tornar um ponto fraco na qualidade do processo.
Por outro lado, nesta época em que o H-index e o fator de impacto estão sendo fortemente criticados, não sei até que ponto seria bem vindo um novo indicador no currículo. A adopção de um sistema de avaliação rigoroso e oficial do desempenho de revisores poderia trazer vários problemas adicionais. Por exemplo, poderia dificultar o acesso como referees de revistas de impacto, principalmente para pesquisadores que estão começando carreira. Em todo caso, iniciativas como a adotada no NIH para incluir oficialmente os pesquisadores jovens no processo de revisão acadêmica por pares poderia contribuir com essa inclusão. As informações dos perfis destes referees poderiam ser de utilidade, por exemplo, para a seleção de potenciais referees de bom desempenho por parte dos editores de revistas de alto impacto.
Links sobre o assunto:
1 Opinion: Reviewing Reviewers. The Scientist. David Cameron Duffy. Jul 19, 2013
2 Contributing to Peer Review: Guidance for Early-Career Researchers. PLOS Blogs.
3 Opinion: Learning from Peer Review. The Scientist. May 24, 2013. David Irwin, Stephen A. Gallo, and Scott R. Glisson.
4 Update on Peer Review at NIH. Letter from Dr. Stephen I. Katz (Director, National Institute of Arthritis and Musculoskeletal and Skin Diseases).
5 Peer review: the nuts and bolts. Voice of Young Science.
Acredito que um primeiro passo na melhoria deste processo seria as avaliações por referees acadêmicos realizada no sistema de duplo cego. Desta forma, o peso científico da publicação sofreria menos com outras influencias, como citado "...que podem ir desde falta de idoneidade real para avaliar a proposta, até coisas mais graves como faltas à ética por não declarar conflitos de interesse...".
ResponderExcluir