Fonte: Thomson Reuters/Essential Science Indicators
Caros,
aproveito o post de hoje para discutir um pouco de política de ciência e
tecnologia no Patropi.
A imagem
acima circulou o mundo em blogs e fóruns de diversos países. Trata-se de uma
imagem publicada no site da Nature (aqui), que revela dados levantados pelo Thomson Reuters referente aos artigos
publicados em 2012.
De acordo com esse levantamento, o Brasil ocupa uma posição de destaque
em relação a número de artigos publicados. Quase 30.000 artigos publicados em
2012 com um aumento de 8.9% em relação a 2011. Fantástico! No entanto, a avaliação dos índices de
qualidade -que não é uma tarefa fácil- mostra outro cenário. Nesse artigo, eles inferiram sobre qualidade
avaliando a proporção dos artigos que está entre os 1% mais
citados. Claro que tem bias nessa análise
e podem existir formas melhores de avaliar qualidade. Mas o que se nota é que o
Brasil só está melhor do que a Malásia: somente 0.43% dos artigos publicados por
cientistas brasileiros encontra-se no grupo de 1% mais citados.
Ficar claro que temos que melhorar! Outras análises provavelmente vão
chegar à mesma conclusão. O problema de infraestrutura é evidente. Alguns
editais específicos (CAPES, FINEP, FAPs) tem focado esse problema, mas ainda são necessários mais investimentos.
Outro ponto importante para melhorar a qualidade é dar mais peso aos
quesitos qualitativos nas análises comparativas realizadas durante os
julgamentos de diversos editais de fomento à pesquisa. Já tivemos
discussões profundas nesse Blog sobre qualidade x quantidade, numerismo, etc. De fato, me parece que a comunidade dos
imunologistas é vanguarda nesse aspecto. Por exemplo, o comitê de
assessoramento da área de imunologia no CNPq tem feito um trabalho importante
liderando a comunidade cientifica em direção a qualidade em detrimento da
quantidade. Tem comitês (de outras
áreas) que são sofríveis: todo artigo é n=1, conta-se o número de pontos e pronto: quem tem mais leva! Isso tem que mudar.
O mesmo precisa ser feito em concursos de ingresso na carreira docente.
Nesses, não tem nem a desculpa de que é difícil avaliar qualidade. Os
candidatos são julgados por uma banca de 5 pesquisadores que pode muito bem
avaliar minuciosamente a história do candidato e qualidade das suas publicações. Nesses concursos, contar
artigos sem levar em conta os seus conteúdos me parece um “tiro no pé” em relação ao futuro da
nossa ciência em termos de qualidade.
O próprio CNPq vem sinalizando mudanças em direção a critérios
qualitativos e não simplesmente numéricos. Em breve, o CNPq promoverá uma reunião
geral de avaliação de todos os pesquisadores que tem bolsa de produtividade do
CNPq (PQ). Isso é de fundamental importância! Que os critérios qualitativos
prevaleçam em detrimento de critérios numéricos.
Enfim, fica claro que algumas
mudanças necessitam de mais maior financiamento, infraestrutura, etc. Outras,
só depende de nós: a comunidade que cria as regras, julga e determina o que é importante
avaliar em cada edital. Basta querer e
achar que a qualidade tem que prevalecer.
Concorda? Discorda? Ótimo! Deixe
o seu comentário.
Fundamental essa discussao, Dario. Realmente, a Imuno tem sido vanguarda na iniciativa de valorizar qualidade sobre quantidade, tentando criar mecanismos de avaliacao, alo que certamente deve ter influenciado a decisao de realizar a reuniao de avaliacao da produtividade que o CNPq fara apos o dia 15.
ResponderExcluirTemos que nos manifestar claramente para que esse vicio antigo da quantidade seja extinto e que em todos os niveis se valorize a relevancia da producao. Isso passara por uma reforma em todos os niveis - desde as exigencias para concluir o curso de pos-graduacao, o pos doutorado, obter recursos etc. E lembrar que a citacao é importante, mas nao pode ser o unico fator de analise de relevancia, pois as vezes ha um intervalo de tempo ate o artigo ser citado. Mas a verdade eh que, se publicamos algo hot em uma area hot, ele rapidamente sera citado.
Finalmente, quando a ciencia do Brasil alcançar niveis altos de relevancia, acredito que começaremos a receber finalmente recurso de fontes privadas, como doações (conquistando o respeito leigo) e incentivos da industria - que quer muito parcerias.
Dario,
ResponderExcluirna minha opinião, a qualidade da pesquisa nacional é diretamente proporcional a importância que se dá a mesma. Fica claro, como exposto no post anterior, que não há mérito na migração de estágios na carreira docente. Isso é tão evidente e arraigado em nossa cultura acadêmica que trava completamente o progresso rápido de nossos centros de pesquisa e Universidades - por mais que haja disponibilidade de recursos. Sofremos todos com o descaso de colegas de nossas próprias instituições que acreditam que pesquisa é hobby... isso tem que mudar, urgentemente.
Tenho uma sugestão para o MCT/CNPq: que a bolsa de produtividade represente um impacto financeiro grande aos competentes. Que o PQ 2 comece com os 1000,00/mês, mas que o 1A ganhe 5.000,00 de bolsa. Aí sim veremos uma corrida pela qualidade... quer apostar?
Abraços,
Tiago.
Gostaria de apoiar o Dario nesta importante discussão. Na minha opinião, é essencial que a comunidade científica brasileira trabalhe em função da valorização da qualidade das publicações acima da quantidade. Somente assim haverão mudanças nas agências de financiamento e órgãos governamentais para maior investimento para começarmos a reparar as deficiências estruturais e econômicas que tanto prejudicam a pesquisa brasileira. A melhora do impacto da produção brasileira na ciência mundial não virá de uma hora pra outra mas será fruto desta mudança de pensamento que somente nós cientistas podemos iniciar. A valorização da qualidade da produção científica é um ponto importante mesmo que seja limitado pelas próprias estratégias, como o fator de impacto, para se medir qualidade, mas devemos começar de algum ponto.
ResponderExcluirPrezados colegas da Imunologia:
ResponderExcluirAtualmente temos de tudo:
-Os que falam “publiquei na Nature”(na verdade publicou Nature Communications”;
-Os que publicam 30 papers por ano tipicamente trem-da-alegria-ponto-com-br
-Os que nada publicam por 10 anos e continuam sem publicar, mesmo assim são convidados a dar talk em congressos
Todos têm mérito, é claro. Pois fazer ciência de qualidade aqui no Patropi é difícil demais. Mesmo assim, o numerismo como citado neste e outros posts do SBIblog não é o caminho para a ciência brasileira.
Precisamos concentrar na qualidade. Como definir qualidade?
Fator de impacto? Número de citações? Número de downloads? Há inúmeras maneiras objetivas, mas gostaria de citar alguns pontos para tentar enriquecer a discussão do post do Dario.
1. Precisamos de uma ciência interna de confiança. Cientistas que confiam nos pares distribuindo recursos de maneira mais justa e que apresentem críticas equilibradas em revisões de artigos de colegas.
2. Precisamos ser convidados mais vezes para seminários aqui no país, valorizar a ciência feita aqui dentro.
3. Ainda importante, é nossa obrigação ler os artigos de nosso colegas do Brasil e não apenas comentar a revista ou o fator de impacto da revista onde o paper foi publicado. Quantos artigos brasileiros (%) você leu neste último ano?
4. Publicar artigos com início, meio e fim. Há pressões de alguns para publicarmos rapidamente o artigo do tipo feijão-com-arroz. Isso não combina com qualidade, na maioria das vezes.
Para que publicar 30 mil artigos/ano, se a própria presidente enfatiza que a academia publica muito paper sem produtos?
Façamos as contas: se publicarmos a metade de artigos, provavelmente teremos histórias mais completas, com um tempo melhor aproveitado, e ainda a relação patente:artigo 2X maior!
André Báfica
André, Concordo com quase tudo. A depender da área, não ler os compatriotas é suicídio, por ex. Chagas. Mas outras áreas têm menos interlocutores em nosso País.
ExcluirNo Brasil, falar da questão de artigo/produto é uma grande falácia na área biomédica. Depositar uma patente no INPI é (relativamente ) fácil. Dai a isso virar produto...Veja quantos biofármacos foram da pesquisa básica à prateleira tudo aqui no Brasil: ao que me conste, só uma pomada tópica da Aché. Isso porque falta essa engrenagem em nosso país, a pesquisa e desenvolvimento, especialmente na nossa área.
Acredito que tudo passa também por termos uma postura mais profissional em relação ao jeito com que se lida com ciência no Brasil. Infelizmente o que vejo, como um reles aluno de doutorado (hehehe), é um amadorismo muito grande ainda em todos os setores, desde as picuinhas idiotas entre orientadores (justiça seja feita, elas existem la fora, mas nao acredito que prejudiquem tanto o andamento de projetos quanto aqui), passando por problemas na infra-estrutura, falta de gente capacitada para cargos tecnicos, e chegando aos alunos, cuja maior parte esta na ciencia por estar, para conseguir o diploma (relacionado com a maldita cultura do diploma que impera aqui). A solução para todos esses problemas passa, em parte ao menos, por uma pressão maior por resultados. Por que a FAPESP da certo?? Porque o orientador e o aluno sabem que, se forem mal e nao produzirem nada, eles vao perder a bolsa. Agora, nao pode ser somente isso. Para que se produza com mais qualidade, é preciso ter pressão para papers de maior qualidade. Com vista nisso o modo de avaliaçao das faculdades / agencias de fomento tem que mudar. Você nao pode esperar grandes ou mais completas publicaçoes quando tudo o que você exige é um paper qualquer...
ResponderExcluirPor que não fazer uma sessão sobre isso na SBI? Por que não usar a ocasião para discutir esses aspectos? Acho que seria muito bom para todos (alunos e pesquisadores) e essa discussão me parece tão importante quanto as conferências/short talks/poster sessions...
ResponderExcluirApoiadíssimo
ExcluirPost muito interessante. Alguns comitês estão mudando a forma de valoração de patentes e artigos, muitas vezes sem considerar a qualidade e isso é no mínimo discutível pois recorrem nos mesmos erros. Quanto aos concursos públicos para professores/pesquisadores, mesmo com as listas de critérios claras nas resoluções de cada uma das universidades, ainda não consigo ver uma evolução para julgamento de candidatos de alta produção científica (cada vez mais comum). Normalmente a banca conta artigos n=1 e isso gera estímulo para muitos buscarem publicar qualquer coisa em revista ruim pra fazer volume de CV e ser competitivo para essas bancas. Acho que a SBI, com a maturidade que possui a respeito do tema, pode contribuir significativamente para essa discussão.
ResponderExcluirAinda, como bom Brasileiro dei uma "espiada" nos Argentinos: Apesar do número de artigos ser bem menor, eles possuem o dobro de artigos no grupo de 1% mais citados !!
ResponderExcluirDario e demais,
ResponderExcluirgostaria também de expressar meu apoio ao nessa questão. Como discutido como diversos colegas, perde-se muito tempo e energia publicando coisas que efetivamente são incompletas ou não farão a menor diferença no cenário mundial. A mudança na infra-estrutura para mim é a questão chave para ciência no Brasil, mas é uma coisa que realisticamente só acontecerá a longo prazo. A mudança da postura em relação às publicações só depende de nós mesmos.
Abraços,
Daniel
Otima discussão. Apoio integralmente o que o Bafica disse nos 4 topicos fundamentais para o avanço da ciência no Brasil. Como expatriado, nunca fiquei fora dos meus "grupos" de discussão no pais, e a maioria dos meus amigos cientificos ainda são os brasileiros, tanto por afinidade como por qualidade (de intelecto e de mão na massa). No "trem-da-alegria-ponto-com-br" e no caso também do "Oi, bom dia, aqui esta minha Nature de quinto autor", fica facil de filtrar o excesso em uma banca se os membros desta estiverem realmente engajados na avaliaçao da qualidade do individuo como cientista, como pensador, executor. Apresentaçao de projeto e memorial servem pra isso. Além do mais, baremas reacionarios e 1000 horas de aula por semana em São Jaboticabal do Araçatuba não podem definir concurso ipsis literis. A mudança é gradual, os numeros são importantes, mas as estâncias superiores (vide agências de fomento) devem começar a mexer os pauzinhos com mais virilidade. Além do mais, o incentivo (obrigação) de publicação no doutorado não deve ser devorado pela ambição do paper prato-feito, ja que, se o novo sistema da ciência moderno for realmente posto em pratica, o famoso IF de 0.033, com um 6 meses a mais, poderia virar um algo mais consistente se nao fossem as presões cegas de uma pos-graduação medieval (que funciona 50% ainda na base do telegrama, independente de CAPES 6, 7, 8...).
ResponderExcluirMuita coisa pra pensar, otimos comentarios. Abraços.
Concordo inteiramente que precisamos valorizar a qualidade na produção científica. Quem pode fazer isto é exatamente a comunidade científica ao participar dos comitês das agências, das bancas de concurso etc. O problema, explicitado por Edson, é “a banca conta artigos n=1 e isso gera estímulo para muitos buscarem publicar qualquer coisa em revista ruim pra fazer volume de CV e ser competitivo para essas bancas.”
ResponderExcluirUm exemplo positivo são os critérios adotados recentemente pelo Comitê Assessor de Imunologia no CNPq (http://www.cnpq.br/web/guest/criterios-de-julgamento#):
“Apresentar, para análise comparativa da qualidade das publicações científicas, 3 trabalhos científicos (ou mais) publicados de alta qualidade em revistas indexadas no último qüinqüênio, sendo que pelo menos UM destes artigos deve ter sido realizado no Brasil, após o término do doutoramento. O candidato deverá ser obrigatoriamente o primeiro autor ou autor correspondente nestes 3 artigos escolhidos, devendo caracterizar liderança na condução de uma linha científica bem definida. Excepcionalmente, o CA-Imunologia poderá avaliar a inscrição de candidatos que compartilharam (máximo de 2) as primeiras autorias e responsabilidade pela correspondência em seus artigos, como evidência de liderança científica.”
Parabéns Dario, este tipo de discussão está atrasada, em nosso caso, desde a fundação da USP.
ResponderExcluirConcordo com todos os comentários, lógico, aqui não discutirá o “cientista” de número sem citações. Crecer cientificamente começa por dar valor ao número de citações internacionais. O mítico índice H, que não é perfeito é, por enquanto, a melhor medida da qualidade de produção em que um pesquisador está envolvido. O comitê de assessoramento da área de imunologia no CNPq, como o Dario cita, é um exemplo que deveria ser imitado pelos outros comités. A auditoria do CNPq e comités “das áreas sofríveis” avaliadores das bolsas de produtividade tem explicado que o fator H é “um” dos aspectos considerados para progredir na carreira, não o principal. Muito diferente é a avaliação da FAPESP, que toma inclusive um grande cuidado em aspectos relacionados a conflitos de interesse para evitar ao máximo que qualquer dificuldade prejudique o andamento e a qualidade do projeto. Não adianta denunciar conflito de interesse a esses comités “sofríveis”, eles não darão bola e se no teu comité de avaliação houver quem não te gosta, o teu nível de pesquisador do CNPq pode cair em forma inversamente proporcional ao teu crescimento científico. Ambiguidades borgianas, não fazer certas “amizades”, “falta de jogo de cintura”, “não vestir a camisa certa” nem “puxar o saco certo.”
Então, a produção científica numeral tão proclamada por diversos meios públicos e internos da USP, mostra os resultados; um pouco acima da Malasia de “Sandokan e os dois tigres”.
Se a USP tivesse funcionado em base aos standards da FAPESP desde a sua fundação, os resultados poderiam ser hoje de primeiro mundo, pois poucos países no hemisfério possuiram tanta infraestrutura.
Mas há outras complicações; o índice H de muitos doutorandos é, muitas vezes, mais alto que o de muitos reitores e pró-reitores, diretores, chefes de departamento e cientistas nível 1 do CNPq, que são membros dos comités “sofríveis” ditos, formados por “3 assessores de reconhecido saber no domínio das “Ciências....”etc.
O CV Lattes, em muitos casos é uma verdadeira enganação. Há “Professores” diretores e até pró-Reitores da USP nível 1, cujo CV Lattes lista entre 300 e 400 publicações sem impacto ou desconhecidas. O índice H deles é entre 2 e 3 devido ás únicas 3 ou 4 publicações indexadas.
Muitos vícios e hábitos devem acabar para melhorar a ciência brasileira e para que o CNPq melhore suas avaliações. E para investir no futuro é importante ensinar a os alunos, desde o primeiro dia de aula, como conhecer um professor-pesquisador: entrar no site da CAPES, Visualizar Base, “ISI-webofknowledge, webofscience, all databases, advance search, AU= nome do professor como aparece nas assinaturas de papers no Lattes, Criate Citation Report”, clic e Booom! A grande supresa, ou ou grande desapontamento!
Pessoalmente ensino esta metodologia no datashow aos meus alunos na primeira aula de cada turma. O recomendo para bem das futuras gerações de profissionais e cientistas do Brasil.
Jorge E. Moreira
Excelente debate! Eu havia lido o texto sobre o tema, inclusive as criticas sobre o grande número de periódicos de fator de impacto insignificante.
ResponderExcluirCreio que passamos por uma dificuldade grande no Brasil em termos de pesquisa, desde captação de verbas até cobrança da produção de resultados (o que sempre significa publicar artigos para agências de fomento). Não creio que, no Brasil, não exista pesquisadores que abordem temas fundamentais e que trabalhem de maneira suficiente a ter seus trabalhos publicados em periódicos de alto impacto. Na minha opinião o problema passa pelo fato de que o tempo que leva para se conseguir aprovação de verba para um projeto, para que cheguem todos os reagentes ao laboratório e que se possa trabalhar com condições satisfatórias torna, muitas vezes, os dados obsoletos, por perderem o ineditismo para grupos no exterior (EUA e Europa), onde estes problemas parecem ser quase ausentes. Os resultados, para mim, devem sempre ser divulgados pois é assim que a Ciência progride, pela troca de informações.
Excelente discussão.
ResponderExcluirLi todos os comentários e me felicito muito estar chegando no mundo científico e vendo que não somente os pesquisadores jovens, mas também alguns consagrados estão sinceramente preocupados com o assunto. O que é um indicativo real de mudança com o tempo: a necessidade.
Sou apaixonado com filosofia, e principalmente das ciências biológicas, e nela há bastante tempo se discute o tema e modos de solucionamento.
Um exemplo determinante é que o livro que mais mudou o comportamento da sociedade após a bíblia - A Origem das Espécies, daria a seu autor um bom pé na bunda na pior universidade do Brasil por falta de produtividade, seja em patente, seja em artigo.
Isso põe em questão o que realmente é necessário para se fazer pesquisa de qualidade:
parar de se comparar aos EUA. Isso é o primeiro fator. Se você diluir pelo número de norta-americanos, número de laboratórios, número de bolsas, e etc, nós sambamos muito melhor que eles. Só que eles aprovam os próprios trabalhos, rejeitam os dos outros e mantém aquele índice como está. Quem tem algo a mudar somos nós.
À exemplo do nosso ilustríssimo nobel Carlos Chagas, que foi decepado de seu prêmio por inveja de um infeliz compatriota, todos os dias boicotamos nossos pares brasileiros por inveja, competição, ciúmes, porque o aluno de fulano deixou seu lab e foi para o de beltrano.
Devemos descobrir com quem devemos competir e com quem devemos nos juntar. Somos um país, uma unidade. Faria mais sentido boicotar outros países, mas de diferentes visões em relação ao nosso.
A imagem é que enquanto o dono vai comprar o inseticida para jogar no cão as pulgas estão discutindo entre si qual vai ficar no pescoço que é a região mais quente do momento. E nenhuma delas fica.
Outro aspecto importante é a criatividade. Para entender um pouco mais, sugiro que vejam este vídeo: https://www.youtube.com/watch?v=u6XAPnuFjJc
Para fazer experimentos, desenhar ideias, inovar, causar impacto precisa tempo e espaço. Precisa viver, saber a que veio. Quanto mais caminhamos na vida científica mais viramos burocratas. E quando temos experiência o suficiente para bolarmos super projetos estamos atolados de reuniões, relatórios, projetos, revisões.
Torço para que a ideia de fazermos uma mesa sobre esse assunto no SBI, ao menos uma manhã, seja levada à frente. Temos conselheiros de agências de fomentos no SBI e boas ideias e atitudes, principalmente, podem sair daí.
Parabéns Dario!!
Muito bom o texto e os comentários. Acrescento à discussão o aprofundamento à questão levantada acima: "o que é qualidade científica?".
ResponderExcluirComo o foco do texto se deu mais ao fator de impacto e número de citações dos trabalhos realizados aqui, acho que nesse caso estaríamos falando mais de inovação, relevância e repercussão dos trabalhos científicos brasileiros.
Uma pesquisa pode ser realizada de forma robusta, com um desenho experimental certeiro e controles adequados (ou seja, tendo qualidade científica), e mesmo assim não conseguir ser publicada em revistas de grande impacto, devido - por exemplo - à pergunta inicial não ser de grande apelo, ou ser restrita a um nicho muito específico. Isso reduz sua qualidade científica?
O processo de avaliação científica, infelizmente, dificulta ao pesquisador poder arriscar em projetos muito inovadores e de vanguarda. Acaba se criando uma situação onde o pesquisador precisa continuar publicando vários artigos "feijão com arroz" para poder garantir pelo menos uma produção científica mínima para continuar conseguindo grants. Como disse aquele famoso pesquisador brasileiro: Einstein não seria pesquisador 1A do CNPq.
E muitas vezes nossa logística deficitária (verbas menores, prazos maiores para reagentes chegarem, etc) cria um ambiente onde não raro o pesquisador brasileiro prefere ficar em um nicho no qual terá menos competição com laboratórios estrangeiros (ex: parasitologia, tão forte em nosso país). Com isso, comumente acaba por publicar trabalhos de menor impacto/repercussão do que trabalhos em áreas de maior visibilidade e mais competitivas, como pesquisas em câncer, diabetes, etc...
Essa é uma discussão bem profunda e que apresenta vários lados a serem analisados.
Caríssimo Dario!
ResponderExcluirMais uma iniciativa excelente da tua parte, que tem contribuído enormemente COM QUALIDADE para a ciência brasileira!
Acho que tudo já foi dito. Quero adicionar apenas uma outra coisinha. Lá fora, se vc aparece com um CV onde consta artigo publicado em revista de baixo impacto, isto não soma nada, muito pelo contrário: APENAS DIVIDE! Para a comunidade de cientistas do primeiro escalão, um CV que tem 100 artigos em revistas de baixo impacto é pior do que não publicar nada. E, de fato, um dos índices que são analisados, quando se vai contratar alguém, é o impacto médio que o camarada apresenta. Vejamos um exemplo. Um pesquisador tem um único artigo publicado em revista de impacto 10. O seu impacto médio é 10! O outro tem 10 artigos em revistas de impacto 1. O impacto médio deste é 0,1! A diferença entre estes pesquisadores é de 100 X, neste índice de qualidade!!! Aqui no Brasil, infelizmente, há ainda aqueles que acreditam que 10 porcarias destas vale uma coisa boa daquela.........
Abraços a todos,
Gustavo P. Amarante-Mendes
Ooooops, me expressei mal. O índice que eu me referi diz respeito ao impacto médio das publicações dividido pelo número delas.
ResponderExcluirGustavo
Acho que eu estou cansado demais...... Esta conta não faz o menor sentido....... O correto seria a soma dos impactos dividido pelo numero de artigos, o que significa que o primeiro pesquisador tem impacto médio !0, como falei acima, mas o segundo teria impacto médio 1! APENAS uma diferença de 10 X!
ExcluirUFA..... ainda bem que terei 3 dias em Aracajú em breve.........
Lamento a confusão,
Gustavo
O risco da ciência de negócios:
ResponderExcluirhttp://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/
http://www.frontiersin.org/T_Cell_Biology/10.3389/fimmu.2013.00079/full
Infelizmente muitos professores fecham as portas para alunos por causa do seu CV. A cobrança para encher linguiça começa antes da pós graduação.
ResponderExcluir