Época de participar de bancas de concurso e proximidade das grandes avaliações no CNPq: Edital Universal e Bolsas de Produtividade Científica. Como as alergias sazonais se instala em mim a alergia à numerologia científica. Há algum tempo, se implantou no Brasil uma lógica extremamente numerológica na avaliação científica. Praticamente não se analisa qualquer produção científica ou mérito dos projetos. Os comitês se limitam a preencher um barema (predefinido pelo comitê ou imposto por algum conselho de universidade) para quantificar o que produziu. Uma análise detida do projeto é raramente realizada também não ocorre uma ponderação adequada da qualidade da produção. Os comitês, ou bancas de concurso, no mais das vezes apenas substituem (e penso que com menos precisão) o que um programa básico de computador poderia fazer: contar, aplicar pesos e ver o resultado numa tabela.
Há algum tempo o Prof. Nelson Preto publicou no seu blog um post intitulado Avaliação científica: a loucura se instalou! nele escreve:
“Tem cabimento para avaliar um projeto eu ter que abrir um Lattes e contar quantos artigos fulano publicou para dar depois um nota? ... Ora bolas, faz um script que automaticamente lê quantos artigos, quantos congressos (tudo já estratificado pelos qualis da vida, A, B, C bla bla... que se criou para classificar tudo!!! arghh!!!)
Pronto, o sistema já abre com o perfil do pesquisador-candidato explicitado... Esse fulano publicos 5 aqui, 3 ali, trezontes orientantos e sua posição no RANKING é TAL. (eh eh eh.. no pódio!). ... Mas tem cabimento o governo gastar tanto com nossa formação e salário para sairmos contando pontinhos?!”
Durante processo de discussão do barema na Congregação da Faculdade de Medicina da Bahia (UFBA) encaminhei documento manifestando-me contra esta forma de avaliação:
“Os BAREMAS - ... - igualam o que não é igualável. Como exemplo: ...“Artigo científico publicado como 1º autor e/ou autor de correspondência em periódico especializado com corpo editorial e indexação internacional” vale um ponto por unidade. Corremos o risco de valorizar mais um artigo publicado numa obscura revista internacional no qual o candidato é o primeiro autor entre 50 autores que um artigo publicado numa revista de ponta no qual o candidato seja o segundo de apenas três autores;...”
Isto me levou a examinar os critérios adotados pelos Comitês Assessores do CNPq para concessão de bolsas de produtividade científica. Como é sempre bom olhar a propria casa, comecei pela Imunologia. Cuidadosamente, o CA indica “A avaliação enfatiza a qualidade da produção científica e tecnológica de acordo com critérios internacionais.” Contudo acaba caindo em aspectos numerológicos perigosos e que podem levar a flagrante injustiça. Vejam a situação abaixo:
“2.1. Requisitos mínimos para acesso ao Nível 2
... Para ser classificado neste nível o pesquisador deverá satisfazer os seguintes requisitos mínimos no quinquênio anterior:
- ter publicado pelo menos 5 (cinco) trabalhos científicos em periódicos científicos de preferência como autor principal ou correspondente (primeiro ou último autor), com fator de impacto igual ou superior a 1.0;”
Um jovem pesquisador com quatro publicações na Nature pode ficar sem bolsa enquanto outro com cinco publicações numa revista com fator de impacto 1,1 passa neste critério. Claro que nenhum dos membros do CA concorda com esta decisão, mas isto é o que está registrado e uma bolsa concedida ao pesquisador com quatro Nature pode ser impugnada na justiça se o CA não seguir a sua própria regra.
Creio que é hora de repensar os critérios, realmente enfatizar qualidade e evitar o fetichismo da numerologia para avaliar qualidade. Se o julgamento pudesse ser feito por algoritmos e baremas, não precisaríamos de comitês para analisar, seria apenas necessários para elaborar os baremas.
Manoel Barral-Netto escreve na qualidade de blogueiro participante da comunidade científica, sem qualquer conotação oficial por posições administrativas.
A ilustração acima (do trabalho A possible role of social activity to explain differences in publication output among ecologists de Tomáš Grim -DOI: 10.1111/j.0030-1299.2008.16551.x) demonstra uma correlação inversa entre consumo de cerveja e publicações científicas. Por isto parei de beber cerveja, antes que isto vire um ítem de algum barema e tenha que registrar o meu consumo no Lattes.
Concordo plenamente com o Barral. Estamos esquecendo da qualidade. E mais: utilizando critérios para julgamento de grupos (o qualis da CAPES) para julgar indivíduos. Temos que ter o trabalho de olhar o indivíduo e a importância de sua produção. Se seu trabalho de taxonomia está numa revista de baixo impacto, então seu trabalho nunca será valorizado - vamos acabar com a taxonomia no Brasil (afinal, já sabemos mesmo tudo dela, né?). Última autoria é importante, pois indica independência, mas vamos também olhar a idade do caboclo e a qualidade da produção!
ResponderExcluirPrezado Prof. Barral, parabéns.
ResponderExcluirTal ponto, abordado aqui no blog da nossa sociedade, realmente traz um pouco de bálsamo para quem outrora pensou que as coisas estavam quase perdidas.
Tenho debatido aqui dentro da minha instituição (e fora dela, quando posso) a respeito do famigerado fetichismo. Observa-se tal numerologia computada não apenas para disputa de universais, bolsas PQs, mas até de bolsas ICs, participação em comitês e jogos de bola-de-gude. O sistema implementado beneficia àqueles que participam de trem-da-alegria científico e publicam 50-80 artigos por ano. Sinceramente 1 artigo por semana, sólido com qualidade, não é possível.
Como rapidamente criar uma espécie de avaliação qualitativa?
Uma possibilidade: os candidatos aos Universais/PQs etc enviam uma lista das 5-10 principais publicações do últimos 5 anos denotando a importância de cada uma delas para o campo de solicitação. Os revisores e o CA teria como analisar de forma mais qualitativa esse número escolhido pelo próprio candidato.
Outro ponto, a produção científica desse país está atrelada a PG, então contar números de estudantes "formados" pode repetir a matemágica ou até mesmo eleva-la ao quadrado. Imaginem o quanto de recursos determinado local pode captar se o mesmo forma 99 mil pessoas mas sem ou quase sem qualidade/impacto em suas publicações?
Hoje está claro o que tem mais valor para o país, e não é o aumento no número de manuscritos per si. Acredito que todos ou a maioria de nós nessas últimas décadas de PG do Brasil já aprendemos a importância de circular o conhecimento (refletido em publicações).
O desafio agora é evoluir na filosofia e cultura da qualidade, que exige não apenas bolsas e mais bolsas de PG, bolsas de PQ, bolsas de qualquer natureza, mas sim uma política firme de investimento em infraestrutura do tipo "behind-the-scenes" como lab managers, biotérios, secretários, MTAs, etc.
Tudo isso pode ser feito aqui. Como um amigo sueco me disse falando sobre deosrganização na ciência brasileira: "como é possível acontecer tudo isso num país que tem um competência social enorme?"
Sobre baremas e contratações em universidades, isso fica para um próximo comentário para fins de brevidade.
Abraço,
André
PS: gostaria de ver a figura em termos de qualidade da publicação e não número :))
Parabéns Barral pelo texto e Leda pelo comentário, muito bom ouvir isso de pessoas que podem iniciar essas mudanças imediatamente! A sugestão do André de escolher 5 ou 10 trabalhos parece bastante pertinente!
ResponderExcluirAbraços,
Daniel
Eu dou valor a todas essas formas de medir produtividade. Produção máxima é o que importa. Mais trabalho, maior impacto, mais estudantes, maior participação na vida acadêmica, maior independência, bons projetos, atividade administrativa, etc. Tanto que a partir de hoje não bebo mais cerveja. Não posso parar de consumir bebidas alcoólicas, senão como esquecer a minha improdutividade!!!
ResponderExcluirOs comentários anteriores são todos muito pertinentes e oportunos.
ResponderExcluirHá algum tempo, a ciência brasileira está direcionada à um ambiente puramente quantitativo e numerológico que me parece perigoso. É preciso urgente rever essa situação.
Quando analisamos os dados de produção de papers no Brasil no contexto mundial observamos um crescimento muito nítido. Contudo, as citações de nossa produção continua muito pífia, creio que em boa parte, devido a qualidade e originalidade.
Esta numerologia está fortemente enraizada em todos setores (Universidades, Agências de Fomento e nos Comitês de Avaliação) criando dificuldades principalmente aos novos professores e pesquisadores.
Atualmente não é raro encontrar currículos de recém doutores ou pós docs com uma ou duas dezenas de artigos, onde o sujeito é integrante do "cortejo" em verdadeiras fábricas de publicação.
Além disso, nosso financiamento para pesquisa embora tenha melhorado ainda nos últimos anos ainda é claramente insuficiente.
Veja o exemplo do Edital Universal. Se acreditamos que a Educação e a Ciência são a chave para o desenvolvimento e a competitividade do País, precisamos priorizá-la, oferecendo no mínimo as condições necessárias.
A mudança do paradigma é urgente.
Abraço, Mário
Prezado Prof. Barral, o ponto discutido no blog é de extrema importância. Está mais do que na hora dos órgãos de fomento consideram a qualidade e não a somente a quantidade das publicações. Certamente isso levaria os grupos de pesquisa ao planejamento de trabalhos científicos de alto nível. Outro ponto que devemos discutir é como produzir trabalhos científicos de ponta de forma independete(principalmente na área de imunologia), com o financiamento atual dos órgãos de fomento federais?
ResponderExcluirAbraço
Fernando Spiller
CCB/UFSC
Numerologia na ponta dos avaliadores e ausência de feedback na ponta dos proponentes: Brasil.
ResponderExcluirSeria muito bom inaugurar, entre as agências federais de fomento, a prática da peer review - muito criticada, com razão, mas ainda não inaugurada entre nós. "Peer review" sem retorno, sem feedback, não é peer review (assim como não há eleição em Cuba, ainda que haja "eleição").
A "peer review" sem feedback é uma invenção brasileira.
Excelente comentario e otima inciativa Prof. Barral. Esta discussão é pauta de diversos cafés e reuniões dos mais diversos niveis de pos-graduação das universidades brasileiras sem, entretanto, levarem a uma mudança consistente, mesmo que muitos destes participantes sejam membros de comitês dos mais diversos calibresw. Os famigeradoss baremas, ou mesmo o "trem-da-alegria cientifico", como muito bem citado pelo André, acabam por levar ao otimo dueto avaliativo do "Deixa que eu chuto" e do "Caiu na area é penalty", que na sintese significam apenas a tendenciosa maquiavélica de agregar conhecidos por conveniencia e a eliminação sumaria sem criterios construtivos (ou o famoso Pateta do trem-da-alegria-cientifico). Enquanto a modernidade não chegar, continuaremos não sendo citados (e realmente não somos), continuaremos migrando, continuaremos chorando aqui e acolà, continuaremos bebendo e publicando (ou tentando, quando o fomento deixa). Preferi sair, pra poder pensar em voltar.
ResponderExcluirRodrigo
Todos os cientista acima que se posicionaram a favor do artigo do Professor Barral, na prática, pelo que sei, são os que o mantém. A hipocrisia é hoje a base da ciência brasileira e do conteúdo dos trabalhos também.
ResponderExcluirIdentificação: todo mundo já me conhece e sabe o que eu penso.
Ótimo post para reflexão.
ResponderExcluirArtigos sólidos e de qualidade são reflexo de uma filosofia de executar ótimas perguntas e/ou modificar/influenciar o curso de um determinado pensamento. Ter um grupo grande e gerar inúmeras dessas publicações, fantástico! Claramente, isso não se faz em 2 anos. Ou mesmo quando se exige 2-3 trabalhos para defesa de doutorado.
A reflexão que o post traz é o uso de um sistema de financiamento, concursos, etc beneficiando diretamente indivíduos que participam de correntes publiqueiras, sem pé nem cabeça. Essa tem sido a regra por aqui. Devemos re-estruturar tudo no próximo CGEE.
Comentários pessoais recalcados como o logo acima não levam a lugar algum. Sugestões para melhorias deveriam ser a base para uma discussão madura neste blog.
Como pedido acima aí vai as sugestões práticas para terminar (ou diminuir) com a hipocrisia da imunologia (ciência) brasileira.
ResponderExcluirSubstituir os atuais "líderes" pelos seguintes indivíduos:
Marcela Lopes - Rio
Marcelo Bozza - Rio
Mauro Martins Teixeira - MG
João Trindade Marques - MG
Edecio Cunha Neto - SP
Anderson de Sá Nunes - SP
André Bafica - SC
Claudia Brodskyn - Bahia
Estes são indivíduo que se preocupam com a ciência e não somente com prórpio nome e/ou instituição.
Isto mudaria em dez anos a face da imunologia brasileira.
Todo mundo me conhece e sabe o que eu penso
Eita, caramba, tô me sentindo até mal por não conhecer esse cara aí de cima, já que todo mundo conhece e, segundo aparenta, não é hipócrita.
ResponderExcluirComo se substitui os "líderes"? Porque os líderes são líderes? Será que esses candidatos continuarão preocupados com a ciência ou isso também é uma questão de hipocrisia? Basta ser líder pra ser hipócrita, ou algo parecido. Eu hein, essa discussão me parece equivalente à dos sexo dos anjos. E bastante infantil.
Na minha terra anônimo não pode apontar dedos e indicar nomes....
ResponderExcluirObrigada Barral, por propor discussão imprescindível, se quisermos avançar! Na minha opinião, estamos de fato (mesmo que aos poucos) avançando.
ResponderExcluirEncontrar a fórmula mágica (que não existe) para as avaliações é um desafio e tanto! Impossível não incluir nesta o necessário “bom senso”, que computadores (ainda) não tem.
Um dos empecilhos para um processo justo, me parece, é ainda não termos alcançado um número suficientemente grande de cientistas para que o julgamento se faça entre numerosos pares e não apenas entre poucos amigos (ou não).
Aproveito para declarar que sou contra a publicação de comentários anônimos no blog. Eu certamente não conheço o anônimo de 3 comentários acima, nem quero conhecer e, por ser anônimo, não quero saber o que ele pensa.
Maria.
Bom dia,
ResponderExcluirAcho que quantidade e qualidade são essenciais. Seria tão difícil bolar uma maneira de dar pesos ao impacto das publicações e à posição dos autores na publicação durante consideração da atribuição de bolsas?
Ex: os pontos atribuidos a cada publicação são iguais ao fator de impacto da revista. E um indice de correção é aplicado dependendo da posição do autor no paper, diminuindo a pontuação conforme se cai em importância na autoria.
Dessa forma primeiros autores de um nature teriam mais pontos que primeiros autores de 3 Journal of Immunology que por sua vez teriam mais pontos que primeiros autores de 3 Inflammation research...
Acredito que critérios objetivos são essenciais para evitar que aspectos pessoais e de afinidade influenciem a decisão do financiamento a ser atribuido. Acredito também que tais critérios podem ser modelados para levar em consideração qualidade e quantidade.
Acho que precisamos de propostas mais objetivas também ao invés do tão repetido bordão "precisamos valorizar a qualidade". Sim, mas como? O que têm qualidade para um não têm para outro. Acho que levar em conta os fatores de impacto nos oferece uma maneira de usar o critério da comunidade científica como um todo para a definição de qualidade e, portanto, acredito ser fundamental.
Os revisores das melhores revistas científicas são anônimos. Por isto a ciência se desenvolveu e se desenvolve. Isto continuará sempre assim. Da mesma forma, os paraceristas Ad Hoc das melhores agências de financiamento do mundo também são anônimos. O anonimato preserva o indivíduo de retaliações imorais muito comuns dos seres humanos. O conteúdo é muito mais importante do que o nome. Isto é válido em qualquer atividade. Muito autores usam pseudonimos e isto não diminui sua qualidade ou autenticidade.
ResponderExcluir"Sigam o dinheiro" disse Deep-throat do caso Water-gate .... que também era anônimo.
Além do mais todo mundo me conhece e sabe o que eu penso.
Caro Barral,
ResponderExcluirParabéns pela iniciativa de estimular essa discussão.
Vários pontos colocados acima são importantes, inclusive o do colega anônimo.
De fato incomoda ver que apesar de todo o investimento realizado em Ciência e Tecnologia no Brasil, estamos ainda muito distante de uma ciência com a qualidade da que é feita fora.
Eu sou otimista e acredito que estamos em um processo salutar de mudanças; manifestações como essas do Barral e Leda são extremamente importantes e animadoras. Notem que o estabelecimento do novo Qualis foi "ontem" e deve acarretar mudanças positivas em relação a melhoria da qualidade cientifica das publicações...
É importante continuar minando a numerologia e incentivar os pesquisadores a publicar manuscritos de alta qualidade. A FAPESP, por exemplo, solicita na súmula curricular - que é o CV do pesquisador solicitante- somente as 15 publicações mais relevantes (exatamente o que o André propôs para avaliações do CNPq). Fica muito mais fácil avaliar e rapidamente evidencia o conteúdo do pesquisador e sua importância/contribuição na a área de conhecimento que se inseri.
Simples assim.
Abraços,
Dario.
Certamente que o criterio de numeros de publicacoes apenas eh insuficiente para julgar merito cientifico e essa conclusao jah eh um grande passo para a ciencia brasileira. Infelizmente, julgar merito cientifico pelo impacto da revista tambem nao equaliza as coisas. Temos grandes pesquisadores brasileiros cujos trabalhos de maior impacto e de maior citacao nao sao em revistas tops, mas solidos “Journal of Immunology” ou “Journal of Infectious Disease”. Eu diria que carreiras cientificas de sucesso nao sao feitas com publicacoes na Nature ou Science, nao que nao seja bom te-las… eh otimo, mas uma publicacao na Nature ou na Science pode nao ter o mesmo impacto de uma publicacao solida em uma revista “menor” e mesmo em revistas tops ha muita publicacao irrelevante para o conhecimento ou simplesmente equivocadas que podem confundir o progresso cientifico por anos.
ResponderExcluirO Andre notou que o pesquisador se “adaptou” ao sistema e tem procurado publicar o quanto mais possivel. Certamente que 50-80 publicacoes ano eh exagero, mas dah para encontrar 20-30… O Alan Sher (um nome que todo mundo respeita e que eh o imunologista mais citado do mundo) publica em torno de 10 artigos por ano (a maioria Journal of Immunology ou similares), mesmo tendo a imensa rede de contatos que tem e um grande laboratorio. Einstein nunca seria pesquisador 1A do CNPq… Portanto, alguma coisa estah errada nos criterios de avaliacao das agencias de fomento brasileira.
O anonimo que “todo mundo conhece”, menos eu, tem sido precipitado e pueril em algumas colocacoes, mas tem razao que os criterio soh existem porque a comunidade cientifica os aceita. Na hora que a comunidade decidir que eles sao inadequados, eles serao mudados, essa eh a beleza da democracia.
A insatisfacao eh o primeiro passo e, pelo que parece, jah estah dado. Contem comigo nessa mudanca.
Abracos,
Helton da Costa Santiago.
PS: Como nunca submeti um projeto no Brasil, nao sabia como eh o processo de revisao, mas estou espantado de saber que nao ha feedback para o pesquisador explicando porque o projeto foi negado. Assim o pesquisador nao sabe onde melhorar para a proxima submissao. Isso eh ruim e atrasa o progresso cientifico brasileiro. Soh crescemos com criticas construtivas e isso eh papel do revisor.
Prezado Helton,
ResponderExcluirSeus comentários parecem os mais ponderados considerando aos demais. Como trabalho em SP, estou acostumado a um sistema ponderado de escrutínio da FAPESP que contempla tudo que tem de bom no mundo.
1) Dinheiro (sem o qual não há sistema que funcione)
2) Pareceres Ad Hoc externos
3) Feedback
4) Correções
5) Relatórios sérios
A análise do CV e aprovação do projeto é feito a critério do pesquisador sem balizamento nenhum. Desta forma eu considero exatamente o que voce disse. Um histórico sólido de contribuições reprodutíveis ao longo de vários anos. A mesma coisa é válido para o projeto: um projeto sólido que vise o avanço do conhecimento e não de um monte de publicações pequenas.
Não é necessário reinventar a roda. É só exportar/importar de SP para o resto do Brasil. Quando estiver unificado, aí sim podemos pensar em melhorar. Hoje, as únicas coisas que atrapalham a ciência em SP é o Brasil (importação/burocracia, CAPES, MEC/falta de contratações, CNPq/baixo valor das bolsas de pesquisas etc).
Abraços,
É, o que estraga o São Paulo é o Brasil. Aqui em SP, não há corrupção, hipocrisia nem "coronelismo de líderes científicos". Até parece...
ResponderExcluirEnquanto isso os paulistas continuam comendo couve e arrotando lombo...
ResponderExcluirO model apresentado pelo Mauricio parece bem razoavel, mas ja escutei muitas criticas a respeito, na verdade muito mais do que elogios, o que coloca em questão uma provavel "unificação". Além do mais, esta unificação, ou mesmo "exportação" do modelo me soa artificial. Apesar da téorica unidade cientifica devemos considerara a imensa miscigenação de origens, "crenças" e maneiras, onde cada região tem uma linguagem muito propria, reforçando a ideia de um comitê vanguardista, renovado e atento especialmente ao novo.
ResponderExcluirO professor Mauricio esta corretissimo. Anonimo, não transforme a discussão em rivalidade regional. Não seja simplorio. A verdade é evidente.
ResponderExcluirClaro que o modelo Paulista tem seus defeitos. Até Madre Teresa tinha seus defeitos. Mas é melhor que o resto. Isso é evidente.
Quanto ao primeiro passo Helton, eu me pergunto quantos primeiros passos vamos ter que dar. Desde que ingressei no laboratorio como estudante de iniciação cientifica, o sistema de avaliação de mérito da ciência brasileira é criticado. Desde então ja se foram 8 anos. Não é tempo demais de primeiro passo?!
O porquê disso é obvio. Foi assim ha 8 anos e continua sendo. Algumas das pessoas, acima, que criticaram esse sistema são as mesmas que o mantém, como bem destacou o outro anônimo la no inicio (não somos a mesma pessoa, e aposto que não somos apenas dois). Começando pelo proprio professor Barral. Obrigado por trazer essa discussão, professor. Mas não a queremos aqui, em mesa de bar. Em mesa de bar fica o dito pelo não dito.
Queremos, os jovens pesquisadores principalmente, essa discussão nas mesas que interessam.
Seria interessante se um professor Barral, ou outro deste calibre, assinasse seu texto com seu nome, titulo, posição e influência.
Porque assinaturas do tipo "Manoel Barral-Netto escreve na qualidade de blogueiro participante da comunidade científica, sem qualquer conotação oficial por posições administrativas" não valem nada.
Vou além, é covarde...mais ainda do que o meu anonimato neste texto.
Professor Barral e outros, a mudança que é necessaria deve partir de vocês! Levem essa discussão às mesas que importam, porque aqui é conversa de bar.
Em mesas de bar, em cafés de corredor ou em esferas diversas de hoje ou de além, levantar a bola é valido e recompensa. Não desmereçamos iniciativas paralelas a carimbos ou timbres de qualquer natureza. Conheço direta ou indiretamente a maioria dos que aqui hoje comentam, e mesmo havendo criticiado a maioria, digo que ja o fiz o mesmo em câmaras de pro-graduação, colegiados de pos-graduação, sociedades cientificas (membro SBFTE pariticpante de assembleias ha 6 anos) e por ai vai. Tudo começa e recomeça assim. Este blog e o interesse que ele desperta são necessarios. "Fale mal mas falem de mim", não é isso? meio Rodrigueano? Pois é, ciêcia é isso também.
ResponderExcluirRodrigo
Caros,
ResponderExcluirEstava acompanhando esta discussão, um pouco de longe e um pouco me divertindo quanto as diferentes opiniões, mas sempre achando de extrema relevância, não só o tema apresentado pelo Barral, assim como as posições divergentes e conflitantes. O debate aberto de idéias é sempre importante na nossa carreira (ciência), principalmente aqueles que podem contribuir de forma objetiva para o crescimento e aprimoramento da ciência nacional. Entretanto, depois dos últimos “posts”, achei que não poderia fugir desta discussão e tentar contribuir com o tema.
Primeiro, é obvio que evoluímos na ciência nacional nos últimos anos. Evoluímos tanto em volume de investimentos, quanto no aprimoramento de analises e julgamentos. Para que isso ocorresse, certamente tivemos contribuições de diferentes cientistas e pesquisadores das mais diversos Estados e regiões do Brasil. Mas ainda temos muito que evoluir, até mesmo SP. Deve ser ressaltado que a critica é sempre bem vinda e sempre devemos estar abertos a recebê-las. Somente desta maneira podemos evoluir e crescer cientificamente.
Segundo, apesar dos nossos grandes avanços, como dito, ainda temos muito que avançar. Sendo assim, esta discussão é extremante relevante e está longe de ser covarde, mesmo podendo estar em uma mesa de bar, o que não acredito que esteja, pois estamos discutindo dentro de um espaço oficial de uma sociedade científica (SBI). Covarde, acredito que são aqueles que se escondem atrás do anonimato. Discordo frontalmente de quem acha que a defesa de idéias e princípios se faz em anonimato. Não, a verdadeira defesa de idéias se faz pela confiabilidade da origem da critica. Para isso, devemos ter sempre a certificação da fonte, nunca o anonimato, que é o tipo mais covarde de livre expressão.
Por último, acredito que não se está discutindo a necessidade da qualidade na ciência. O que está sendo discutido é a maneira de avaliar esta qualidade. Não há formula mágica e como já dito anteriormente, não temos que reinventar a roda. Também, não tem e nunca vai ter consenso. Como dito por Nelson Rodrigues: “toda a unanimidade é burra”, e será sempre que alguém vier com uma formula mágica. O ponto principal é ter julgadores experientes que utilizem metodologias uniformes, e principalmente que as decisões sejam sempre em um colegiado, nunca isolada. Além disso, nunca devemos estar satisfeitos com as metodologias atuais e sempre devemos agregar mais indicadores. Nenhum indicador isolado vai resolver este problema. Entretanto, não podemos desprezar a subjetividade, este é o fator principal relacionado ao conhecimento e ao pensamento humano, não somos máquinas e espero que nunca sejamos.
Finalmente, referente ao gráfico aqui apresentado: o MCT adverte, se publicar, não beba. Apesar de achar que estes dados estão equivocados e/ou depende da bebida!
João Viola
Prezados anônimos, não-anônimos e mais ou menos anônimos,
ResponderExcluirMe esqueci acima de fazer alguns poucos comentários que pretendo fazer agora:
1) parabéns Barral pelo texto, corretíssimo;
2) parabéns a todos que participam deste blog pela disposição e interesse;
3) como membro do CA de Imunologia pretendo encaminhar este site para os demais membros do comitê para que tenham em mente nos meses que se seguem;
4) esta discussão vem em bom momento pois haverá vários julgamento do CNPq nos próximos meses;
5) Apesar de ter sido xingado várias vezes, agradeço por não terem xingado minha mãe.
Continuem expressando suas opiniões. Voces alegraram meu dia num momento que me encontrava deprimido com a mediocridade da universidade brasileira que ainda tenta impedir o desenvolvimento da pesquisa científica.
Abraços,
Caro João,
ResponderExcluirEu concordo que o anonimato é covarde. Isso foi mencionado por mim mesmo. Mas continuo anônimo, obviamente pelo teor do que estou escrevendo.
Sou um pesquisador jovem e não vai me ajudar em nada ganhar antipatia das pessoas que comandam a ciência brasileira julgando seus pares.
Julgamento este para o qual as métricas são criticadas neste texto do professor Barral. Concordo que a discussão é boa. Discordo que aqui ela é valida. Não é. Mesmo conduzida num blog oficial de uma Sociedade cientifica. Esta discussão tem que ser feita na cupula dos orgãos responsaveis pelo status quo do julgamento de mérito na nossa ciência.
Para mim é covarde sim. Não como pessoa, longe disso. Respeito muito, como todos respeitamos e admiramos o professor Barral. Mas sim como o lider que é.
O professor Barral, como diretor do CNPq, deveria assinar seu texto e divulgar sua opinião não apenas como blogueiro, mas como diretor. Como lider que é da ciência brasileira.
Se essa discussão é boa? Claro que é, tanto que por causa da discussão trazida pelo professor Barral eu estou aqui escrevendo minha opinião.
Mas ressalto minha opinião de que ela é valida apenas se for levada para as esferas competentes, e a minha critica é que o professor Barral é a esfera competente.
Pois assine como tal.
Sem deixar de ressaltar a ironia que um anônimo acuse de covardia a alguém que assinou o seu texto, esclareço o porque da ressalva de que assinava o texto, num tema polemico, em nome pessoal.
ResponderExcluirEu não tenho um diagnostico de esquizofrenia. As minhas idéias são as mesmas como indivíduo membro da comunidade e nas posições acadêmicas e administrativas. Tambem são as mesmas idéias em instancias formais e numa mesa de bar, embora a linguagem deva ser diferente. As defendo em todas as instâncias.
Tenho fortes convicções republicanas e democráticas. Não imponho as minhas idéias, as discuto, e sempre as assumo e assino.
Da mesma forma que tento convencer, posso ser convencido de enganos. Jamais gostaria de vencer um debate pela agressividade, mesmo que anonimamente.
Ola todos,
ResponderExcluircomo blogueiro posso dizer que li todos os comentários e achei válida a discussao, apesar de nao ter a menor experiencia com concursos e aplicacao de projetos para financiamento no Brasil. Minha leitura entao foi como curioso. Minha impressao eh que estamos evoluindo, e evolucao eh sempre mais lenta do que esperamos. Nao conheco as politicas por tras dessas avaliacoes, e acho que este tema serve mesmo para extensa discussao tambem aqui neste blog. Nao posso aqui tentar fazer qualquer colocacao porque nao faz sentido julgar o que nao se conhece.
O que nunca fui a favor foi do anonimato nas declaracoes. Entendo que alguem que tenha rancor suficiente ou mesmo que escreva com teor bastante agressivo sinta-se mais confortavel se escondendo. Entendo, mais nao concordo. A discussao eh aberta mesmo e livre, e na verdade temos que saber discutir sem ofender, e ai nao precisaremos mais de anonimato.
Abraco a todos e boa discussao
Outra coisa: Barral, vc tem algo sobre o consumo de vinho ou cachaca e numero de papers? E saque?
ResponderExcluirFiquei pensando tambem sobre se essa correlacao inversa eh vista na Alemanha...
Abraco
O primeiro passo da mudanca se dah com inquietacao e depois com atitude... creio que o post do professor Barral agregou uma massa critica em torno do tema e varios nomes de peso tem demonstrado sua insatisfacao com os criterios atuais... considero sim o primeiro passo. Se levou 8 anos para se consolidar e ainda vah levar mais alguns para a atitude chegar eu nao sei, mas uma coisa eu vejo: a mudanca que "todos" querem estah mais proxima hoje do que estava ontem.
ResponderExcluirMauricio, acho que sua contribuicao foi muito oportuna e veio a calhar com o que disse a Maria Bellio: "impossivel excluir o bom senso". Se os pesquisadores de Sao Paulo que usam criterios, digamos, mais subjetivos estao mais felizes que os do resto do pais, talvez o CNPq e CAPES tenham mesmo algumas licoes a tomar com Sao Paulo e nao ha nada de errado nisso...
Bairrismo eh burrice quando o vizinho te oferece o que tem de bom, de graca e voce rejeita.
Fiz alguns cursos de Grant proposal durante meu posdoc e o mecanismo aqui nos EUA eh muito parecido com o de Sao Paulo (proposta-Feedback-correcao-ressubmissao-aceite/rejeite com comentarios positivos e negativos). Dessa forma, um pesquisador que teve seu projeto rejeitado fica sabendo onde precisa melhorar e quais sao seus pontos fortes e tem oportunidade de crescer. Isso eh vital para o crescimento da ciencia num pais.
No mais, parabens a todos pelas participacoes construtivas (ateh mesmo de alguns anonimos) e parabens Barral pela iniciativa e de se colocar na berlinda com tema que gera polemica. Ateh onde minhas faculdades mentais permitem um julgamento razoavel, nao o considero esquizofrenico tambem e minha esperanca aumenta quando uma critica como essa parte do alto escalao.
Caros,
ResponderExcluirTambém acho que a discussão é válida aqui . Como disse lá em cima, fico feliz porque essa discussão, que é tema de vários cafés e congressos entre os mais jovens, tenha sido iniciada pelo Prof. Barral e a Profa Leda. Justamente aqui é que as pessoas que estão fora do círculo de convivência diária dos "tomadores de decisão" podem expressar suas opiniões. E que estas opiniões sirvam de termômetro ao Profs. Barral, Leda, João Santana e Viola , Maurício Rodrigues e demais para que nos representem nos comites e que discutam e se possível implementem mudanças. Democraticamente parece que todos nós estamos em congruência de que é necessário que se mudem pelo menos alguns aspectos de avaliação.
Sobre a qualidade, acho que um salto será dado quando programas como os do Wellcome Trust e HHMI forem implantados. Precisamos fazer projetos de risco!
Abraços a todos!
Daniel (www.lidi.ufsc.br)
Prezado Helton,
ResponderExcluirO critério da FAPESP não é subjetivo. Ele permite que você use qualquer critério que você ache melhor, mas deve explicar. O critério que eu uso é objetivo para mim: contribuição sólida e reprodutível ao longo de vários anos de trabalho.
Outros pesquisadores usam critérios que eu condeno. Por exemplo, recentemente, um assessor disse que eu era produtivo, pois publicava 4,5 trabalhos/ano. Não tenho a menor idéia de como ele chegou a este número.
Não acho que se eu produzisse 2,5 ou 6,5/ano, eu seria menos ou mais produtivo, respectivamente. Minha contribuição científica poderia ser a mesma com menos ou mais trabalhos/ano
O que o sistema da FAPESP permite é que você faça sua própria avaliação e se defenda de avaliações que você considera incoerentes. Isto é importante.
Abraços,
Geeente, que discussão fantastica. Lendo todos os 33(!)comentários, fica claro que a grande maioria de nós nao apenas está insatisfeito com o sistema de avaliaçāo mas também concorda em essência com os aspectos que precisam ser modificados, e em que sentido devem ser modificados. Se CAPES e CNPq sāo ainda lentos em detectar essa insatisfaçāo e apurar dentro da comunidade científica como se deve fazer para mudar, nosso blog acaba de realizar precisamente isso, produzindo um verdadeiro documento sobre o assunto. Que este documento seja utilizado por nossos representantes para liderar nos órgāos de fomento um movimento que produza essas mudanças. As regras sāo assim hoje porque os representantes anteriores escolheram essas regras. Chegou o momento de mudar. De focar nas idéias que o indivíduo propõem e na profundidade da sua argumentaçāo. Claro que a produtividade interessa, seja como for avaliada, mas chance deve ser dada aos jovens que ainda nāo produziram muito, mas mostram promessa e erudiçāo. E parabens a todos os que lembraram que review tem de ter retorno, senāo ninguêm avança.
ResponderExcluirparabens a todos os que ajudaram a enumerar nossos problemas centrai de avaliaçāo!
E abaixo o anonimato!
A única coisa que discordo nest post é o gráfico, se o consumo de cerveja tivesse relação inversa com o número de publicações a ciência brasileira já teria acabado há muito tempo.
ResponderExcluirNo entanto creio que não devemos demonizar a "numerologia" na avaliação da produtividade científica, se bem utilizada é uma ferramenta fabulosa, creio que os fatores de impacto, números de publicações e etc têm um valor na avaliação, mas não devem ser utilizados como único parâmetro de análise, é preciso um aperfeiçoamento constante do sistema de avaliação sem perder o foco de que o principal é a qualidade, embora esta tenha um fator subjetivo na análise.
Na minha opinião TODO processo de avaliação é imperfeito e sempre haverá quem se julgue injustiçado, por isso a necessidade de constante aperfeiçoamento do processo, que é justamente o que foi proposto e debatido.
Quanto ao anonimato nos comentários creio que ele é válido para discutir idéias com coerência e educação. Utilizar-se do anonimato para insultos e acusações, é muito pior que covardia.
Essa discussao vai longe hein.
ResponderExcluirAcho fantastico que o assunto tenha sido trazido por pessoas do alto escalao da ciência, e esta discussao é muito saudavel para todos nos.
Eu, como pesquisador jovem, ganho esperança de que se a vontade de mudar permeia quase toda a nossa comunidade, a mudança pode estar mais proxima do que imaginamos.
Entretanto, concordo com o Luiz que todo processo de avaliaçao é imperfeito. Temos que nos deter em parametros pré-definidos, que necessariamente devem ser de uma forma ou outra transformados em numeros. Quando as regras sao claras comete-se mais justiça do que injustiça.
A pergunta essencial, na minha opiniao, é quais parametros nos queremos transformar em numeros, e nao se devemos ter Baremas ou nao.
Julgamentos subjetivos, quando honestos, sao bons. O problema é que neste caso a honestidade, ela mesma, é subjetiva.
Vale ressaltar que esta discussao nao é privilegio da comunidade brasileira. O mundo inteiro esta atras de métodos que possam proporcionar julgamentos justos sem ter que abrir margem para opinioes subjetivas e por vezes desonestas. Esta é o Santo Graal do RHs.
Nao é uma tarefa facil propor uma mudança, uma vez que a proposta deve vir acompanhada de uma alternativa melhor.
A FAPESP tem um sistema melhor? Sim, eu acho. Mas discordo, Mauricio, que nao seja de certo modo subjetivo. O seu julgamento vai depender dos critérios que você adotar, e os critérios podem ser eles mesmos subjetivos. Além disso, se eu nao sei com que régua eu vou ser medido, como posso preparar uma aplicaçao adequada?
Ao anonimo, posso estar errado, mas me parece obvia a razao da assinatura do texto. No Brasil, é perigoso ter opiniao, especialmente em carater oficial. Veja o que aconteceu com Nelson Jobim.
Talvez o Prof. Barral tenha receio que qualquer coisa que ele diga em carater oficial possa ser usado contra ele de uma maneira ou outra. Mas receio nao é covardia. Pelo contrario; No Brasil é esperteza. Escolha melhor seus adjetivos.
Tente ver o lado bom. Uma pessoa que tem a influência necessaria para iniciar as mudanças que queremos é que trouxe a discussao. Agora ele sabe que a comunidade esta do lado dele. Isso é MUITO importante em democracias representativas.