Diferentes indicadores qualitativos para avaliar a produção de artigos científicos

A produção científica é avaliada em qualquer parte do mundo. O uso de métricas quantitativas é bastante frequente, mas cada vez mais as métricas quantitativas, que avaliam a qualidade do que é produzido, são utilizadas pelas instituições para avaliar a performance em pesquisa de indivíduos e de grupos de pesquisadores. Mas você sabe quais são os indicadores qualitativos mais utilizados para medir o impacto dos periódicos nos quais os artigos são publicados e o que exatamente eles medem?

É sobre isso que vamos falar neste texto. Mas, antes, vale citar alguns autores que defendem a avaliação da produção de CT&I. O doutor em Química Fernando Galembeck, por exemplo, em um artigo na revista Ciência e Cultura nº 42, de 1990, já defendia que era impossível pensar no progresso sem a ocorrência de avaliações sistemáticas do ensino e da produção científica.

Em um artigo publicado na Psicologia Escolar Educacional, em 1998, a mestre em Ciência da Informação e em História da Ciência Maria Helena de Almeida Freitas afirmava que “a necessidade de avaliação da atividade científica é também motivada pelo número crescente de publicações que estão sendo produzidas”. Em 1996, a estimativa é que estavam sendo produzidos 5 mil novos artigos por dia no mundo – número que cresceu desde então.

Um exemplo disso é o volume de artigos produzidos no Brasil e listados no ranking do SJR nesse período. Em 1996, o Brasil figurava na 21ª posição do ranking, com 8.814 artigos relacionados no SJR – na liderança estava os Estados Unidos, com 339.770 documentos naquele mesmo ano. Em 2016, o Brasil já aparecia na 14ª colocação, com 68.908 artigos – e os Estados Unidos continuavam na liderança, com 601.990 artigos.

Esses números revelam como a pesquisa científica tem multiplicado a produção de artigos no mundo, o que aumenta ainda mais a necessidade de qualificar essa produção. Essa qualificação também ajuda a destacar outros trabalhos e a valorizar os CVs Lattes dos docentes e pesquisadores brasileiros.

Comparação entre os principais indicadores qualitativos de artigos científicos

Os pesquisadores Valdir Fernandes e Lucas Resende Salviano apresentaram no ano de 2016, em Brasília, um resumo interessante sobre os principais indicadores qualitativos de periódicos. A apresentação “Os indicadores JCR, SNIP, SJR e Google Scholar” identificou as principais características e diferenças entre os indicadores.

Vamos utilizar a apresentação dos pesquisadores como base para este post, que trata sobre os indicadores JCR (Journal Citation Report), SNIP (Source Normalized Impact per Paper), SJR (Scimago Journal Rank) e Google Scholar.

Confira como cada um desses indicadores mede o impacto dos periódicos nos quais os artigos são publicados:

 

Indicador O que mede Para que serve, vantagens e desvantagens
Google Scholar Mede a produtividade e o impacto de citação de um periódico. Essas informações são medidas com base no conjunto de publicações mais citadas e no número de citações que essas publicações receberam. Útil para comparar periódicos referentes a uma mesma área do conhecimento. Apresenta como vantagem o fato de que se aplica a grupos de cientistas, tais como departamentos, universidades e países, e como desvantagem o fato de que pode ser manipulado por meio de autocitações.
JCR Mede o número médio de citações de itens publicados recentemente no periódico. Essa quantidade é medida através da razão entre o número de citações no ano corrente para os itens citáveis publicados nos dois anos anteriores e o número de itens citáveis publicados no mesmo período. Tem a mesma utilidade que o Google Scholar, apresentando como principal vantagem o fato de ser o indicador bibliométrico mais amplamente utilizado e como desvantagem o fato de que é afetado por políticas editoriais.
SNIP Mede o número médio de citações de itens publicados recentemente no periódico, contextualizado por área do conhecimento. Essa informação é obtida através da razão entre o número médio de citações por artigo e o potencial de citação da área do conhecimento a que se refere o periódico. Útil para comparar periódicos referentes a diversas áreas do conhecimento. A principal vantagem desse indicador é que ele considera a frequência de citação da área do conhecimento, e sua desvantagem é que, comparado ao JCR, tende a diminuir as diferenças entre os periódicos.
SJR Identifica o prestígio científico do periódico. Essa informação é obtida com base na ideia de que a área do conhecimento, a qualidade e a reputação de um periódico influenciam diretamente nas citações por ele realizadas. Apresenta a mesma utilidade do SNIP. A principal vantagem desse indicador é que ele elimina a manipulação, pois para aumentar o seu valor é preciso publicar em periódicos de maior prestígio. A desvantagem é que, comparado ao JCR, ele tende a aumentar as diferenças entre os periódicos.


Esses indicadores são atualizados periodicamente pelas instituições que os mantém. Dessa forma, os gestores devem ter em mãos as versões mais atualizadas dos indicadores para avaliar a produtividade científica dos pesquisadores.

Sabemos bem como é trabalhoso e suscetível a erros tabular manualmente os artigos segundo os diversos indicadores de qualidade dos periódicos, mas a tecnologia pode ser uma forte aliada dos gestores na otimização deste trabalho.

A Plataforma Stela Experta©, por exemplo, mantém os indicadores JCR, SJR, SNIP e Scopus h-index constantemente atualizados e permite que os gestores gerem relatórios e indicadores quali-quantitativos dos artigos publicados em periódicos em cliques de mouse, analisando automaticamente as informações preenchidas pelos pesquisadores nos seus CVs Lattes.

 

Sem comentários

Postar um comentário