Ocorreu um erro neste gadget

segunda-feira, setembro 07, 2009

Por que damos notas (índices) aos estudantes e candidatos?



Ranquear, pesquisar as propriedades estatísticas do índice de Hirsch, inventar novos índices de centralidade, trabalhar com rede complexa de citações bibliográficas. Foram críticas que apareceram durante minha defesa de memorial no concurso de livre docência. Ainda bem que não deu tempo de acabar e anexar o paper sobre o uso do índice de Hirsch em redes complexas em geral (uma idéia que não me teria ocorrido se eu não tivesse trabalhado com o índice de Hirsch em cientometria).

Um esclarecimento que eu gostaria de ter feito à banca: 1) No artigo de Torro-Alves et al. (cuja idéia de publicação foi do Graef, e não minha), não se cita de forma alguma o nome dos docentes da FFCLRP (acredito que esta foi uma acusação muito séria, pois se tal fosse o caso, eu teria cometido falta de decoro científico); 2) Conforme descrito na seção de metodologia, a busca de artigos foi feita pelo curriculo Lattes, não pela Web of Science, de modo que se a contagem de artigos foi falha (não acredito que tenha sido), isso se deve ao currículo do docente não estar atualizado; 3) O artigo se refere ao uso de indicadores bibliográficos na avaliação de programas de pós-graduação, conforme prática atual da CAPES (e questiona essa prática) e NÂO tem como tema a avaliação do desempenho individual dos docentes; 4) A conclusão do artigo é desfavorável e crítica ao índice h, e de forma alguma é uma apologia ao uso de índices na avaliação de pesquisadores. Citando o paper:


Data analysis revealed interesting differences between the graduate and undergraduate programs of FFCLRP, showing that the h-index and the other two measures of productivity investigated, i.e., total number of papers in Curriculum Lattes and number of papers indexed by Thompson ISI Web of Science, are sensitive to the field of knowledge and to the particular characteristics of the research group.

Interestingly, the analysis showed that all measures of productivity for graduate or undergraduate programs were strongly correlated, although they refer to different aspects of the scientific research output. This observation agrees with recent publication by Van Raan (12), in which he suggests that the h-index should not be considered superior to other assessment forms, since it correlates
with other bibliometric indicators as well as with peer opinion.

In summary, the present study indicated that most graduate programs of FFCLRP
obtained similar results in the assessment of the h-index, the number of papers indexed by Thompson ISI Web of Science and the total number of papers in Curriculum Lattes. However, concerning these indexes, we found a worse performance of the graduate program in Psychology, which can be associated with the characteristics of the field of concentration and the limited coverage by the Thompson ISI Web of Science database. The h-index, like other bibliometric indicators, is sensitive to the field of knowledge and must not be used as the only factor for assessing an individual’s scientific research output.

Mas pelo menos a banca foi coerente, não foi burocrática e estou muito grato a todos os pesquisadores de alto nível que a compunham. Em vez de me dar índices e notas (a banca só fez isso porque faz parte das regras da USP), a banca me julgou pela conversa científica que tivemos.

Fica a proposta: em vez de prova didática, prova escrita, documentação comprobatória de memorial (é muito chato guardar ou encontrar todos aqueles comprovantes), confecção de tese ou projeto de pesquisa, avaliação do currículo Lattes etc., o melhor mesmo seria uma análise puramente qualitativa onde o candidato conversa com a banca (uma entrevista).

Tenho apenas pena do Carlos Hotta e outros tímidos...

Lembrete: Citar este paper aqui no meu paper sobre o índice K.


Um comentário:

Carlos Hotta disse...

Imagina Osame, minha introspecção não atrapalha em entrevistas e apresentações, ela só me demanda muita energia. Se fossem 100 entrevistas em 1 mês acho que não sobreviveria mas 1 só eu tiro de letra.