por Malambo en Bloxito.Ciencia | 2005-12-28 | 8 Comentarios
Ayer
fernand0 editó
una entrada en la que dio a conocer una nueva forma de medir la calidad de la producción de un científico a través de la cantidad de trabajos publicados y de su impacto. Se refería él a
un trabajo aparecido en PNAS el 15 de noviembre en el que J.E. Hirsch, su autor, propone
un índice h, definido como el número de papers con número de citación mayor o igual que h, como un índice útil para caracterizar la producción científica de un investigador.
Bueno, resulta que esa medición no va más, pasó de moda, ya tuvo cuarto de hora. Sune Lehmann, de la Universidad Técnica de Dinamarca y Andrew Jackson y Benny Lautrup, del Instituto Niels Bohr, también de Dinamarca, publicaron el 24 de diciembre un
preprint en arXiv en el que aseguran que
Dos medidas de la calidad usadas en la práctica -"paper por año" y la "h de Hirsch"- carecen de la exactitud y precisión necesarias para ser útiles.
y proponen, en cambio, un método bayesiano general en el que el promedio, la
mediana y el número máximo de citas permiten realizar predicciones precisas del futuro rendimiento de un autor, incluso teniendo en cuenta muy pocas publicaciones.
Para hacer el estudio se basaron en los datos de la base de datos
SPIRES que contiene "
virtualmente todos" los papers de física de altas energías publicados desde 1974, pero sólo incluyeron los trabajos de los "científicos académicos", es decir, aquellos que cuentan con más de 25 papers en su haber.
Hacer un
ranking de lo que sea significa encontrar un parámetro, digamos un número real
m, del que se presume representa una medida cuantitativa de la calidad de la producción del científico. Lo que hizo el equipo encabezado por Lehmann fue utilizar el record de citaciones de un científico para construir dicho índice y luego definir la
distribución previa p(m) de que un autor tenga un índice
m y la
probabilidad condicional P(n|m), de que un paper escrito por un autor con índice
m reciba
n citas.
Las dificultades que le encuetran los autores a la propuesta de Hirsch, es que el intento de encontrar un balance entre la productividad y la calidad y evitar las dificultades de la distribución de citas según una ley de potencias [la probabilidad de que un paper reciba
n citas es proporcional a (
n + 1)
- γ con γ = 1.10 para
n menor o igual que 50 y γ = 2.70 para
n mayor que 50], puede conducir a malas medidas en el extremo superior de la escala. Sin embargo, esta sería una dificultad menor; lo más grave, dicen ellos, es que Hirsch relaciona variables inconmensurables. El paper
i de un autor se lista según el número de citas
C(i) en orden decreciente y la
h de Hirsch se determina por la igualdad
h = C(h)
cantidades que no tienen, de acuerdo a Lehmann, conexión lógica evidente y podría asumirse, igualmente bien o de de forma más razonable, incluso, una relación del tipo,
h = α C(h)κ. No hay razón que diga, a priori, que ambas constantes deban valer 1.
El arículo termina diciendo que
cuando son incapaces de medir lo que ellos deberían maximizar (e.g., la calidad), los científicos se inclinan a maximizar lo que saben como medir. La confianza con la que esto puede asignarse tal vez no sea el único criterio para seleccionar una dedida de la calidad cientifica. Sin embargo, puede y debería considerarse. Los métodos propuestos aquí ofrecen herramientas simples y confiables para encarar todos estos puntos.
_________
Continuar leyendo:
Quantitative indicators for research assessment - a literature review (pdf - 89 p)
Bloxito.Ciencia | Sobre la evaluación de los científicos (2005-12-28 22:04) | 8 Comentarios
Etiquetas:
