Inicio > Historias > Sobre la evaluación de los científicos

Sobre la evaluación de los científicos

por Malambo en Bloxito.Ciencia | 2005-12-28 | 8 Comentarios


Ayer fernand0 editó una entrada en la que dio a conocer una nueva forma de medir la calidad de la producción de un científico a través de la cantidad de trabajos publicados y de su impacto. Se refería él a un trabajo aparecido en PNAS el 15 de noviembre en el que J.E. Hirsch, su autor, propone

un índice h, definido como el número de papers con número de citación mayor o igual que h, como un índice útil para caracterizar la producción científica de un investigador.


Bueno, resulta que esa medición no va más, pasó de moda, ya tuvo cuarto de hora. Sune Lehmann, de la Universidad Técnica de Dinamarca y Andrew Jackson y Benny Lautrup, del Instituto Niels Bohr, también de Dinamarca, publicaron el 24 de diciembre un preprint en arXiv en el que aseguran que

Dos medidas de la calidad usadas en la práctica -"paper por año" y la "h de Hirsch"- carecen de la exactitud y precisión necesarias para ser útiles.


y proponen, en cambio, un método bayesiano general en el que el promedio, la mediana y el número máximo de citas permiten realizar predicciones precisas del futuro rendimiento de un autor, incluso teniendo en cuenta muy pocas publicaciones.

Para hacer el estudio se basaron en los datos de la base de datos SPIRES que contiene "virtualmente todos" los papers de física de altas energías publicados desde 1974, pero sólo incluyeron los trabajos de los "científicos académicos", es decir, aquellos que cuentan con más de 25 papers en su haber.

Hacer un ranking de lo que sea significa encontrar un parámetro, digamos un número real m, del que se presume representa una medida cuantitativa de la calidad de la producción del científico. Lo que hizo el equipo encabezado por Lehmann fue utilizar el record de citaciones de un científico para construir dicho índice y luego definir la distribución previa p(m) de que un autor tenga un índice m y la probabilidad condicional P(n|m), de que un paper escrito por un autor con índice m reciba n citas.

Las dificultades que le encuetran los autores a la propuesta de Hirsch, es que el intento de encontrar un balance entre la productividad y la calidad y evitar las dificultades de la distribución de citas según una ley de potencias [la probabilidad de que un paper reciba n citas es proporcional a (n + 1) - γ con γ = 1.10 para n menor o igual que 50 y γ = 2.70 para n mayor que 50], puede conducir a malas medidas en el extremo superior de la escala. Sin embargo, esta sería una dificultad menor; lo más grave, dicen ellos, es que Hirsch relaciona variables inconmensurables. El paper i de un autor se lista según el número de citas C(i) en orden decreciente y la h de Hirsch se determina por la igualdad

h = C(h)

cantidades que no tienen, de acuerdo a Lehmann, conexión lógica evidente y podría asumirse, igualmente bien o de de forma más razonable, incluso, una relación del tipo, h = α C(h)κ. No hay razón que diga, a priori, que ambas constantes deban valer 1.

El arículo termina diciendo que

cuando son incapaces de medir lo que ellos deberían maximizar (e.g., la calidad), los científicos se inclinan a maximizar lo que saben como medir. La confianza con la que esto puede asignarse tal vez no sea el único criterio para seleccionar una dedida de la calidad cientifica. Sin embargo, puede y debería considerarse. Los métodos propuestos aquí ofrecen herramientas simples y confiables para encarar todos estos puntos.



_________
Continuar leyendo: Quantitative indicators for research assessment - a literature review (pdf - 89 p)


Bloxito.Ciencia | Sobre la evaluación de los científicos (2005-12-28 22:04) | 8 Comentarios

Etiquetas:

Referencias (TrackBacks)

URL de trackback de esta historia http://bloxito.blogalia.com//trackbacks/36085

Comentarios

1
De: Nfer Fecha: 2005-12-28 23:17

"cuando son incapaces de medir lo que ellos deberían maximizar (e.g., la calidad), los científicos se inclinan a maximizar lo que saben como medir. La confianza con la que esto puede asignarse tal vez no sea el único criterio para seleccionar una dedida de la calidad cientifica. Sin embargo, puede y debería considerarse. Los métodos propuestos aquí ofrecen herramientas simples y confiables para encarar todos estos puntos."

¿qué más puedo añadir? Que el método "paper x año" está viciado, ya que al menos aquí, cuanto menos produzca tu par, menos dinero recibirá de la asignación para investigación.
Ergo, sin importar cuál método se use (en este país que es el único que conozco como para hablar) lo que hay que cambiar es la "partición de recursos" para los investigadores, cosa de que (tal vez algún día) el investigador que estamos evaluando deje de ser un competidor por la magra porción de torta asignada anualmente.



2
De: malambo Fecha: 2005-12-29 01:06

Hace un tiempo, ante un fraude en los datos, un editorial de la Science decía algo en este sentido. Sin embargo, no tenía tanto que ver con el puesto que ocupara en algún escalafón el director de la investigación, sino por el hecho de publicar en esa revista.

Publicar en Science (o Nature) significa mucho más para el político de turno que un índice que el funcionario no sabe de donde viene ni cual es su objetivo.

La fama que supone aparecer en estas revistas para un equipo de investigación del tercer mundo se traduce en mayor asignación de recursos a costa de otros equipos de investigación. Porque de ampliar la torta para el lado de la investigación, ni hablar.



3
De: BioMaxi Fecha: 2005-12-29 02:38

Muy interesante. A mí siempre se me plantea la misma duda cuando pienso sobre cuantificación de la producción científica. Hay áreas, por modas o lo que sea, que tienen mayores probabilidades de publicar en revistas de alto impacto promedio. Un Nature sobre paleoantropología es más común que un Nature sobre, digamos, fisiología de los peces. O lo que es lo mismo, cuando un trabajo sobre fisiología de los peces llega a Nature, su impacto en el área es mucho mayor. Mientras los índices (los que sean) no tengan esto en cuenta, seguiré sin fiarme de ninguno de ellos (aunque reconozco que me guío por el índice de impacto de las revistas a la hora de decidir a cuál enviar un artículo. Eso sí, sólo comparo los de las especializadas en mi área).



4
De: malambo Fecha: 2005-12-29 03:35

Hay un problema en suponer que el trabajo más citado es el trabajo más importante (digo, científicamente más importante).

Del hecho de que un trabajo importante será muy citado se comete la falacia de que todo trabajo muy citado es importante. Hay un bonito paper que asegura que sólo el 20% del total de las citas de un paper es realmente leido por sus autores. Evidentemente, esos trabajos citados pero no leidos poco influyen en el desarrollo de la investigación.

Hay que pensar que la valoración de la importancia de un paper es, en cierta medida, una asignación subjetiva. Sin llegar al extremo irracional de la dupla Kuhn-Feyerabend de asegurar que los resultados de las investigaciones científicas están dictados por una moda, creo, sí, que la selección de los problemas y por ende la asignación de su importancia relativa, está regido por causales exógenas a la ciencia.

De todas maneras, no soy tan extremista como eres tu. Quizá algún método basado en redes sociales (ahora que están de moda -y tienen alto impacto ;·) pueda tener en cuenta indirectamente esas cosas que requieres.



5
De: BioMaxi Fecha: 2005-12-29 06:51

Efectivamente, el problema de las citas es que en sí mismas son un mecanismo de autorregulación positiva. Si un paper X muy citado cita Y papers, éstos a su vez pueden ser citados por aquellos que citan a X, y sí, lo más probable es que se haga sin siquiera leer el artículo, o lo que es peor, copiando la referencia directamente, sin comprobarla (hay estudios sobre la traza de "mutaciones" en la bibliografía de artículos que son muy reveladores, pero yo me baso en experiencia personal, que leyendo un artículo de mi supervisora encontré una "afirmación extraordinaria" y al buscar las "pruebas extraordinarias" me encontré una referencia que tenía una errata. Le pregunté y me dijo que no sabría decirme, porque esa referencia la puso a instancia del jefe superior, y que él la tenía así. Todo indica que él también la tomó de otro sitio, o que fue él el primero en introducir una referencia errónea).

A lo que iba. A mí esto me sugiere una distribución de potencias de las citas pero no por relevancia de los resultados (o no directamente) sino por transmisión a lo largo de una cadena de interacciones (que en efecto formarían algo semejante a una red social entre artículos). Quizá cuando surge un paper seminal se crean nuevos enlaces, realmente función de la relevancia científica original de lo publicado, pero supongo que una vez asimilada la cosa, las citaciones se acumulan por tradición histórica (por ejemplo, tengo entendido que el trabajo más citado es el de Kuhn, porque ahora es el paradigma dominante el tema de las revoluciones científicas; curiosa manera de demostrar la propia tesis...).



6
De: malambo Fecha: 2005-12-29 09:20

hmmm... ¿de Kuhn? Sospecho que si se trata de Kuhn las citas deben ser de libros, no de papers; tampoco se trata de ciencia. Ahí pierdo toda referencia: Aunque intuyo que debe ser distinta, no tengo idea como puede ser la "dinámica" de citas entre libros no científicos (o de libros en general).



7
De: Nfer Fecha: 2005-12-29 12:19

malambo, creo entender lo que dice Biomaxi: Thomas S. Kuhn es un "referente obligado".
En algunos Foros hemos discutido (con bastante énfasis y escasos resultados) el tema del "Cambio de Paradigmas". Ahí aparece Kuhn como el punto de inflexión de un "antes" y un "después".
Años atrás, ningún libro o trabajo de Epistemología dejaba de incluir a Kuhn en su bibliografía, "La Estructura de las Revoluciones Científicas".
De Kuhn he leído que, si hubiera reescrito ese libro, el núcleo sería...la sociedad científica y no los paradigmas.
Pero ese es otro tema: el punto es que Kuhn "queda bien" o quedaba bien, entre las citas, por aquéllo de los paradigmas. Aunque el paper hable de la mortandad del cangrejo.



8
De: malambo Fecha: 2005-12-29 18:08

Si, Kuhn se transformó un poco en lo que había sido Pavlov para Rusia. Todos expresaban su admiración y decían seguir sus principios en el estudio, aunque los trabajos tratasen de las nervaduras de las hojas.

Pero a lo que le señalaba a BioMaxi era que no había elegido bien su ejemplo citando a Kuhn, o a cualquier otro cuya producción intelectual se asentara en libros antes que en papers (por eso de la ley de potencias, los promedios de trabajos por año y tal).

Igual, mi principal punto de discordia (que no es mio solo) con Kuhn es su visión externalista, eso de cambiar de paradigmas un poco como uno cambia de peinado. Me parece que su descripción del funcionamiento de la comunidad científica no es adecuado.



Nombre
Correo-e
URL
Dirección IP: 23.20.64.16 (f67d4650bd)
Comentario

portada | subir
La barra superior pertenece a Tobias Bergius (Listamatic)
(CC) 2005-2007 - Malambo