"cuando son incapaces de medir lo que ellos deberían maximizar (e.g., la calidad), los científicos se inclinan a maximizar lo que saben como medir. La confianza con la que esto puede asignarse tal vez no sea el único criterio para seleccionar una dedida de la calidad cientifica. Sin embargo, puede y debería considerarse. Los métodos propuestos aquí ofrecen herramientas simples y confiables para encarar todos estos puntos."

¿qué más puedo añadir? Que el método "paper x año" está viciado, ya que al menos aquí, cuanto menos produzca tu par, menos dinero recibirá de la asignación para investigación.
Ergo, sin importar cuál método se use (en este país que es el único que conozco como para hablar) lo que hay que cambiar es la "partición de recursos" para los investigadores, cosa de que (tal vez algún día) el investigador que estamos evaluando deje de ser un competidor por la magra porción de torta asignada anualmente.

Hace un tiempo, ante un fraude en los datos, un editorial de la Science decía algo en este sentido. Sin embargo, no tenía tanto que ver con el puesto que ocupara en algún escalafón el director de la investigación, sino por el hecho de publicar en esa revista.

Publicar en Science (o Nature) significa mucho más para el político de turno que un índice que el funcionario no sabe de donde viene ni cual es su objetivo.

La fama que supone aparecer en estas revistas para un equipo de investigación del tercer mundo se traduce en mayor asignación de recursos a costa de otros equipos de investigación. Porque de ampliar la torta para el lado de la investigación, ni hablar.

Muy interesante. A mí siempre se me plantea la misma duda cuando pienso sobre cuantificación de la producción científica. Hay áreas, por modas o lo que sea, que tienen mayores probabilidades de publicar en revistas de alto impacto promedio. Un Nature sobre paleoantropología es más común que un Nature sobre, digamos, fisiología de los peces. O lo que es lo mismo, cuando un trabajo sobre fisiología de los peces llega a Nature, su impacto en el área es mucho mayor. Mientras los índices (los que sean) no tengan esto en cuenta, seguiré sin fiarme de ninguno de ellos (aunque reconozco que me guío por el índice de impacto de las revistas a la hora de decidir a cuál enviar un artículo. Eso sí, sólo comparo los de las especializadas en mi área).

Hay un problema en suponer que el trabajo más citado es el trabajo más importante (digo, científicamente más importante).

Del hecho de que un trabajo importante será muy citado se comete la falacia de que todo trabajo muy citado es importante. Hay un bonito paper que asegura que sólo el 20% del total de las citas de un paper es realmente leido por sus autores. Evidentemente, esos trabajos citados pero no leidos poco influyen en el desarrollo de la investigación.

Hay que pensar que la valoración de la importancia de un paper es, en cierta medida, una asignación subjetiva. Sin llegar al extremo irracional de la dupla Kuhn-Feyerabend de asegurar que los resultados de las investigaciones científicas están dictados por una moda, creo, sí, que la selección de los problemas y por ende la asignación de su importancia relativa, está regido por causales exógenas a la ciencia.

De todas maneras, no soy tan extremista como eres tu. Quizá algún método basado en redes sociales (ahora que están de moda -y tienen alto impacto ;·) pueda tener en cuenta indirectamente esas cosas que requieres.

Efectivamente, el problema de las citas es que en sí mismas son un mecanismo de autorregulación positiva. Si un paper X muy citado cita Y papers, éstos a su vez pueden ser citados por aquellos que citan a X, y sí, lo más probable es que se haga sin siquiera leer el artículo, o lo que es peor, copiando la referencia directamente, sin comprobarla (hay estudios sobre la traza de "mutaciones" en la bibliografía de artículos que son muy reveladores, pero yo me baso en experiencia personal, que leyendo un artículo de mi supervisora encontré una "afirmación extraordinaria" y al buscar las "pruebas extraordinarias" me encontré una referencia que tenía una errata. Le pregunté y me dijo que no sabría decirme, porque esa referencia la puso a instancia del jefe superior, y que él la tenía así. Todo indica que él también la tomó de otro sitio, o que fue él el primero en introducir una referencia errónea).

A lo que iba. A mí esto me sugiere una distribución de potencias de las citas pero no por relevancia de los resultados (o no directamente) sino por transmisión a lo largo de una cadena de interacciones (que en efecto formarían algo semejante a una red social entre artículos). Quizá cuando surge un paper seminal se crean nuevos enlaces, realmente función de la relevancia científica original de lo publicado, pero supongo que una vez asimilada la cosa, las citaciones se acumulan por tradición histórica (por ejemplo, tengo entendido que el trabajo más citado es el de Kuhn, porque ahora es el paradigma dominante el tema de las revoluciones científicas; curiosa manera de demostrar la propia tesis...).

hmmm... ¿de Kuhn? Sospecho que si se trata de Kuhn las citas deben ser de libros, no de papers; tampoco se trata de ciencia. Ahí pierdo toda referencia: Aunque intuyo que debe ser distinta, no tengo idea como puede ser la "dinámica" de citas entre libros no científicos (o de libros en general).

malambo, creo entender lo que dice Biomaxi: Thomas S. Kuhn es un "referente obligado".
En algunos Foros hemos discutido (con bastante énfasis y escasos resultados) el tema del "Cambio de Paradigmas". Ahí aparece Kuhn como el punto de inflexión de un "antes" y un "después".
Años atrás, ningún libro o trabajo de Epistemología dejaba de incluir a Kuhn en su bibliografía, "La Estructura de las Revoluciones Científicas".
De Kuhn he leído que, si hubiera reescrito ese libro, el núcleo sería...la sociedad científica y no los paradigmas.
Pero ese es otro tema: el punto es que Kuhn "queda bien" o quedaba bien, entre las citas, por aquéllo de los paradigmas. Aunque el paper hable de la mortandad del cangrejo.

Si, Kuhn se transformó un poco en lo que había sido Pavlov para Rusia. Todos expresaban su admiración y decían seguir sus principios en el estudio, aunque los trabajos tratasen de las nervaduras de las hojas.

Pero a lo que le señalaba a BioMaxi era que no había elegido bien su ejemplo citando a Kuhn, o a cualquier otro cuya producción intelectual se asentara en libros antes que en papers (por eso de la ley de potencias, los promedios de trabajos por año y tal).

Igual, mi principal punto de discordia (que no es mio solo) con Kuhn es su visión externalista, eso de cambiar de paradigmas un poco como uno cambia de peinado. Me parece que su descripción del funcionamiento de la comunidad científica no es adecuado.