Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
La evaluación de la actividad científica y de la productividad de los investigadores es una cuestión de interés desde muchas pers- pectivas distintas: la financiación de la investigación, la promoción de los investigadores, la recompensa de la actividad de investiga- ción, la formulación de políticas de investigación y la toma de de- cisiones relacionadas con tales políticas, la planificación estratégi- ca de la actividad universitaria, la negociación salarial en los casos en que ésta se hace directamente entre el investigador y la organi- zación contratante, la dotación de plazas de profesorado universi- tario y la promoción del profesorado y la concesión de becas, en- tre otras. Por estas razones, la preocupación por sistemas «justos» de evaluación de la actividad investigadora ha sido y es una preo- cupación tanto para los propios implicados en la investigación, fundamentalmente profesores universitarios e investigadores, co- mo para aquellos que tienen que tomar decisiones al respecto. En España, tres entidades del Ministerio de Educación y Ciencia son las encargadas, con diferentes propósitos, de evaluar la actividad científica. La calidad de los proyectos de investigación es evalua- da por la Agencia Nacional de Evaluación y Prospectiva (ANEP) (véase Gordillo, González Marqués y Muñiz, 2004). La actividad investigadora del profesorado universitario funcionario la evalúa la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y los criterios que utiliza en este proceso se describen anualmente en la convocatoria que a finales de cada año aparece en el Boletín Oficial del Estado (BOE). Por su parte, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) realiza la evaluación de la calidad de los programas de doctorado universitarios, así como la evaluación de docentes con vistas a ser elegibles para las distintas figuras de profesorado universitario no funcionario que figuran en la LOU (véase ANECA, 2006). Así pues, de modo general, dos aspectos de la actividad inves- tigadora son tenidos en cuenta por estas agencias y comisiones: la cantidad y la calidad de lo producido. No siempre los indicadores de estos dos aspectos han confluido, dando lugar a numerosos de- bates al respecto y posiciones encontradas. Los dos criterios fun- La productividad científica y el índice h de Hirchs de la psicología social española: convergencia entre indicadores de productividad y comparación con otras áreas Jesús F. Salgado y Darío Páez* Universidad de Santiago de Compostela y * Universidad del País Vasco En este artículo se describe el Índice h de Hirsch como medida de la productividad y calidad científi- ca de los investigadores, examinando su validez convergente con otras medidas de calidad y producti- vidad (citas totales, cita máxima, sexenios, antigüedad como doctor y como catedrático), su distribu- ción entre los catedráticos de Psicología Social de España, comparando los diez catedráticos con h más elevada de las seis áreas de conocimiento en que está dividida la Psicología académica en España. Los resultados indican que correlaciona ampliamente con las citas pero solo muy modestamente con el nú- mero de sexenios de investigación. Las distribuciones por áreas indican que Psicobiología y Psicolo- gía básica tienen un Índice h más elevado que las restantes, ocupando la Psicología social el cuarto puesto. Finalmente, discutimos las implicaciones de estos resultados y hacemos sugerencias para su uso en la toma de decisiones académicas y de investigación. Scientific productivity and Hirsch’s h Index of Spanish social psychology: Convergence between pro- ductivity indexes and comparison with other areas. This article describes Hirsch’s h index as a mea- sure of researchers’ scientific productivity and quality, examining its convergent validity with other productivity and quality measures (total citations, maximum citation, sexennials, years since earning Ph.D., and years as a full professor). It shows the distribution of the index among Spanish Social Psy- chology professors, and a comparison is made among the ten professors with highest h index of the six knowledge areas into which academic Psychology is divided in Spain. The results show that the index largely correlates with the citations but only very modestly with the number of sexennial investigations. The distributions by areas show that Psychobiology and Basic Psychology, as a whole, have a higher h index than the other areas, with Social Psychology in fourth place. Lastly, we discuss the implica- tions of these results and we offer some recommendations for using the index in academic and research decision making. Fecha recepción: 15-11-06 • Fecha aceptación: 9-1-06 Correspondencia: Jesús F. Salgado Facultad de Psicología Universidad de Santiago de Compostela 15782 Santiago de Compostela (Spain) E-mail: psjesal@usc.es Psicothema 2007. Vol. 19, nº 2, pp. 179-189 ISSN 0214 - 9915 CODEN PSOTEG www.psicothema.com Copyright © 2007 Psicothema damentales utilizados en España son, además de la cantidad de ar- tículos publicados (criterio de producción) en revistas indexadas en el ISI, el número de citas que el trabajo de investigación ha re- cibido y el índice de impacto de la revista en la que se ha publica- do el trabajo de investigación (criterio de calidad). Con respecto a la evolución de la producción de artículos inde- xados, España ha pasado del puesto 32 en 1963 al 9 en producción científica mundial a finales del siglo XX, lo que está en consonan- cia con la importancia de la economía española a nivel mundial (Es- paña es la décima potencia mundial por Producto Interior Bruto). Así, se ha pasado del 0,7% de publicaciones científicas indexadas en el ISI en 1981, al 1,1 en 1986-88, al 2,0% en 1995-1997 y al 2,85% en 1997-2001 (King, 2004). A su vez, la producción científica de las universidades comprende el 60,4% de la producción científica total española en revistas internacionales, utilizando sólo el 32% del pre- supuesto de I+D (Fundación Conocimiento y Desarrollo, 2005). Es- ta producción de artículos científicos internacionales ha aumentado regularmente y se ha orientado progresivamente a revistas interna- cionales, tanto en la ciencia en general (Fundación Conocimiento y Desarrollo, 2005) como en el ámbito de la Psicología (Musi-Lechu- ga, Olivas-Ávila, Portillo-Reyes y Villalobos-Galvis, 2005). Tanto el criterio de citas como el de índice de impacto han si- do criticados desde distintas perspectivas, especialmente el último, señalándose que publicar en una revista de impacto no es necesa- riamente un indicador de la calidad del artículo, puesto que la ma- yoría de los artículos de las revistas de impacto no reciben ningu- na cita o un número muy reducido de ellas, especialmente en los primeros años después de haber sido publicados. También se ha argumentado que la revisión por pares, sobre la que se basan las revistas de impacto para decidir qué artículos publican, tiene una fiabilidad baja (Simonton, 2003), que la relación entre el impacto medio de la revista y las citas que realmente obtiene a posteriori un artículo son bajas, y que el índice de impacto es muy sensible a las revisiones narrativas o meta-analíticas que se basen en los ar- tículos publicados en las mismas revistas. Además de las críticas referidas al factor de impacto, el criterio basado en el total de artículos y el total de citas según las publica- ciones indexadas en el Thompson-ISI Web of Science también han sido criticados. Por ejemplo, se argumenta que una buena parte de dichos artículos son citados poco o nada. A este respecto, el Insti- tute for Scientific Information, en un informe de 1999, reflejaba que el porcentaje de artículos no citados oscilaba entre el 44,5% de Ciencias de la Computación y el 13% de Inmunología, siendo del 25% el porcentaje de artículos no citados en Psicología y Psi- quiatría (ISI, 1999). También hay grandes diferencias en el rango de citas e impac- to entre las disciplinas científicas. Las citastienden a crecer hasta los 3-5 años en ciencias naturales y hasta los 5-7 años en ciencias sociales. Por ejemplo, el total de citas necesarias para estar en el 1% de los artículos más citados oscilaba entre 285 citas para Bio- logía Molecular y Genética y 32 en Educación según el ISI (1999). En Psicología y Psiquiatría la media de citas necesarias para estar en el 1% de artículos más citados era de 100. Finalmente, se da un error de identificación de citas con una media del 7%, pudiendo llegar al 30% (Avital y Collopy, 2001; van Raan, 2005). Pese a es- tas limitaciones, los indicadores como el total de artículos publi- cados o el promedio de citas extraídos del Thompson-ISI se han asociado a otros indicadores de producción científica, como la evaluación por pares de la reputación científica en varios estudios y han predicho la obtención de premios Nobel (Simonton, 2003). Las revistas incluidas en la base de datos Web of Science tie- nen la ventaja de que basan la selección de artículos en el sistema de revisión de pares y, en general, son las revistas de mayor im- pacto mundial en la ciencia. Ahora bien, la muestra de revistas del Web of Science tiene una serie de limitaciones. Primero, se da un sesgo lingüístico a favor del inglés; segundo, se da un predominio de ciencias naturales y de la vida; y tercero, hay una subrepresen- tación de ciencias sociales y humanidades. Sin embargo, hay que señalar que en las publicaciones en español de Psicología nueve citas sobre diez son a revistas en inglés o internacionales y que in- cluso los profesores e investigadores que publican mayoritaria- mente en publicaciones españolas citan muy poco las revistas en castellano (Alcain y Román, 2005). Finalmente, también se ha constatado que el 10% de los científicos más destacados producen alrededor del 50% de las publicaciones científicas. Varios autores han postulado que la distribución de la productividad es exponen- cial, que la moda de producción es uno o ninguno, mientras que una minoría produce mucho. Esta concentración de producción en una minoría también se da en el impacto reflejado en el número de citaciones. A medida que un campo científico crece, una minoría cada vez más pequeña dará cuenta de la mitad de la producción. De acuerdo a Simonton (2003), quien sigue a Price, el porcentaje responsable de la mitad de las citaciones se puede representar por una función exponencial definida por la raíz cuadrada de k, siendo k el número de científicos en el campo. Una minoría de científicos recibe una gran parte de las citas en todos los campos científicos, incluida la Psicología. Por ejemplo, entre un 10% en Astrofísica y un 5,2% en Ciencias de la Computación de todos los artículos ob- tienen el 50% de todas las citas. En Psicología y Psiquiatría ese porcentaje es del 7,1% (ISI, 1999). El indíce Hirsch como alternativa a las limitaciones de los indicadores de producción científica Una alternativa a los indicadores de productividad científica que hemos examinado más arriba ha sido recientemente formula- da. En el año 2005, el reputado físico de la materia condensada Jorge Hirsch presentó el llamado «h-index», con el que sugería que se podía evaluar la actividad científica de los investigadores y que superaba las limitaciones de otros ampliamente utilizados índices de clasificación de la productividad científica (Hirsch, 2005). En escasamente un año, el «h-index» ha provocado una auténtica re- volución entre los investigadores de todas las ciencias, ha sido am- pliamente debatido e incluso algunas agencias nacionales con res- ponsabilidad para la evaluación de la actividad científica (por ejemplo, Brasil) lo han adoptado como uno de sus criterios para la asignación de recursos financieros. El Índice h ha sido también aplicado a la productividad de los equipos de investigación y así el SPIRES, la base de datos de la literatura de física de altas ener- gías, ha implementado el Índice h en sus resúmenes de citas. De acuerdo a Hirsch, «Un científico tiene un índice h si el h de sus Np trabajos tienen al menos h citas cada uno y los otros Np-h traba- jos no tienen más que h citas cada uno». De modo más preciso, Rousseau (2006) señala que «El Índice de Hirsch es h si h es el rango más alto (número natural más alto) tal que las primeras h publicaciones reciben cada una al menos h citas». En este con- texto, trabajos deben entenderse como cualquier forma de publi- cación científica ampliamente citada (por ejemplo, artículos, li- bros, capítulos, ponencias, etc.), aunque la forma más común sea la de artículos en revistas con revisión anónima de pares. Por JESÚS F. SALGADO Y DARÍO PÁEZ180 ejemplo, una h= 20 significa que un autor tiene 20 publicaciones que han sido citadas cada una de ellas al menos veinte veces, pero no tiene 21 publicaciones que hayan sido citadas 21 veces cada una de ellas. El índice implica ordenar los trabajos por rango de publicación y número de citas simultáneamente. Supongamos un autor que tenga las siguientes publicaciones en orden y número de citas: Rango 1. 17 citas; Rango 2. 16 citas; Rango 3. 15 citas; Ran- go 4. 12 citas; Rango 5. 8 citas; Rango 6. 7 citas; Rango 7. 5 ci- tas; Rango 8. 2 citas. El Indice h de este supuesto autor es de 6, ya que seis es el número de rango que ocupa el último artículo cuyo número de citas es igual o mayor que el rango. Para tener un índi- ce h de 7 este autor debería haber obtenido 7 o más citas en sépti- mo artículo. Cuando Hirsh publicó su artículo en agosto del 2005 tenía una h de 49 (Glänzel y Persson, 2005). En opinión de Hirsch, el «Índi- ce h» indica que si dos científicos tienen la misma h, tales cientí- ficos son comparables en términos de impacto científico global, con independencia de que su número de trabajos o el número total de citas sean diferentes. Por otro lado, dos científicos con un nú- mero similar de trabajos y de citas, pero uno de ellos con una h más elevada, indica que este científico tiene un mayor reconoci- miento y mayor impacto en su campo que el otro. El Índice h tam- bién da una indicación del límite inferior de citas de un científico y la relación entre h y el número total de citas será igual a Ntot= a*h2, donde a es una constante de proporcionalidad. Hirsh encon- tró empíricamente que en las ciencias físicas el valor de a oscila entre 3 y 5. Para cualquier persona, en el modelo más simple, el Índice h debería aumentar de modo aproximadamente lineal con el tiempo, ya que cada año tal persona añadiría nuevos trabajos con nuevas citas en los años posteriores. Sin embargo, desde una posición más estricta, el Índice h no se ajustaría a un modelo lineal, ya que no todos los trabajos que un científico publica contribuyen a su Índi- ce h, puesto que algunos de ellos tendrán una frecuencia baja de citas o incluso la mayoría de los trabajos sólo son citados durante un período de tiempo pequeño. No obstante, a pesar de este hecho, es verdad que el Índice h de un científico no puede disminuir con el tiempo. Según el análisis de Hirsh (2005), en el caso de las cien- cias físicas una h de 20 después de veinte años de actividad cien- tífica caracterizaría a un científico de éxito, una h de 40 después de veinte años caracterizaría a un científico excepcional, y una h de 60 o superior caracterizaría a una persona única. En un artícu- lo divulgativo sobre el Índice h, Ricardo García (2005) indicaba que el valor medio de los últimos tres premios españoles de física era h= 34, y que el Índice h de los candidatos más destacados en un concurso de promoción interna del CSIC fue de 7. García, ha- ciéndose eco de las sugerencias de Hirsch, sostenía en este artícu- lo que, aunque la evaluación de la ciencia no puede reducirse a un reducido puñado de números, el Índice h «debería ser un elemen- to importante en el proceso de selección y evaluación de los cien- tíficos». Hirsh comparó su índice con otros índices de productividad científica, tales como (a) Número total de trabajos (Np), cuya ven- taja reside en que mide la productividad y su desventajaes que no mide la importancia ni el impacto de los trabajos; (b) Número to- tal de citas (Nc,tot), cuya ventaja es que mide el impacto total y cuyas desventajas son que es difícil de lograr, puede estar inflado por unos pocos «grandes impactos» que pueden no ser representa- tivos de la persona si es coautor de tales trabajos con muchos otros y que da un peso no debido a artículos de revisión altamente cita- dos frente a contribuciones originales de investigación; (c) Citas por trabajo, es decir, el ratio entre Nc,tot y Np, cuya ventaja es que permite la comparación de científicos de edades diferentes y que tiene como desventajas que es difícil de lograr, que recompensa la baja productividad y que penaliza la alta productividad; (d) Nú- mero de «trabajos significativos» definido como el número de tra- bajos que tiene al menos y citas, por ejemplo y= 50, cuyas venta- jas son que elimina las desventajas de los criterios a, b y c, y que da una idea de impacto amplio y sostenido, pero su desventaja re- side en que y es arbitrario y puede favorecer o desfavorecer de mo- do aleatorio a los científicos, y que además debe ser ajustado a los diferentes niveles de senioridad; por último, (e) Número de citas de los q trabajos más citados, donde q podría ser, por ejemplo, 5 y que tiene como ventaja que supera las desventajas de todos los an- teriores criterios, pero cuya desventaja es que no es número único, haciendo más difícil obtenerlo y compararlo; también q tiene co- mo desventaja que es arbitrario y como y puede favorecer o desfa- vorecer de modo aleatorio a los investigadores. En opinión de Braun, Glänzel y Schubert (2005) entre las ventajas del Índice h se encuentran: (a) que es robusto, es decir, es insensible a un exceso accidental de trabajos no citados y también a uno o varios extraor- dinariamente citados; (b) que combina el efecto de la «cantidad» (número de publicaciones) y la «calidad» (tasa de citas) de un mo- do equilibrado y específico; y (c) se puede calcular para períodos específicos y no sólo para toda una vida. El Índice Hirsch es muy simple y ha atraído mucha atención, hasta el punto de que la revista Science Focus ha dedicado una sec- ción especial al Índice h (Ball 2005; Bar-Ilan, 2006; Batista et al., 2005; Cronin y Meho, 2006; Egghe, 2006b; Glänzel y Persson, 2005; Liang, 2006; Rousseau, 2006). El interés suscitado por el Ín- dice Hirsh ha sido tal que algunos autores ya han propuesto nue- vos desarrollos de dicho índice (Batista et al., 2006; Rousseau, 2006; Sidiropoulos et al., 2006). Por ejemplo, el Índice h ha sido aplicado a la literatura de la ciencia de la información por Cronin y Meho (2006), quienes encontraron, como era esperable, una ele- vada y positiva correlación entre h y el número de citas. También ha sido utilizado para comparar la productividad de diferentes equipos de investigación química (van Raan, 2006). Aunque la investigación de Hirsch se concentró en los físicos, él sugería que debería ser igualmente útil en las restantes disciplinas científicas y, comenzando por el propio Hirsch (2005), diversos au- tores han señalado que el Índice h, tomado de modo absoluto, no puede ser usado para comparar la investigación de investigadores de ciencias diferentes (Iglesias y Pecharroman, 2006). Por ejemplo, Hirsch mostró que la h promedio en física era de 45, mientras en ciencias de la vida era casi del doble. De acuerdo a Glänzel y Pers- son (2005), entre los ganadores de la Medalla Price, que premia a los que más contribuciones han hecho a la cienciometría (biblio- metría), Eugen Garfield tiene una h de 16, Tibor Braum de 17, Henry Small de 9, van Raan de 16, Ben Martin de 11, Francis Na- rin de 16, Andras Schubert de 17, Glänzel de 17, Moed de 15, Ley- desdorff de 13, Egghe de 12, Rousseau de 11, Ingwersen de 10, y White de 10. Iglesias y Pecharromán (2006), por su parte, muestran una gran diferencia en los científicos españoles de diferentes disci- plinas científicas, entre los que se incluyen Corma (Química, h= 60), Rodés (Medicina Clínica, h= 84), Herrera (Ecología, h= 35), Sánchez Madrid (Inmunología, h= 35), Nualart (Matemáticas, h= 15), Sanz Serna (Matemáticas, h= 21), Vázquez (Matemáticas, h= 22), Zuazua (Matemáticas, h= 19), Barbacid (Biología molecular, h= 79), Palacios (Neurociencia, h= 72), Aguilar Benítez (Física, h= LA PRODUCTIVIDAD CIENTÍFICA Y EL ÍNDICE H DE HIRSCH DE LA PSICOLOGÍA SOCIAL ESPAÑOLA: CONVERGENCIA ENTRE INDICADORES DE PRODUCTIVIDAD Y COMPARACIÓN CON OTRAS ÁREAS 181 38) y Duarte (Ciencias de las Plantas y Animales, h= 38). Según Imperial y Navarro (2006), los trabajos en las ciencias aplicadas re- ciben menos citas que los trabajos en las ciencias más básicas y, en consecuencia, los científicos en las disciplinas aplicadas tienen va- lores h menores que los de las disciplinas básicas. Esto se debe a la dependencia del Índice h del tamaño de la población, ya que cuan- to mayor es la población más posibilidades de que el Índice h tam- bién sea mayor al existir mayor posibilidad de citas. En opinión de Imperial y Navarro (2006), entre las ventajas del Índice h en la in- vestigación científica española están la posibilidad de rescatar a científicos que han trabajado aislados en las universidades peque- ñas, periféricas o creadas recientemente y corregir la «multiautoría indebida», que sería una práctica habitual de la investigación cien- tífica en España. Este artículo tiene cinco objetivos. En primer lugar, presentar el Índice h de los catedráticos españoles del área de conocimiento de Psicología Social. En segundo lugar, examinar la distribución esta- dística de dicho índice en esta población y comprobar si en la Psi- cología social española la constante de proporcionalidad a se sitúa entre 3 y 5. En tercer lugar, examinar la relación que hay entre el Índice h y otras conocidas medidas utilizadas en España para eva- luar la productividad investigadora y para tomar decisiones de pro- moción académica y financiación de la investigación, tales como los sexenios o las citas acumuladas. Examinaremos si la distribu- ción de las citas se conforma a la asimetría y concentración de au- toría en una minoría que se ha planteado en general. También exa- minaremos la relación entre el Índice h y la antigüedad profesional de los profesores y su antigüedad como doctores. Un último obje- tivo será comparar el Índice h de los 10 profesores con una h más elevada de cada una de las áreas de conocimiento en las que está di- vidida administrativamente la Psicología en España. Teniendo en cuenta la definición del Índice h y el resto de variables menciona- das anteriormente, anticipamos las siguientes predicciones: P1: El Índice h debe mostrar una correlación positiva elevada (r>.70) con el número total de citas de las publicaciones de los investigadores. P2: En tanto que el artículo más citado de un investigador puede tener un influencia importante en el número total de citas debe existir un correlación moderada (r>.50) en- tre este indicador de productividad y el Índice h. P3: Dado que para la obtención de sexenios de investigación es requisito general contar con cinco artículos incluidos en el Journal Citation Reports (JCR) por cada uno de los sexenios y que las revistas incluidas reciben como pro- medio más citas que las que no están incluidas, debe exis- tir una correlación positiva elevada (r>.70) entre el núme- ro de sexenios y el Índice h de los investigadores. P4: Puesto que la obtención de una cátedra universitaria está asociada con mejores posibilidades de obtención de fi- nanciación para los proyectos de investigación, significa haber superado un proceso de selección riguroso y pro- yecta más visibilidad e influencia sobre el ocupante de la cátedra, debe esperarse que una mayor antigüedad como catedrático debe correlacionar positivamente de un modo elevado (r>.70) con el Índice h y con el total de citas del investigador. P5: La antigüedad como doctor, que es una estimación bas- tante aproximada del número de años que un profesor po- dríahaber dedicado a la investigación y a las publicacio- nes desde el comienzo de su carrera, debe correlacionar de modo positivo y elevado (r>.70) con el Índice h y con el total de citas recibidas. Método Muestra La muestra estuvo compuesta por todos los profesores catedrá- ticos tanto activos como eméritos del área de Psicología Social de las universidades públicas españolas a fecha de 21 de octubre del 2006, a los que se han añadido cuatro profesores que han sido ha- bilitados para el cuerpo de catedráticos antes del 15 de noviembre del 2006 y que todavía no habían accedido al puesto de catedráti- co. Por tanto, el número total en nuestra muestra es de 58 perso- nas, de las cuales 9 son mujeres y 49 son hombres. Por regiones están distribuidos como sigue: Andalucía 10, Baleares 1, Canarias 4, Castilla-León 2, Cataluña 9, Galicia 5, Madrid 15, Murcia 1, Pa- ís Vasco 7, País Valenciano 5. Basándonos en las recomendaciones de Musi-Lechuga y colaboradores (2005), se hizo un esfuerzo pa- ra que la búsqueda fuera exhaustiva, de tal modo que cada autor fue rastreado en la base de datos ISI Web of Science tanto en su primer apellido como en el segundo, y lo mismo en el caso de aquellos que firman con sus dos apellidos, se hizo la búsqueda tan- to con guión como sin guión. Al igual que habían encontrado Mu- si-Lechuga y colaboradores (2005), nosotros hemos encontrado que un buen número de profesores pueden aparecer registrados con nombres diferentes. Por ejemplo, en Psicología Social es el ca- so del profesor Agustín Echebarría Echabe, parte de cuyas publi- caciones aparecen tanto por Echebarría como por Echabe, o en Psicología Básica es el caso de la profesora Nuria Sebastián Ga- llés, parte de cuyas publicaciones aparecen bajo Sebastián y otras bajo Gallés o del profesor Gutiérrez Calvo.1 Medidas Método de cálculo del Índice h El método de cálculo del Índice h sugerido por Hirsch (2005) y descrito en más detalle por Imperial y Rodríguez-Navarro (2006) consiste en los siguientes pasos: (1) Entrar en ISI Web of Know- ledge y elegir la opción «General Search»; (2) escribir el nombre del autor en la ventana correspondiente; (3) cuando el sistema res- ponda la lista de publicaciones, utilizar la opción de clasificación por orden de citas («Sort by times cited«); y (4) a continuación identificar el último trabajo cuyo número de orden sea superior al del número de citas que tiene asociado. Ese número de orden co- rresponde al Índice h del autor. Este método inicial sugerido por Hirsh tiene dos inconvenientes. El primero es que no considera los libros y los capítulos de libros, al no estar disponibles en el Web of Science cuando se utiliza del modo indicado por Hirsh. Esto es un problema o una limitación importante para las ciencias en las que los libros y capítulos son una forma frecuente e importante de transmitir la información científica, como es el caso de la psicolo- gía y en general de las ciencias sociales y las humanidades. El psi- cólogo experimental Henry Roediger III (2006) ha sugerido una forma alternativa para calcular el Índice h que tiene en cuenta los libros y capítulos de libros. El procedimiento es más laborioso pe- ro es más justo para los autores. De acuerdo a Roediger III, la bús- queda debe hacerse utilizando la sección «Cited Reference JESÚS F. SALGADO Y DARÍO PÁEZ182 Search» del Web of Science. Como ejemplos que apoyan su pro- puesta, Roediger III menciona el caso de Endel Tulving y su pro- pio caso. El Índice h de Tulving asciende desde 64 hasta 70 cuan- do se consideran sus libros y capítulos, y el de Roediger III asciende desde 39 a 43 en el mismo caso. Roediger III menciona que el libro de Tulving, Elements of Episodic Memory había sido citado 1.718 veces y su capítulo, Episodic and Semantic Memory, lo había sido 1.577, pero ambas publicaciones no habían sido re- cogidas por la sección «General Search» del Web of Science. El segundo inconveniente surge de que la base de datos Web of Science apenas recoge la literatura psicológica en español (sólo Psicothema, la Revista Mexicana de Psicología y la Revista Lati- noamericana de Psicología están vaciadas hasta el presente), por lo cual hay un sesgo negativo hacia los artículos publicados en es- pañol. Esta limitación puede paliarse de modo bastante preciso ha- ciendo uso de la base de datos española In-Recs (accesible vía http://ec3.ugr.es/in-recs/Psicologia.htm) como un elemento suple- torio, ya que ambas bases de datos sólo tienen en común el vacia- do de la revista Psicothema. Esto quiere decir que si se usan si- multáneamente y se suman las citas correspondientes se obtiene un estimador muy preciso del Índice h para los psicólogos espa- ñoles. Dado que la revista Psicothema aparece en las dos bases de datos, en el presente caso para calcular el Índice de Hirsh y la su- ma total de citas de un investigador, cada vez que un artículo apa- rece citado en ambas bases de datos, sólo hemos tenido en cuenta el número más alto de citas y hemos obviado el otro. Así pues, el Índice h se ha calculado usando el procedimiento sugerido por Roediger III y añadiéndole los datos registrados en la base de da- tos In-Recs. Por tanto, la h calculada representa el número más al- to de publicaciones de un investigador español de Psicología So- cial en el conjunto de publicaciones citadas en las dos bases de datos que poseen al menos h citas. Las publicaciones pueden ser cualquier trabajo de un autor que ha merecido ser citado en otra publicación científica, siendo mayoritariamente artículos en revis- tas científicas (representan más del 90% de las citas), pero también libros, capítulos, contribuciones en congresos y otras formas de comunicación científica. Las búsquedas de información en las dos bases de datos se realizaron entre el 15 y el 21 de octubre del 2006. Número total de citas y cita máxima El número total de citas es el sumatorio de todas las citas de los trabajos de un investigador en las dos bases de datos mencionadas, con la excepción de aquellos trabajos de la revista Psicothema que aparecen en las dos bases de datos, en cuyo caso hemos optado por el número superior. La cita máxima corresponde al trabajo que ha sido citado el mayor número de veces de entre los mencionados de un autor. Sexenios Esta variable corresponde al número de sexenios de investiga- ción que le han sido reconocidos a un catedrático de Psicología Social hasta la fecha. Para obtener este dato hemos recurrido a fuentes públicas diversas, entre las que se encuentran currícula, búsquedas en Internet, reconstrucción a partir de bases de datos publicadas (por ejemplo, Comunidad de Madrid), y listados del Ministerio de Educación y Ciencia (MEC). En un número de ca- sos se ha pedido a los profesores la información personal que nos han proporcionado. El número de sexenios de investigación de los componentes de la muestra oscila entre 0 y 5, siendo sólo un 7% los que tienen 0 sexenios. Antigüedad como Catedrático de Psicología Social Fue estimada como el número de años que el investigador lle- va desempeñando esta figura académica, a contar desde la fecha de su toma de posesión. Este último dato aparece en los listados que periódicamente publica el MEC para realizar los sorteos de los miembros de los tribunales de habilitación. La antigüedad como catedrático oscila entre 0 y 28 años. Antigüedad como Doctor Es el número de años que han transcurrido desde la obtención del título de Doctor. Para obtener este dato hemos recurrido prin- cipalmente a tres fuentes: el currículo del investigador si estaba disponible, la base de datos TESEO y el catálogo de las bibliote- cas de las universidades públicas españolas. La antigüedad como Doctor oscila entre 17 y 35 años. Resultados El Índice h y la productividad de los catedráticos de Psicología Social El primer objetivo de este trabajo es presentar la h y otros indi- cadores de productividad (como menciones a su trabajo en los tra- bajos de los pares) de cada uno de los catedráticos españoles de Psicología Social, independientementede su condición adminis- trativa (emérito, habilitado o en activo), teniendo en cuenta que su actividad investigadora no ha finalizado y continúan haciendo con- tribuciones científicas. En la tabla 1 aparece el índice de cada uno de los 58 casos que hemos incluido en la muestra. Como puede apreciarse en la tabla, el rango de valores del Índi- ce h oscila entre 1 y 10, con un valor promedio de 3.85, aunque el valor más común es 2. En la tabla figuran también los centiles 25, 50 y 75, cuyos valores respectivos son 2, 3 y 5. La tabla 2 recoge los datos correspondientes al total de menciones (citas) que cada uno de los catedráticos acumula al sumar las citas que figuran en el Web of Science y en la base de datos In-Recs. Puede observar- se que el rango de valores oscila entre 3 y 529, con un valor pro- medio de 75 citas. Los centiles 25, 50 y 75 son 20.50, 46.0 y 86.25, respectivamente. Comparando ambas tablas puede observarse que, globalmente considerados, los profesores que tienen una h más elevada son los que tienen también un mayor número de citas a su trabajo. Usando los datos de las dos tablas puede establecerse, por tanto, que el perfil de un catedrático destacado de Psicología So- cial en España tendrá al menos una h de 5 y más de 86 citas a su trabajo. Con los datos de estas dos citas hemos podido establecer que la constante de proporcionalidad «a» es de 4.37, lo que con- firma la sugerencia de Hirsch de que su valor oscila entre 3 y 5. Por otro lado, se confirma que la distribución de los indicado- res de citas responde a los criterios de concentración asimétrica. La distribución es asimétrica, ya que sólo un tercio en vez de la mitad de los autores están por encima de la media. Diez autores o el 17% son responsables del 50% de las citas, aunque esto indica un grado de concentración ligeramente inferior a lo esperado, ya que el valor según la fórmula exponencial de Price (raíz cuadrada de k) indica que 7,6 autores deberían reunir el 50% del impacto, o que el 13% concentraría el 50% de la media. LA PRODUCTIVIDAD CIENTÍFICA Y EL ÍNDICE H DE HIRSCH DE LA PSICOLOGÍA SOCIAL ESPAÑOLA: CONVERGENCIA ENTRE INDICADORES DE PRODUCTIVIDAD Y COMPARACIÓN CON OTRAS ÁREAS 183 JESÚS F. SALGADO Y DARÍO PÁEZ184 Tabla 1 Índice h de los catedráticos españoles del área de Psicología Social (a 21 de oc- tubre del 2006) Investigador h Apalategi Begiristain, José J. 1 Aragonés Tapia, Juan I. 5 Álvaro Estramiana, José L. 3 Ayestarán Echeberría, Sabino 3 Azurmendi Ayerbe, María José 4 Balaguer Sola, Isabel 6 Barriga Jiménez, Silverio 1 Blanch Ribas, José M. 3 Blanco Abarca, Amalio 4 Casas Aznar, Ferrán 3 Corraliza Rodríguez, José A. 4 Crespo Suárez, Eduardo 2 Díaz Cabrera, Dolores 2 Díaz de Quijano de Arana, Santiago 3 Echebarría Echabe, Agustín 5 Fernández Dols, José M. 7 Fernández Ríos, Manuel 3 Garrido Martín, Eugenio 4 Gil Rodríguez, Francisco 2 Gómez Jacinto, Luis 2 González López, Pilar 2 Hernández, Bernardo 4 Huici Casal, Carmen 5 Ibáñez Gracia, Tomás 4 Iñiguez Rueda, Lupicinio 2 Javaloy Mazón, Federico 2 Jiménez Burillo, Florencio 2 León Rubio, José M. 2 Manassero Mas, M. Antonia 5 Marín Sánchez, Manuel 2 Martínez García, M. Francisco 3 Morales Domínguez, J. Francisco 5 Moya Morales, Miguel C. 5 Munduate Jaca, Lourdes 5 Munné Matamala, Frederic 3 Musitu Ochoa, Gonzalo 4 Ovejero Bernal, Anastasio 3 Páez Rovira, Darío 9 Peiró Silla, José M. 8 Pérez Pérez, Juan A. 9 Pol Urrutia, Enric 5 Quiles del Castillo, M. Nieves 5 Rodríguez Fernández, Andrés 2 Rodríguez González, Ángel 2 Rodríguez Marín, Jesús 5 Rodríguez Pérez, Armando 6 Romay Martínez, José 2 Rebolloso Pacheco, Enrique 3 Ros García, María 6 Sabucedo Cameselle, José M. 4 Salgado Velo, Jesús F. 10 Sangrador García, José L. 2 Serrano Martínez, G. 3 Seoane Rey, Julio 3 Sobral Fernández, Jorge 5 Torregrosa Peris, José R. 3 Valencia Gárate, José 5 Villareal Sáez, Mikel 1 Media= 3.85; Mediana= 3; Moda= 2; Desviación típica= 2.00; Máximo= 10; Mínimo= 1; Perc 25= 2; Perc 50= 3; Perc 75= 5 Nota: Perc.= Percentil. Tabla 2 Citas en las bases de datos ISI Web of Science e IN-RECS de los catedráticos españoles del área de Psicología Social (a 21 de octubre del 2006) Investigador N Apalategi Begiristain, José J. 003 Aragonés Tapia, Juan I. 073 Álvaro Estramiana, José L. 032 Ayestarán Echeberría, Sabino 081 Azurmendi Ayerbe, María José 032 Balaguer Sola, Isabel 160 Barriga Jiménez, Silverio 001 Blanch Ribas, José M. 027 Blanco Abarca, Amalio 076 Casas Aznar, Ferrán 040 Corraliza Rodríguez, José A. 061 Crespo Suárez, Eduardo 016 Díaz Cabrera, Dolores 037 Díaz de Quijano de Arana, Santiago 025 Echebarría Echabe, Agustín 113 Fernández Dols, José M. 172 Fernández Ríos, Manuel 032 Garrido Martín, Eugenio 060 Gil Rodríguez, Francisco 019 Gómez Jacinto, Luis 019 González López, Pilar 007 Hernández, Bernardo 053 Huici Casal, Carmen 060 Ibáñez Gracia, Tomás 085 Iñiguez Rueda, Lupicinio 033 Javaloy Mazón, Federico 009 Jiménez Burillo, Florencio 013 León Rubio, José M. 023 Manassero Mas, M. Antonia 095 Marín Sánchez, Manuel 015 Martínez García, M. Francisco 040 Morales Domínguez, J. Francisco 059 Moya Morales, Miguel C. 107 Munduate Jaca, Lourdes 090 Munné Matamala, Frederic 043 Musitu Ochoa, Gonzalo 076 Ovejero Bernal, Anastasio 050 Páez Rovira, Darío 332 Peiró Silla, José M. 399 Pérez Pérez, Juan A. 229 Pol Urrutia, Enric 079 Quiles del Castillo, M. Nieves 048 Rodríguez Fernández, Andrés 015 Rodríguez González, Ángel 007 Rodríguez Marín, Jesús 112 Rodríguez Pérez, Armando 139 Romay Martínez, José 006 Rebolloso Pacheco, Enrique 021 Ros García, María 113 Sabucedo Cameselle, José M. 066 Salgado Velo, Jesús F. 529 Sangrador García, José L. 015 Serrano Martínez, G. 044 Seoane Rey, Julio 041 Sobral Fernández, Jorge 103 Torregrosa Peris, José R. 029 Valencia Gárate, José 068 Villareal Sáez, Mikel 004 N= Suma citas del Web of Science y del IN-RECS Convergencia entre los indicadores de la productividad y calidad científica En la tabla 3 pueden verse las correlaciones entre los distintos indicadores utilizados en este estudio. De acuerdo a las hipótesis 1 a 5, deberíamos encontrar una buena convergencia entre los dis- tintos indicadores de productividad y calidad científica que hemos utilizado en la presente investigación. La primera hipótesis se refiere a la relación del Índice h con el total de citas de cada investigado, y hemos podido observar que en el presente caso la correlación es positiva como habíamos antici- pado, y lo mismo ocurre con la correlación del Índice h con el nú- mero de citas del artículo más citado, por lo que también se cum- ple la hipótesis 2. En ambos casos la magnitud de la correlación es elevada (.88 y .61, respectivamente). Por lo que respecta a la tercera hipótesis, la correlación entre el Índice h y el número de sexenios es positiva, por lo cual la hipóte- sis se ha cumplido, pero su magnitud es mucho más baja de lo es- perado y sensiblemente más baja que las obtenidas en el caso de los dos indicadores basados en citas (.32 frente a .88 y .61, respectiva- mente). Esto quiere decir que aunque hay una ligera convergencia entre estos dos tipos de indicadores de productividad (h y sexenios), la convergencia es relativamente escasa, lo que sugiere que la natu- raleza de ambos indicadores es notablemente diferente a pesar de que ambos conceptualmente se crean a partir de la misma informa- ción (número de citas en el ISI Web of Science y publicaciones en el JCR del Web of Science), pero el Índice h es un dato objetivo, mientras que los sexenios es un dato resultante de una valoración de pares y, por tanto, de carácter subjetivo, lo que en el caso actual de- be interpretarse como de fiabilidad más baja que el Índice h. Las hipótesis 4 y 5 no se han cumplido al no encontrar correla- ciones significativas entre el Índice h y las medidas de antigüedad como doctor y antigüedad como catedrático. Estas dos medidas muestran una elevada correlación entre ellas (.80), lo que indica que evalúanun elemento común, que a nuestro modo de ver es la experiencia académica y como investigador. Estos dos indicadores de la experiencia tampoco correlacionan de modo significativo con los dos indicadores basados en citas (total de citas y cita máxima). En consecuencia, encontramos que la experiencia como investiga- dor no correlaciona con los indicadores de productividad y calidad de la investigación científica en el área de Psicología Social. Éste es un resultado que ha sido encontrado previamente en diversos es- tudios en los que se examinaba la relación entre la experiencia pro- fesional y el desempeño ocupacional. Por ejemplo, McDaniel, Schmidt y Hunter (1988a y b) encontraron que la experiencia era predictora del desempeño sólo en los tres primeros años y que des- pués se producía un efecto de pérdida de capacidad predictiva has- ta que a partir de 8 años apenas tiene efecto sobre el desempeño laboral. Un resultado sorprendente, por lo contraintuitivo del mismo, es que el número de sexenios de investigación muestra una correla- ción significativa más alta con la antigüedad como catedrático y con la antigüedad como doctor que con los índices de productivi- dad científica como el Índice h. También resulta sorprendente que los sexenios no muestran una correlación significativa con el total de citas o la cita máxima. Desde el punto de su validez conver- gente con otros índices de productividad y calidad científica, el nú- mero de sexenios muestra ser un indicador de valor limitado, por lo que su uso podría estar severamente cuestionado si nuevos es- tudios muestran resultados coincidentes con los encontrados aquí. De hecho, los resultados sugieren que la obtención de sexenios es- taría basada más en la posición desempeñada y en la antigüedad que en la productividad y la calidad científica, al menos como son comúnmente entendidas en la comunidad científica y como es de- finida por la propia ley. Comparación del Índice h entre los investigadores más destacados de cada área de conocimiento Un último objetivo de este trabajo era comparar el Índice h de los investigadores que causan más impacto científico en el área de Psicología Social, considerados en conjunto, con los de las restan- tes áreas de conocimiento en que está dividida administrativamen- te la Psicología en España. A este efecto, se han elegido los 10 in- vestigadores con una h más elevada, como representantes de sus respectivas áreas de conocimiento. En la tabla 4 figuran los inves- tigadores de cada área de conocimiento incluidos en este análisis, junto con su respectivo valor h y su cita más elevada. Puede observarse que en el caso del área de Metodología de las Ciencias del Comportamiento el valor de la h oscila entre 3 y 7, en Personalidad, Evaluación y Tratamientos Psicológicos entre 7 y 12, entre 6 y 15 en Psicología Básica, entre 4 y 6 en Psicología Evolutiva y de la Educación, entre 8 y 23 en Psicobiología, y en- tre 5 y 10 en Psicología Social. Así pues, de los veinte investiga- dores con h más alto de la Psicología española, nueve pertenecen al área de Psicobiología (Navarro, Junqué, Guillamón, Segovia, Puerto, Simón, Ambrosio, Salvador y Morgado), cinco pertenecen a Psicología Básica (Sebastián, Gutiérrez Calvo, Carreiras, Bajo y Fuentes), tres a Personalidad (Echeburúa, Vázquez y Buela), y tres a Psicología Social (Salgado, Páez y Pérez). Es decir, el impacto del área de Psicología Social, desde este punto de vista, sería un tercio del impacto del área de Psicobiología y la mitad del de Psi- cología Básica. Sería parejo al de Psicología de la Personalidad. En la tabla 5 figuran los estadísticos descriptivos de cada una de las áreas en dos medidas: el Índice h y el tamaño de la cita má- xima. Los resultados indican que el área de Psicobiología está muy por encima de las restantes en impacto, seguida por la de Psicolo- gía Básica y Personalidad. La Psicología Social ocupa un discreto cuarto lugar en ambos indicadores, por encima de Psicología Evo- lutiva y Metodología de las Ciencias del Comportamiento. LA PRODUCTIVIDAD CIENTÍFICA Y EL ÍNDICE H DE HIRSCH DE LA PSICOLOGÍA SOCIAL ESPAÑOLA: CONVERGENCIA ENTRE INDICADORES DE PRODUCTIVIDAD Y COMPARACIÓN CON OTRAS ÁREAS 185 Tabla 3 Correlaciones entre Índice h, el total de citas, la cita máxima, el número de sexenios, la antigüedad como doctor y los años como catedrático entre los profesores de Psicología Social h CT CM SX AC AD h – CT .88** – CM .61** .79** – SX .32* .23 .03 – AC -.10 -.05 -.17 .46** – AD -.18 -.10 -.16 .44** .80** – M= 3.85 74.88 15.88 2.83 10.47 24.34 SD= 2.00 95.18 25.60 1.26 8.31 4.48 Nota: **= p<.0001; *= p<.05; h= Índice de Hirsch; CT=número total de citas en Web of Science + IN-RECS; CM= número de citas del artículo más citado; SX= número de se- xenios; AC= antigüedad como catedrático; AD= antigüedad como doctor. N= 58 Discusión y conclusiones Señala Ball (2005) que los procedimientos de elección de las academias científicas son vistos a menudo como opacos, endogá- micos y caprichosos, y que el método de Hirsch podría servir para informar la toma de decisiones de financiación o de promoción aca- démica de un modo transparente, insesgado y difícil de falsear, por- que descansa sobre el conjunto de trabajo realizado a lo largo de muchos años. En este sentido, Ball recoge las palabras del físico Redner, miembro de la American Physical Society, quien afirma que el índice de Hirsch es difícil de falsear porque es muy difícil manipular una carrera entera. Ball también señala que uno de los principales atractivos del Indice h es que puede rescatar de la oscu- ridad a investigadores que han hecho contribuciones significativas de un modo sostenido pero que no han logrado la reputación que merecen. Sin embargo, no todas las comunidades científicas pue- den estar dispuestas a utilizar índices métricos, como señala Ball recogiendo las palabras de Ed Hughes, director de la agencia britá- nica que evalúa la calidad de los departamentos universitarios con vistas a determinar su financiación. De acuerdo a Hughes, el 96% de los investigadores consultados después de la evaluación del año 2001 estaban a favor de usar la revisión de pares. En este trabajo hemos tratado de examinar la potencia del índi- ce h como un indicador de la calidad de la producción científica de los catedráticos de Psicología Social de las universidades públicas españolas. Los resultados indican que el Índice h es un indicador robusto de la calidad de la investigación ya que no está sesgado por el número de trabajos publicados ni por uno o unos pocos trabajos ampliamente citados. También, a la vista del bajo tamaño del Índi- ce h en la mayoría de los casos en las áreas de conocimiento de Psicología Social, Metodología, Personalidad y Básica, puede concluirse que el efecto de las autocitas sobre el Índice h es más bien escaso y que, por tanto, salvo en casos excepcionales de au- tocitación, el Índice h es generalmente robusto a esta posible fuen- JESÚS F. SALGADO Y DARÍO PÁEZ186 Tabla 4 Los diez catedráticos con Índice h más alto de cinco áreas académicas (a 21 de octubre del 2006) Investigador h Cita máxima Metodología de las Ciencias del Comportamiento Botella Ausina, J. 7 13 Sánchez Meca, J. 6 21 Arnau Gras, J. 5 58 Muñiz Fernández, J. 5 14 Ponsoda, V. 5 12 Algarabel González, S. 4 24 Vallejo Seco, G. 4 10 Arce Fernández, C. 4 09 Anguera Arguilaga, M.T. 4 06 Gómez Benito, J. 3 09 Personalidad, Evaluación y Tratamientos Psicológicos Echeburúa, E. 12 024 Vázquez, C. 10 159 Buela Casal, G. 10 060 Sandín, B. 09 025 Luengo Martín, M.A. 08 039 Avia Aranda, M.D. 07 132 Botella Arbona, C. 07 049 Vila Castellar, J. 07 021 Belloch Fuster, A. 07 014 Becoña Iglesias, E. 07 014 Psicología Básica Sebastián Gallés, N. 15 124 Gutiérrez Calvo, M. 12 196 Carreiras Valiña, M. 12 056 Bajo Molina, M.T. 10 059 Fuentes Melero, L. 09 042 Cuetos Vega, F. 08 085 Tudela Garmendia, P. 07 105 De Vega Rodríguez. 07 055 Valle-Inclán Alsina, F. 07 047 García-Albea, J.E. 06 042 Psicología Evolutiva y de laEducación Jiménez González, J.E. 6 15 Ortega Ruiz, R. 6 15 González Cabanach, R. 6 14 Pérez Pereira, M. 5 21 Palacios, J. 5 18 Rodrigo López, M.J. 5 10 Núñez Pérez, J.C. 5 10 Coll Salvador, C. 5 07 Miranda Casas, A.M. 4 07 García Madruga, J.A. 4 07 Psicobiología Navarro García, M. 23 226 Junque Plaja, C. 20 142 Guillamón Fernández, A. 20 132 Segovia, S. 20 132 Puerto Salgado, A. 15 232 Simón, V.M. 13 052 Ambrosio, E. 12 045 Salvador Fernández, A. 11 037 Morgado Bernal, I. 09 029 Sánchez Turet, M. 08 028 Psicología Social Salgado Velo, J.F. 10 187 Páez Rovira, D. 09 028 Pérez Pérez, J.A. 09 021 Peiró Silla, J.M. 08 035 Fernández Dols, J.M. 07 036 Rodríguez Pérez, A. 06 042 Ros García, M. 06 018 Balaguer Sola, I. 06 014 Echebarría Echabe, A. 05 013 Rodríguez Marín, J. 05 012 Tabla 5 Estadísticos descriptivos del Índice h y de las citas máximas de los diez catedráticos con valores h más altos de las cinco áreas de conocimiento (a 21 de octubre del 2006) Área de conocimiento M Md SD Mín. Máx. ∑ Índice h Metodología 04.7 04.5 1.16 3 07 047 Personalidad 08.3 07.5 1.57 7 12 084 Básica 09.1 08.0 3.07 6 15 091 Evolutiva 05.1 05.0 0.74 4 06 051 Psicobiología 15.1 14.0 5.30 8 23 151 Social 07.1 06.5 1.79 5 10 071 Citas máximas Metodología 017.6 12.5 15.24 06 058 0176 Personalidad 053.7 32.0 51.02 14 159 0501 Básica 078.3 55.5 51.19 31 196 0783 Evolutiva 012.4 12.0 04.95 07 021 0124 Psicobiología 106.9 95.5 79.69 28 232 1069 Social 040.6 24.5 52.52 12 187 0406 M= Media; Md= Mediana; Mín.= Mínimo; Máx.= Máximo; SD= Desviación típica; ∑= Sumatorio te de contaminación. De acuerdo a Alcaín y Román (2005a, véase también Alcaín y Román, 2005b, y Carreter, De los Santos y Bue- la, 2005) el porcentaje de autocitas en las revistas en general y en las españolas en particular no supera el 30%. Jesús Sanz (comuni- cación personal) ha recogido datos sobre el nivel de autocitas en el área de Personalidad, Evaluación y Tratamientos Psicológicos y nosotros hemos hecho un análisis sobre datos parciales de siete ca- tedráticos del área incluidos en nuestra muestra que indican que el porcentaje de autocitas también es similar al 30% antes descrito. Concretamente es del 33.64% en el caso de las citas provenientes de INRECS y del 27.14% en el ISI, siendo para el total de ambas bases de datos un 30.33%. También se constata en tales datos que el 72% de las citas totales provienen del ISI con un rango entre el 54 y el 98%. Aunque parciales, estos datos sugieren que la autoci- ta individual es ligeramente más frecuente en publicaciones en castellano, que éstas tienen menos peso en el tamaño del índice h alcanzado y que son las publicaciones en ISI las que tienen im- portancia para evaluar la producción citada (y determinar el índi- ce h). Desde el punto de vista de su validez convergente, los re- sultados indicaron que el índice examina la calidad y la productividad tanto en términos de datos objetivos (por ejemplo, total de citas, cita máxima) como en términos de la evaluación de pares (por ejemplo, sexenios) y no se deja contaminar por el mero paso del tiempo (por ejemplo, antigüedad o experiencia). La me- dia de Índice h de los diez catedráticos españoles de Psicología So- cial que reúnen el 50% del total de citas es de 7.1, frente a 3.2 de los otros 48. Desde el punto de vista de la magnitud del Índice h de los ca- tedráticos de Psicología Social, se confirma la sugerencia de Hirsch y otros de que las diversas disciplinas podrían tener distri- buciones de Índice h diferentes y que las de un dominio científico no pueden ser utilizadas para evaluar otro dominio diferente. Tam- bién se aprecia que, globalmente considerado, el Índice h de los catedráticos de la Psicología Social española es más bien pequeño y que queda mucho camino que recorrer para parecerse al tamaño del índice en otros países. Aunque todavía no hay datos conclu- yentes, a modo de ejemplo puede decirse que Roediger III encon- tró que la media del Índice h de los catedráticos de su propio de- partamento era de 28 (30 si se incluía a Tulving). Es fácil suponer que el promedio puede estar por encima de 30 en departamentos de primer nivel internacional (por ejemplo, el índice Hirsch de nuestro colega James Pennebaker es de 35) y que las figuras más destacadas estarán por encima de 60, como el caso de Bandura, que tiene una de 64. Hirsch propone un Índice h de 20 después de veinte años de carrera como un indicador de buen rendimiento científico en el caso de las ciencias físicas. Recordemos que la me- dia de antigüedad de doctorado es alrededor de 23 años en el caso del área de Psicología Social en España. Por tanto, una media de 3.85 para el conjunto de catedráticos o de 7 para los mejores sólo puede calificarse de baja, por lo que sugerimos que se realicen los esfuerzos necesarios para contribuir al avance de la disciplina, des- de el punto de vista de su impacto científico en el campo. Sólo un esfuerzo combinado de reclutamiento de personas motivadas y con normas de alta productividad y de mayor asignación de recursos e incentivos permitiría mejorar el impacto, ya que las revisiones rea- lizadas muestran una tendencia a la estabilización después de un período de desarrollo en la ciencia española en general (Fundación Conocimiento y Desarrollo, 2005), así como en el ámbito de la Psicología (Musi-Lechuga et al., 2005). Además debe tenerse en cuenta que la relación entre antigüedad como catedrático y doctor con los indicadores de producción, si bien no significativa, era ne- gativa, sugiriendo que la antigüedad de la carrera obstaculiza más que facilita la productividad. Como señalan Imperial y Navarro Rodríguez (2005), la producción científica en los 60-70 era baja en España y esto probablemente se refleja en la relación negativa en- tre antigüedad y producción. A pesar de su limitada magnitud, los datos reflejados en las ta- blas podrían ser utilizados como un indicador de referencia en la toma de decisiones que implique a estos profesores o a otros con los que puedan compararse. Tal es el caso de los procesos de pro- moción profesional mediante sistemas de habilitación, concursos y oposiciones, el caso de la evaluación de proyectos de investiga- ción para la concesión de financiación, donde es preciso evaluar no sólo el contenido del proyecto, sino también la trayectoria cien- tífica del investigador principal y la del equipo de investigación. En este último caso, los pares que evalúan el proyecto podrían uti- lizar como referencia estos datos. Igualmente podría utilizarse el índice de Hirsch y los datos de este trabajo en el caso de la conce- sión de becas (por ejemplo, posdoctorales, Ramón y Cajal, Juan de La Cierva, etc.). Debe tenerse también presente que el índice de Hirsch tiene la característica de ser ampliable (nunca reducible), por lo que exis- te una gran probabilidad de que los valores h aumenten en los pró- ximos años al incrementarse las contribuciones científicas de la mayoría de los investigadores actuales activos. Por lo cual, sugeri- mos que periódicamente (por ejemplo, cada 2 o 3 años) se exami- ne la distribución del Índice h entre los investigadores, con inde- pendencia de que cada individuo concreto examine el suyo con la periodicidad que estime oportuna y la pueda comunicar, por ejem- plo, en las solicitudes de financiación de proyectos, doctorados de calidad, becas o cualquier otro caso en el que este índice pudiera contribuir a la evaluación. Los resultados de este estudio son también una llamada de atención hacia el uso del sistema de sexenios de investigación co- mo instrumento para la toma de decisiones académico-científicas, en tanto que no parece reflejar la calidad y la productividad de los investigadores de la Psicología Social, sino más bien su antigüe- dad. De confirmarse en el futuro este dato con nuevas muestras, el sistema de sexenios debería ser sustituido por un sistema menos sensible a su sesgo y más independiente de los evaluadores, como podría ser el Índice h. Como señala Hirsch, un número únicosólo puede dar una apro- ximación al perfil multifacético de un investigador y debe consi- derarse en combinación con otros factores al evaluar a dicho cien- tífico. Este hecho, junto con las reglas de decisión cambiantes, deberían ser tenidos en cuenta a la hora de aplicarlo en contextos de toma de decisiones académicas (por ejemplo, promociones, oposiciones) o de financiación de la investigación (por ejemplo, becas, proyectos). También debe considerarse que los científicos que no trabajan en las áreas principales de las disciplinas normal- mente reciben un menor número de citas, lo que puede reducir su Índice h, lo que a su vez sugiere que puede haber un importante sesgo en las distribuciones de citas, incluso dentro de un determi- nado subcampo, lo que podría llevar a que un investigador con unas pocas pero ampliamente citadas contribuciones pudiera tener una menor h. También debería considerarse que un autor que con- sigue una elevada h mediante trabajos con un número elevado de autores ha sido tratado muy «amablemente» en su Índice h. Así en casos de amplias diferencias en el número de coautores puede ser útil comparar diferentes individuos para normalizar el Índice h por LA PRODUCTIVIDAD CIENTÍFICA Y EL ÍNDICE H DE HIRSCH DE LA PSICOLOGÍA SOCIAL ESPAÑOLA: CONVERGENCIA ENTRE INDICADORES DE PRODUCTIVIDAD Y COMPARACIÓN CON OTRAS ÁREAS 187 un factor que refleje el número promedio de coautores. En cual- quier caso, como señalan Egghe y van Raan (2006), el estudio teó- rico y las aplicaciones prácticas del Índice de Hirsch ocuparán a los científicos de la información los años venideros. En resumen, con este trabajo hemos querido difundir entre la comunidad española del área de Psicología Social un instrumento útil para clasificar la productividad y la calidad de la investigación científica del área, que ha mostrado unas sólidas propiedades mé- tricas (fiabilidad y validez convergente, robustez a los sesgos), así como una indicación de la situación en que se encuentra dicha in- vestigación estimada en términos del Índice h en comparación con la situación de la investigación en las restantes áreas de la Psico- logía en España. Agradecimientos La investigación incluida en este trabajo ha sido financiada par- cialmente por el Ministerio de Educación y Ciencia con cargo al proyecto de investigación SEB1098-2005. Los autores expresan su agradecimiento a Nuria Sebastián, Carmelo Vázquez, Jesús Sanz y José Luis González por sus sugerencias y comentarios en una an- terior versión del artículo. Nota 1 Agradecemos a un revisor anónimo que nos haya informado que algún autor puede publicar sus trabajos con apellidos diferentes a los que apa- recen en la base de datos del Ministerio de Educación y Ciencia. Tal es el caso del catedrático de Psicología Evolutiva y de la Educación, Julio Antonio González García, que firma como Julio González Pienda. Da- do que los datos ya habían sido recogidos y analizados meses antes de conocer este hecho, Julio González no fue incluido en la base de datos como Julio González Pienda. De haber sido incluido hubiera obtenido, en aquellas fechas, un índice h= 5. No obstante, este hecho no tiene nin- gún efecto sobre los resultados incluidos en las tablas de correlaciones y en los estadísticos descriptivos de las diferentes áreas. JESÚS F. SALGADO Y DARÍO PÁEZ188 Referencias Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2006). Manual de procedimiento para la emisión del informe condu- cente a la mención de calidad a los estudios de doctorado [accesible vía http://aneca.es/modal_eval/ docs/pdc_05_manual.pdf]. Alcain, M.D., y Román, A. (2005a). Hacia una valoración integrada de las revistas españolas de Ciencias Sociales y Humanas: las revistas de Psi- cología. Psicotema, 17, 179-189. Alcain, M.D., y Román, A. (2005b). Respuesta a las consideraciones rea- lizadas por Carretero y colaboradores al trabajo titulado «Hacia una va- loración integrada de las revistas españolas». Psicothema, 17, 676-678. Avital, M., y Collopy, F. (2001). Assesing Research Performance: Impli- cations for selection and motivation. Sprouts: Working Papers on In- formation Environments, Systems and Organizations, 1, 40-61 [accesi- ble vía http://sprouts.case.edu/2001/ 010303.pdf]. Ball, P. (2005). An index for fair ranking of scientists. Nature, 436, p. 900 (18 August). Bar-Ilan, J. (2006). H-index for Price medallists revisited. ISSI Newsletter, 2(1), 3-5. Batista, P.D., Campiteli, M.G., Konuchi, O., y Martínez, A.S. (2005). Uni- versal behavior of a research productivity index [accessible vía http://arxiv.org/pdf/physics/ 0510142]. Batista, P.D., Campiteli, M.G., Konuchi, O., y Martínez, A.S. (2006). Is po- sible to compare researchers with different scientific interests? ArXiv:phy- sics /0509048 [accessible vía http://arxiv.org/abs/physics/0509048]. Bornmann, L., y Daniel, H.D. (2005). Does the h-index for ranking scien- tists really work? Scientometrics, 63, 391-392. Braun, T., Glänzel, W., y Schubert, A. (2005). A Hirsch-type index fort jour- nals. The Scientist, 19, 22 [accesible vía http://steunpuntoos.be/WG_Pa- pers/Scientist_19_22 8.pdf]. Carretero-Dios, H., de los Santos-Roig, M., y Buela-Casal, G. (2005). Eva- luación de la calidad de las revistas científicas de Psicología publicadas en España: consideraciones al trabajo de Alcaín y Román. Psicothema, 17, 669-675. Cronin, B., y Meho, L. (2006). Using the h-index to rank influential infor- mation scientists: Brief communication. Journal of the American Society for Information Science and Technology, 57(9), 1275-1278 [accesible vía http://slis.indiana.edu/ faculty/meho/cronin.pdf]. Egghe, L. (2006). An improvement of the H-index the G-index. ISSI New- sletter, 2(1), 8-9. Egghe, L. (2006b). Dynamic h-index: the Hirsch index in function of time. Journal of American Society for Information Technology (in press). Egghe, L., y Rousseau, R. (2006). An informetric model for the Hirsch-in- dex. Scientometrics, 69, 121-129. Fundación Conocimiento y Desarrollo (2005). La Universidad en España [accesible vía http://fundacioncyd.org/Publicaciones/InformeCyD.asp]. García, R. (2005). El «factor h», la clasificación de los científicos del siglo XXI. El País, 25 de diciembre del 2005, p. 35. Garfield, E., y Welljams-Doroff, A. (1992). Citation data: Their use as quantitative indicators for science and technology evaluation and poli- cy making. Science & Public Policy, 19, 321-327. Glänzel, W. (2006). On the h-index –a mathematical approach to a new measure of publication activity and citation impact. Scientometric, 67, 315-321. Glänzel, W., y Persson, O. (2005). H-index for Price medalists. ISSI Newletter, 1(4), 15-18. Gordillo, V., González Marqués, J., y Muñiz, J. (2004). La evaluación de proyectos de investigación por la Agencia Nacional de Evaluación y Prospectiva. Psicothema, 16, 343-349. Hirsch. J.E. (2005). An index to quantify and individual’s scientific research out- put. Proceedings of the National Academy of Sciences (PANAS), 102(46), 16569-16572 [accessible vía http://arxiv.org/abs/physics/0508025]. Iglesias, J.E., y Pecharromán, C. (2006). Scaling the h-index for different scientific fields [accesible vía http://arxiv.org/pdf/physics/0607224]. Imperial, J., y Rodríguez-Navarro, A. (2005). La utilidad del índice h de Hirsch para evaluar la investigación en España [accesible vía http://bit.etsia.upm.es/ Imperial_Rodriguez-Navarro.pdf]. ISI (1999). Citations reveal concentrated influences: Some fields have it, but what does it means, Science Watch, January/February, 1-2. Katz, J.S. (1999). Bibliometric Indicators and Social Science. ESRC SPRU, University of Sussex, UK. King, D.A. (2004). The scientific impact of nations. Nature, 430, 311-316. Liang, L. (2006). H-index sequence and h-index matrix: Constructions and applications. Scientometrics, 69, 153-159 [accesible vía http://dx. doi.org/10.1007/ s11192-006-0145-6]. Lehmann, S., Jackson, A.D., y Lautrup, B. (2006). Measures and mismeasuresof scientic quality [accesible vía http://arxiv.org/abs/physics/0512238]. McDaniel, M.A., Schmidt, F.L., y Hunter, J.E. (1988a). A meta-analysis of methods for rating training and experience in personnel selection. Per- sonnel Psychology, 41, 283-314. McDaniel, M.A., Schmidt, F.L., y Hunter, J.E. (1988b). Job experience co- rrelates of job performance. Journal of Applied Psychology, 73, 327- 330. Musi-Lechuga, B., Olivas-Ávila, J.A., Portillo-Reyes, V., y Villalobos- Galvís, F. (2005). Producción de los profesores funcionarios de Psico- logía en España en artículos de revistas con factor de impacto de la Web of Science. Psicothema, 17, 539-548 Pestaña, A., Gómez, I, Fernández, M.T., Zulueta, M.A., Méndez, A., Koenig, M.E.D., y Bookstein, A. (1995). Scientific evaluation of R&D activities in medium size institutions: A case study on the Spanish CSIC. En M. Koenig y A. Bookstein (eds.): The Proceedings of the Fifth International Conference on the International Society for Scien- tometrics and Informatics, n.º 5, River Forest IL, USA, pp. 425-434. Roediger III, H. (2006). The h index in Science: A new measure of schol- arly contribution. The Academic Observer, 19, 4, April 2006 [accesible vía http://psychologicalscience.org/observer/19/4/academic_observer]. Rousseau, R. (2006). New developments related to the Hirsh index [acce- sible vía http://eprints.rclis.org/archive/00006376/01/Hirsch_new_de- velopments.pdf]. Scimago (2006). El Índice h de Hirsch: aportaciones a un debate [accesible vía http://scimago.es/file.php?file=/1/Documents/Epi1542006b.pdf]. Schoepflin, U. (1990). Problems of representativity in the Social Science Citations Index. In P. Weingart, R. Schringer y M. Winterhager (eds.): Representations of Science and Technology, Bielefeld, Germany: DSWO Press, pp. 177-188. Sidiripoulos, A., Katsaros, D., y Manolopoulos, Y (2006). Generalizad h- index for revealing latent facts in social networks of citations. ACM, 20 August 2006 [accesible vía http://kt.ijs.si/Dunja/LinkKDD2006/Pa- pers/skm.pdf]. Simonton, D.K. (2003). Scientific creativity as constrained stochastic be- havior: The integration of Product, Person and Process Perspective. Psychological Bulletin, 129, 475-494. Van Raan, A.F.J. (2006). Comparison of the h-Index with standards bi- bliometrics indicators and with peers judgments for 147 chemistry research groups [accessible vía http://arxiv.org/ftp/physics/pa- pers/0511/0511206.pdf]. Van Raan, A.F.J. (2005). Fatal attraction: Conceptual and methodological problemas in the ranking of universities by bibliometric methods. Scientometrics, 62, 133-143. LA PRODUCTIVIDAD CIENTÍFICA Y EL ÍNDICE H DE HIRSCH DE LA PSICOLOGÍA SOCIAL ESPAÑOLA: CONVERGENCIA ENTRE INDICADORES DE PRODUCTIVIDAD Y COMPARACIÓN CON OTRAS ÁREAS 189
Compartir