“El huevo de la serpiente” es una metáfora popularizada por la película de ese nombre dirigida por Ingmar Bergman en 1977 y ambientada en el Berlín de los años 20. El científico que realiza experimentos sobre los seres humanos, el Dr. Vergerus dice: “Cualquiera puede ver el futuro, es como un huevo de serpiente. A través de la fina membrana se puede distinguir un reptil ya formado”. La película describe el proceso que condujo a la destrucción de la democracia alemana y su paulatina sustitución por un régimen totalitario a partir de 1920. Se refiere a que cuando está en la etapa de gestación, la serpiente puede ser vista a través de la cáscara transparente del huevo. Y lo que se ve es un bichito insignificante y hasta simpático, que puede incluso inspirar compasión. Por eso, nadie se atreve a destruirlo impidiendo su nacimiento. Pero cuando sale del huevo y comienza a actuar, el proceso no para hasta que la destrucción es total. Y cuando por fin alguien quiere hacer algo al respecto, es demasiado tarde.

Al desarrollar detalladamente la historia de la construcción del Institute for Scientific Information (ISI) y de su creación distintiva, el Science Citation Index (SCI), hemos dejado claro que las raíces de este índice de citas están fuera del mundo de la ciencia, no sólo nacieron fuera de la comunidad científica sino que fueron desarrollados por una persona ajena al sistema y de ahí la resistencia inicial a adoptarlo. Desde la década de 1960 y en relativamente escasos años, la indización de la literatura académica ha evolucionado desde un simple sistema de recuperación de la información (encontrar información publicada relevante) y difusión selectiva de la información a una herramienta para evaluar a la investigación y a los investigadores.

En Eugene Garfield, su creador, difusor y defensor acérrimo a lo largo de décadas (además de su beneficiario económico principal en el período fundacional) se conjugaron la percepción de la necesidad acuciante de organización de la información científica a partir de las demandas latentes con el forzamiento de las posibilidades de la época en materia de capacidad de procesamiento. Frente a la existencia de decenas de miles de revistas científicas a nivel mundial, publicadas en diversos idiomas, se imponía una operación quirúrgica audaz. En primer lugar, definir arbitrariamente a las revistas de “elite” ligadas a las instituciones con editoriales poderosas o asociadas con las principales editoriales privadas de difusión comercial. En segundo lugar, como hemos visto, marcar como atributo casi excluyente a las publicaciones en inglés como las pertenecientes al universo que vale la pena incluir en el análisis, y por lo tanto en el Science Citation Index.

En numerosas oportunidades, Garfield reconoció que su propósito no era establecer una medida de la calidad de la ciencia sino un sistema de conteo de la utilización efectiva de la información científica. Todavía en 1998 Garfield reconocía que: “La nueva generación de científicos, e incluso los cientometristas, necesitan que se les recuerde periódicamente que el Science Citation Index (SCI) no fue originalmente creado para realizar estudios cuantitativos, calcular el factor de impacto ni para facilitar el estudio de la historia de la ciencia”.

Sin embargo, Garfield fue extraordinariamente hábil al involucrar simultáneamente a la tradición que reclamaba la organización de la información científica encarnada por John D. Bernal, con quien estableció cordiales relaciones, con una tardía relación personal con Merton reivindicando sus aportes sobre la importancia de la meritocracia de los científicos basada en los lugares de reconocimiento de su producción científica, espacio rápidamente cubierto por las revistas incorporadas al ISI, y sobre todo con lo funcional que resultaron las mediciones de SCI para de Solla Price, que le permitieron apoyar en mediciones empíricas mucho más amplias que la de sus propios estudios su tesis sobre la existencia de una correlación significativa entre la solidez cualitativa y la solidez cuantitativa de los artículos científicos. Paul Wauters (1999) ha destacada la ansiedad con que Price le reclamaba a Garfield datos procesados en el nuevo espacio generado para consolidar empíricamente sus avances pioneros en la historia de la ciencia.

Garfield no los involucró simplemente en el plano conceptual. Los integró en las actividades del ISI y, apoyados en su prestigio y en el apoyo de los genetistas encabezados por el premio Nobel Joshua Lederberg, logró el apoyo que hasta allí había sido muy reticente de la National Science Foundation y de las altas esferas de poder del gobierno norteamericano apremiado por el desarrollo de demandas de racionalización burocrática asociadas con el aparato organizativo necesario para la gestión de la inversión pública en investigación y desarrollo, dada la competencia con la Unión Soviética por la repercusión de sus avances en la carrera espacial.

A partir entonces de un esfuerzo inicialmente centrado en una organización de la información científica, al acoplarse la comunidad científica asociada a las elites a través de las revistas y al gran negocio de la evaluación, los avances empíricos discrecionales y condicionados por las limitaciones de presupuesto y de desarrollo de la informática, van evolucionando en la construcción de una teoría. Garfield tenía muy claro en este plano los planteos de Bradford porque era bibliotecario y les eran útiles para definir la selección forzada por escasez de recursos y limitaciones de la computación. Lo va transformando en teoría y así se explica la primitivez del sistema de construcción de estos sistemas de evaluación científica.

Se puede hacer una analogía con los avances científicos de los siglos XVIII y hasta casi finales del XIX. Los mismos no fueron la aplicación del conocimiento científico disponible sino que primero se desarrollaron las invenciones pragmáticas de ciertos individuos que luego fueron la base material del desarrollo del conocimiento científico. El ejemplo típico es el descubrimiento del vapor, cuyo funcionamiento en el plano teórico solo fue comprendido años más tarde, cuando ya funcionaban las bombas a vapor. Aquí es lo mismo. Primero se construyó un sistema parcial, limitado y deformado, y luego la comunidad científica lo sacralizó. Sistema que surgió no de una teoría sino de la praxis del sistema shepard de citación. La Cientometría le fue agregando sofisticados desarrollos de indicadores y de información analítica, pero siempre ocultando el pecado original, el “huevo de la serpiente”. Nadie pudo plantear una alternativa al sistema de citación, objeto de representación de segundo orden, según Wouters, usado como de primer orden. Dudas sobre la identificación de lo cuantitativo como sinónimo de cualitativo fueron planteadas por diversos autores (los hermanos Stephen y Jonathan Cole, por ejemplo) en forma dubitativa, sin poder enfrentarse a la maquinaria en marcha.^[1] Quienes criticaron al SCI quedaron inicialmente marginados. Pero la incoherencia estructural de su metodología sigue presente, de ahí las reacciones actuales contra la utilización del “factor de impacto” de las revistas científicas en los procesos de evaluación, de las rebeliones contra el elevado costo de la producción científica publicada por monopolios privados y de la deformación de los procesos de evaluación asociados.

Las críticas al sistema de medición de la calidad a partir de la utilización del “factor de impacto” del ISI fueron de dos órdenes. Las metodológicas en base a cuestionar las bases de la cultura de la citación, es decir del uso de la acumulación cuantitativa de las citas como sinónimo de calidad, y las centradas en mostrar las limitaciones técnicas contenidas en el uso del indicador como tal.

En 1999 es sin dudas Paul Wouters quien elabora la más significativa crítica a la cultura de la citación, que según el autor ha cambiado, sin saberlo, y sutilmente los conceptos básicos de la ciencia moderna, como la calidad científica y su influencia, con fuertes consecuencias sobre los científicos y la política científica, a pesar de la falta de éxitos de la Cienciometría que se apoyó en su desarrollo en el sistema de la citación. Lo primero que destaca es la extrema heterogeneidad de los procesos de utilización de citas entre las distintas disciplinas, contraponiendo a un matemático que no cita muchas publicaciones con los que hacen investigación biomédica que pueden citar cientos de artículos. Las culturas varían profundamente, no solo entre las especialidades, sino también entre las revistas que históricamente han existido.

Para la cultura de la citación, la frecuencia de las citas parece una buena forma de medir objetivamente la utilidad científica, la calidad o el impacto de la publicación. Pero Wouters destaca que la cita, como se usa en el análisis bibliométrico y en los indicadores de ciencia y tecnología, no es idéntica a la referencia producida en el escritorio de un científico. La cita, entonces, es producto del indexador de citación, no del científico. Por ello desde la creación del ISI para hacer viable el nacimiento del índice de citas y su utilización por los investigadores, fue necesario un proceso de traducción cuyo resultado es la nueva forma en que el SCI representa a la ciencia. El análisis de citas y la Cientometría se basan en la literatura científica y están un paso por detrás de la práctica de investigación que les da origen. Pueden ser vistos como representaciones de “segundo orden” de lo que sucede en los laboratorios o en el escritorio de los científicos.

La cita es un nuevo signo diferente a la referencia en que se basa. Los indicadores cientométricos están arraigados en la literatura, capturan diversas relaciones entre las publicaciones, pero, y este es un punto crucial, ignoran su contenido. La representación de la literatura científica por la Cientometría se basa en sus propiedades formales que desconocen expresamente las dimensiones cognitivas implicadas.

Además de la distorsión del proceso de selección de las “revistas centrales” que contendrían las mejores y más significativas contribuciones de un determinado campo del conocimiento asociadas a la de “ciencia central”^[2] el ISI introduce un elemento de medición: “el factor de impacto”.

Introducido inicialmente como una medida estadística destinada a facilitar la labor de los bibliotecarios para garantizar la compra de material para las bibliotecas de las publicaciones más citadas, la comunidad científica distorsionó su utilización al contar con una medida comparativa que al evaluar supuestamente a las revistas más utilizadas como sinónimo de las mejores o de más calidad, trasladó este criterio a la evaluación de los investigadores en relación a donde publicaban. En la misma dirección se deformaron los criterios de evaluación de proyectos de investigación, de asignación de recursos para los mismos y todo aquello que permitía contar con medidas “objetivas” de medición de la calidad y evitaban la siempre tediosa y compleja evaluación de las personas y los productos considerados.

La utilización del “factor de impacto” ha recibido innumerables críticas de la comunidad científica, particularmente porque la distorsión de las revistas utilizadas por el ISI beneficia abiertamente a las revistas hegemonizadas por las comunidades académicas de los países más desarrollados, particularmente los que tienen el inglés como lengua nativa.

Antes de desarrollar en detalle estas críticas que tiene que ver con las limitaciones técnicas, subrayemos que la deformación introducida en la evaluación por las “revistas centrales” se agrava notablemente para el caso de las Ciencias Sociales y las Humanidades. La principal distorsión es el reduccionismo de evaluar la calidad académica a través de las revistas científicas. En estos campos disciplinares el soporte más utilizado es el libro, ya sea como producto de una obra relevante individual o como la recopilación alrededor de una temática de artículos en libros generalmente editados por un alto referente de la respectiva especialidad. Más allá del prestigio de determinadas editoriales, de la presencia de directores de colección o de comités editoriales, la edición de libros no permite una comparación sistematizada directa de la calidad a través de indicadores abstractos como los utilizados en la citación de revistas que suponen a través del factor de impacto la existencia de una ciencia global unificada y comparable. Si algo se refuerza en el campo de las Ciencias Sociales es la diversidad no solo temática sino del estudio de diferentes fenómenos locales con historias y ámbitos geográficos específicos que son parte constitutiva de su contenido esencial y por lo tanto que definen en su forma de expresarlo la calidad de la investigación realizada.

Una crítica integral a los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana fue realizada desde la Organización Panamericana de la Salud por el destacado especialista en estos temas, Ernesto Spinak, señalando que los datos bibliométricos no proveen una garantía intelectual suficiente en cuanto a su significado e importancia, debido a las limitaciones de las bases de datos usadas y sus procedimientos. Los procesos de investigación de una sociedad, objeto de medición en la Cienciometría, no son enteramente “objetivos y neutros”, como una ley física natural, sino que forman parte de las estructuras sociales y están inmersos en éstas, por lo que varían de unas sociedades a otras. La supuesta objetividad de estas mediciones descansa en consideraciones implícitas que no son necesariamente ciertas en todos los casos. Los sociólogos han señalado esta limitación cognoscitiva del análisis de citaciones, así como el carácter no normativo de la empresa científica en los países en desarrollo (Spinak, 1996: 140).

En la misma publicación Garfield polemizó con esta publicación pero en su estilo tradicional, es decir no abordando las cuestiones metodológicas de fondo, sino, como lo había hecho con las críticas de los académicos franceses, reafirmando que los “mejores científicos latinoamericanos publican sus mejores trabajos en revistas internacionales. También pueden publicar en revistas nacionales por diversas razones legítimas pero para conseguir el reconocimiento internacional que buscan, cada vez publicarán más en revistas internacionales o regionales”. Y desechando las críticas agrega en forma descalificatoria para su interlocutor: “No obstante sus comentarios hallarán resonancia en muchos que en el Tercer Mundo creen que hay una conspiración de los servicios bibliométricos o de indización, destinada a negar a los países pequeños el reconocimiento debido. Es significativo que quienes hacen estas afirmaciones no suelen ser científicos que produzcan investigaciones significativas en el ámbito internacional”. (Spinak, 1996: 146).

Hay una afirmación en la respuesta de Garfield que merece un comentario especial: “Ernesto Spinak ha aprovechado la publicación de mi artículo en el Boletín de la Oficina Sanitaria Panamericana (vol. 118, nº 5, págs. 448-456, 1995) para lanzar una polémica filosófica sobre la validez de los indicadores cuantitativos en el Tercer Mundo y, en concreto, para cuestionar la relevancia del Science Citation para tales propósitos. De esta manera, vuelve a traer a colación las ya viejas impugnaciones referentes a inconvenientes y defectos reales e imaginarios del análisis de citación. Sin embargo, nunca señala específicamente cuál es el error concreto en los datos” (resaltado nuestro). Esto coincide con toda la producción intelectual de Garfield que dejó a Merton, Price, Zuckerman y otros académicos de la corriente funcionalista de la Sociología americana la defensa del sistema de citaciones en términos teóricos como sinónimo de calidad académica, y por ende de prestigio y reconocimiento social. Garfield siempre fue un pragmático que avanzó en los objetivos de organización de un tipo parcial de información, en búsqueda de expresos objetivos comerciales privados y en la medida en que encontró el respaldo acrítico de gran parte de la comunidad académica internacional pudo hacerlo. De ahí que frente a una crítica importante e integral que cuestionaba los fundamentos mismos del sistema de citación así organizado se refugió en la empiria limitada de los indicadores construidos y en su utilización efectiva como suficiente argumento. Aplicó con perseverancia y soberbia el poder enorme que le daba el manejo de la única base de datos originalmente conformada, y el gran respaldo de las empresas comerciales vinculadas a las revistas y de las elites académicas que se sentían cómodas dentro del sistema diseñado.

El cubrimiento de revistas en las bases de datos del Institute for Scientific Information es muy bajo. En el año 2002 la décima edición del Directorio de Revistas publicado en ese año por Ebsco, registra 175.000 revistas científicas publicadas por 250 países con información sobre 86.000 editores científicos y comerciales. Según el Ulrich International Periodicals Directory en ese año se identificaban más de 200.000 revistas científicas en el mundo contenidas en 2.569 categorías temáticas. (Patalano, 2005: 222).

En las 8.655 revistas registradas por el ISI en el año 2002 (algo más del 4% del total mundial), 62 pertenecen a América Latina y el Caribe (0.71%) 49 a España y 2 a Portugal, representando Iberoamérica un total del 1.3% del universo de la literatura científica así registrada. (Biojone, 2002). Ya en el año 2002, el registro de revistas Latindex de la Biblioteca Central de la Universidad Autónoma de México en el Indice de Revistas Académicas de América Latina, el Caribe, España y Portugal registraba más de 11.000 títulos, de los cuales 1.062 cumplían con todos los requisitos de alta calidad académica, contemplando tanto los aspectos formales de edición, continuidad, presentación, etcétera como los aspectos relativos a los comités editoriales, arbitraje, autores y contenidos. En el año 2014 el registro total de revistas es de 25.062, lo que supone por lo menos un par de miles de revistas de alta calidad. Muy pocas de ellas son relevadas por los registros del ISI.

Las escasísimas revistas de Sudamérica incluidas contrastan con los 72.186 papers científicos que registra para la región el Research Trends de Elsevier, en el año 2011. El Ranking Iberoamericano (SIR) de Universidades de SCImago con datos de la base Scopus del mismo año nos informa de 204.000 documentos científicos publicados en universidades de España y de 163.000 de Brasil. La magnitud de estas cifras exime de comentarios sobre el contraste de la producción científica y la representatividad de lo recogido por el ISI a través de las revistas seleccionadas. Aparece aquí el tema de que los científicos de Iberoamérica, sobre todo de las Ciencias Naturales, se ven forzados por el sistema a publicar en las revistas legitimadas desde el ISI o de Scopus, lo que refuerza un círculo vicioso que trae como consecuencia el debilitamiento o la imposibilidad del desarrollo de revistas nacionales en las que participen activamente los miembros de estas comunidades científicas. Lo más notable es que al publicar en las revistas monopolizadas por Thompson Reuters o Elsevier, la producción científica financiada por estos países se ve obligada a adquirir a elevados costos la producción generada por sus científicos. Estos temas serán tratados ampliamente en el próximo volumen.

Un ejemplo ilustrativo. Para Argentina, en el año 2007, para las Ciencias Sociales y del Comportamiento el ISI recoge 200 registros^[3] y para las Humanidades, 12. Si tenemos en cuenta que el Ministerio de Ciencia, Tecnología e Innovación Productiva registraba para el año analizado 8.902 investigadores en Ciencias Sociales y 4.593 en Humanidades, ello significa que cada 45 investigadores de Ciencias Sociales se recoge 1 registro y en el caso de las Humanidades se toma otro cada 383 investigadores (Barsky, 2014). En el año 2011 tales proporciones eran 1 registro cada 37.4 investigadores en Ciencias Sociales y del Comportamiento y 1 registro cada 292 investigadores de Artes y Humanidades, igualmente insignificante.

En contraste, por ejemplo en Ciencias Médicas, tal proporción era de 4.4 investigadores por cada registro.

Las publicaciones estadounidenses dominan dichas bases de datos. Por ejemplo, en el Journal Citation Reports del 2003, se incluyeron 2.267 revistas de los Estados Unidos y 1.219 de Gran Bretaña, mientras que las correspondientes a algunos países no anglófonos de incuestionable peso científico como Francia e Italia fueron 147 y 65, respectivamente, y sólo 29 revistas españolas incluidas.

Específicamente, los científicos estadounidenses, quienes presentan una inclinación a citarse entre ellos, dominan estas bases de datos (más de la mitad de las citas) hasta incrementar el índice de citas y el impacto medio de la ciencia norteamericana un 30% por encima del promedio mundial. En el año 2011 había en EE.UU. 511.412 científicos. Durante el 2010 habían publicado en el SCI 1.424.859 artículos científicos y tecnológicos. En Argentina se registraban 8.820 publicaciones de 50.340 investigadores.

Este sesgo se agrava por el uso de un periodo corto de tiempo para el cálculo del indicador, por ejemplo, en las publicaciones norteamericanas en medicina clínica, el 83% de las referencias en el mismo año se realizaron a otros trabajos publicados por norteamericanos (muchos de ellos probablemente autocitas), un valor 25% superior al nivel estable alcanzado después de tres años. Entonces, tanto la aparente calidad de líder de los norteamericanos como los factores de impacto de varias de sus revistas están, en gran parte, determinados por el gran volumen de autocitas y los sesgos de citación nacional que caracterizan a la ciencia de ese país.

Pero aun dejando de lado las relevantes discusiones sobre la validez del sistema de citaciones para medir la calidad de la investigación, y yendo al terreno de la praxis desarrollada por la acción del ISI, se destaca la gran cantidad de críticas a la construcción técnica del factor de impacto como instrumento de evaluación de los autores y las publicaciones científicas.

Además de las limitaciones que hemos marcado en relación al uso del inglés, una razonable sistematización de Cañedo Andalia et al. (2005) nos permite presentar estas críticas.

El factor de impacto de una publicación seriada concilia las diferencias entre los índices de citación de los artículos: la mitad de los artículos más citados se citan 10 veces más a menudo que la mitad de los artículos menos citados. Por ende es un promedio que no hace referencia ni siquiera al impacto de un artículo en particular.

El factor de impacto de una revista depende del campo de investigación al que pertenezca; es probable que revistas que cubren amplias áreas de las investigaciones básicas, con un crecimiento y, por tanto, con un envejecimiento también rápido de la literatura, presenten un alto factor de impacto.

Los índices de citación de los artículos determinan el factor de impacto de las revistas y no a la inversa: se asume, en general, que una publicación con un alto factor de impacto realzará el impacto del artículo. Esto no es cierto. Si una revista con un alto factor de impacto concediera una serie de citas a un artículo, con independencia de su contenido, la diferencia relativa disminuiría como una función del incremento del impacto de la revista. Por tanto, el alto impacto de una revista no concede un alto impacto a sus artículos.

El factor de impacto de una revista no es estadísticamente representativo del índice de citación de sus artículos. El factor de impacto de una revista se correlaciona pobremente con el índice de citación de sus artículos: los autores utilizan múltiples criterios, diferentes al factor de impacto, para enviar sus contribuciones a una revista.

Las citas a los materiales considerados “no citables” por el Science Citation Index, se incluyen erróneamente en el cálculo del factor de impacto: el Science Citation Index comprende sólo artículos normales, notas y revisiones como registros citables en el denominador (de la fórmula utilizada para el cálculo del factor de impacto), sin embargo, las citas (cuyo número se coloca en el numerador), abarcan toda clase de documentos (editoriales, cartas, resúmenes de conferencias, etcétera). Las citas a revistas publicadas en su idioma original y con una versión traducida, dos idiomas por ejemplo, se consideran doblemente. Por ello, una revista que incluya resúmenes de conferencias, editoriales interesantes y una sección activa de correspondencia puede tener un factor de impacto “inflado” con respecto a las que carecen de esta clase de materiales.

Los editores que desean incrementar el factor de impacto de sus revistas con referencia se basan en editoriales previos, porque no existen mecanismos de corrección para el cálculo del factor de impacto que considere las autocitas.

Las autocitas no se tratan correctamente al momento de calcular el factor de impacto: los artículos de revisión reciben grandes cantidades de citas que “inflan” el factor de impacto de las revistas. La extensión de los artículos influye en el factor de impacto de una revista. Los artículos largos atraen muchas más citas que los artículos con extensión promedio o cortos. Las revistas que publican “comunicaciones” breves y presentan una frecuencia de publicación alta –muchos números al año–, generan un gran número de autocitas y, con esto, un factor de impacto mayor en esta clase de revistas. Debido a que los artículos de una revista tienden a citar otros artículos en la misma revista, una frecuencia alta de publicación contribuye positivamente al impacto de la revista y se correlaciona significativamente con ella.

El conjunto de revistas procesadas varía de un año al otro, según se señala expresamente en el material del ISI que hemos reproducido, donde además se explican los criterios con que se dan de baja y se incorporan revistas por decisión del staff del instituto que se apoya esencialmente en requisitos estrictamente formales.

El factor de impacto de una revista es una función del número promedio de referencias por artículo en el campo de investigación donde se desarrolla su actividad. El impacto de citación de un campo de investigación es directamente proporcional al promedio de referencias por artículo, que varía considerablemente de un campo a otro (es el doble más alto en Bioquímica que en Matemática, por ejemplo). Los campos de investigación cuya dinámica genera que la literatura envejezca rápidamente, presentan factores de impacto promedio altos. Los campos de investigación dinámicos y con cortos periodos de publicación como la Bioquímica y la Biología Molecular presentan altas proporciones de citas de las publicaciones recientes –y por tanto altos factores de impacto–, mucho mayores que Ecología y Matemática, por ejemplo. Los hábitos y la dinámica de citación pueden ser muy diferentes de un campo de investigación a otro. Es imposible hacer comparaciones sobre el factor de impacto de revistas entre un campo y otro. Por ejemplo, los artículos sobre Bioquímica y Biología Molecular se citan unas cinco veces más que los que tratan sobre Farmacia.

El factor de impacto depende de la dinámica (expansión-contracción) del campo de investigación. En disciplinas jóvenes y de rápida expansión, el número de publicaciones que se citan es relativamente grande con respecto al total de material citable, ello produce índices de citación altos y por tanto, revistas con un alto factor de impacto.

Los campos de investigación pequeños tienden a carecer de revistas con alto factor de impacto. En un campo de investigación extenso y autocontenido, el índice promedio de citas de la revista o de sus artículos es independiente del tamaño del campo, pero el rango absoluto será más amplio en un gran campo, y ello significa mayor factor de impacto para las revistas punteras. Estas diferencias se vuelven obvias cuando se comparan revistas de revisión, que tienden a ubicarse en la cima del campo. Los científicos líderes en campos pequeños se encuentran en desventaja en comparación con sus colegas en los grandes campos, porque ellos carecen de acceso a revistas con un alto factor de impacto.

Sin embargo, la mayoría de los campos de investigación no son auto-contenidos, el factor con relación al campo de investigación más importante probablemente sea la habilidad de un campo de investigación para hacerse citar por campos vecinos. La relación entre Medicina clínica y básica es un ejemplo: la Medicina clínica descansa pesadamente en las ciencias básicas, esto no sucede a la inversa. El resultado es que la Medicina básica se cita entre 3 y 5 veces más que la Medicina clínica. El resultado de una evaluación basada en el factor de impacto en Medicina depende entonces de la posición de los grupos de investigación o de las instituciones en el eje básico-clínico. Las relaciones entre los campos (por ejemplo, investigación básica y clínica) determinan con fuerza el factor de impacto de la revista.

El uso de un espacio de tiempo extremadamente corto para el cálculo del indicador (citas a los artículos publicados sólo en los dos años anteriores) en el cálculo del factor de impacto introduce un sesgo temporal fuerte. Las revistas con una alta frecuencia de publicación presentarán citas relativamente más actualizadas y ello contribuirá poderosamente a su factor de impacto. Campos con una literatura más duradera, como la Matemática, reciben un número menor de citas en los dos primeros años utilizados para calcular el factor de impacto que otros campos con una gran dinámica.

El factor de impacto, como mecanismo de evaluación no sólo de la calidad, sino también de la utilidad, presenta una falta de universalidad para su aplicación y por ello, su uso debe restringirse a los campos donde su aplicación demuestre un claro valor, como sucede con los campos ricos en investigaciones, amplios, con una expansión geométrica, por ejemplo, las ciencias biológicas y preclínicas.

Existen pocas propuestas, y menos consenso, sobre cómo establecer el límite para diferenciar un factor de impacto alto de uno moderado o de otro bajo. Por demás, este análisis debe realizarse en cada área temática por separado, porque cada campo o disciplina tiene un comportamiento particular en cuanto al impacto.

El uso del factor de impacto como índice para medir la calidad de las publicaciones se fundamenta en la idea de que la frecuencia con que se cita una revista mide exactamente su importancia para la comunidad de especialistas, el área o la disciplina a la que pertenece. Existe una tendencia a hacer equivalentes los conceptos de visibilidad, alto impacto y prestigio y esto no es totalmente cierto. Aunque el factor de impacto se utiliza con menos frecuencia explícitamente para la evaluación académica, su contraparte implícita, el prestigio de la revista, se encuentra ampliamente extendido como criterio de evaluación y es probablemente el indicador más utilizado junto al conteo crudo de publicaciones.

El “prestigio” es una combinación indeterminada de productos de los procesos cognitivos (percepción, pensamiento), afectivos (emociones, sentimientos) y pulsacionales (necesidades, motivos) o de la actividad que surgen cuando los individuos emiten juicios de valor. El juicio humano como resultado intrínseco de la actividad espiritual del individuo, constituye un producto indescifrable de la acción de distintos procesos psicológicos, propios del ser humano en la mayoría de las ocasiones y, por lo tanto, de escaso valor para su empleo como mecanismo de evaluación científica.

Existe una propensión de las publicaciones a obtener un prestigio ante los expertos, que persevera en detrimento de su mérito científico. Las revistas reconocidas tradicionalmente pueden desplazar, según la evaluación de los expertos, a las revistas nuevas en términos de prestigio, aunque en términos profesionales estas publiquen artículos más importantes. Asimismo, el hecho simple de que un informe se publique en una revista prestigiosa, no es garantía de su calidad. Si bien una alta visibilidad es una condición indispensable para las demás propiedades, hay revistas con muy buena visibilidad que no presentan un alto factor de impacto o prestigio; un alto prestigio tampoco es garantía de un buen factor de impacto: la madeja de factores que inducen altos valores de impacto y prestigio y su influencia específica es aún un tema que requiere más estudios.

Uno de los criterios que utilizan los expertos del SCI para la selección de las revistas candidatas a ingresar a su base de datos es que estas hayan recibido un número suficiente de citas, de manera que las revistas no citadas se excluyen de su posible cobertura. Sin embargo, estas revistas poco citadas no necesariamente poseen una baja calidad, sino que simplemente pueden presentar algunas características como idiomas, temáticas, tipo de contenido o distribución que hacen que sean poco citadas por otras revistas.

La verdadera evaluación del trabajo de un científico debe realizarse por su contenido y no por el factor de impacto de las revistas donde se publique. Como se ha observado, el impacto de una revista no puede considerarse, en forma alguna, como representativo de sus artículos. Y si así fuera, el factor de impacto de una revista estaría aún lejos de ser un indicador de calidad: el impacto de citación es esencialmente una medida de utilidad más que de calidad científica y la selección de las referencias por parte de los autores está sujeta a fuertes sesgos sin relación alguna con la calidad.

Otro tanto sucede con el término “revistas núcleo”, también ampliamente popularizado y que se asocia frecuentemente con alto factor de impacto y prestigio. Nada más lejano de la realidad, la noción de revistas núcleo se vincula con la esfera de la productividad y no del consumo como sucede con el factor de impacto y el prestigio. El concepto de núcleo se relaciona con la llamada ley de Bradford, que plantea que si un número determinado de publicaciones periódicas se ordena de forma descendente, según su productividad de artículos y se divide en tres zonas de análisis, cada una con igual cantidad de contribuciones, entonces existirá una zona núcleo con un reducido número de fuentes donde se encontrará la mayor cantidad de artículos y dos zonas restantes con una mayor dispersión.

---