El 16 de diciembre de 2012, en el contexto de la Reunión Anual de la Sociedad Americana de Biología Celular (BCSV) de los Estados Unidos se realizó una reunión de directores y editores de importantes revistas académicas. Allí, se emitió la Declaración de San Francisco de Evaluación de la Investigación y se señaló que hay una necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados por las agencias de financiación, instituciones académicas y otras.

La crítica principal estuvo centrada en la utilización del “factor de impacto” de las revistas.

El índice de impacto de las revistas se utiliza con frecuencia como parámetro primario con el que comparar la producción científica de las personas y las instituciones. El índice de impacto de revistas, según los cálculos de Thomson Reuters, fue creado originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas que comprar, no como una medida de la calidad científica de la investigación en un artículo. Con esto en mente, es importante entender que el índice de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación. Estas limitaciones incluyen:

1. la distribución de citas en revistas está muy sesgada;
2. las propiedades del índice de impacto son específicas del campo científico considerado: es una combinación de varios tipos de artículos, muy diversos, incluyendo artículos de investigación primaria y opiniones;
3. los índices de impacto se pueden manipular de acuerdo con la política editorial;
4. los datos utilizados para el cálculo de los índices de impacto de las revistas no son ni transparentes ni están abiertamente a disposición del público.

A partir de este diagnóstico, el documento realiza una serie de recomendaciones:

• La necesidad de eliminar el uso de métricas basadas en revistas, tales como el índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción;
• la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en que se publica la investigación, y
• la necesidad de aprovechar las oportunidades que ofrece la publicación en línea (como relajar los límites innecesarios en el número de palabras, figuras y referencias en artículos, y la exploración de nuevos indicadores de la importancia y el impacto).

Reconocemos que muchas agencias de financiación, instituciones, editores e investigadores ya están alentando prácticas mejoradas en la evaluación de la investigación. Estas medidas están empezando a aumentar el impulso hacia enfoques más complejos y significativos para la evaluación de investigación que ahora se puede realizar y que son adoptadas por todos los principales grupos involucrados.

El tema se potenció fuertemente cuando el 11 de diciembre de 2013, al recibir el premio Nobel de Medicina, el biólogo norteamericano Randy Schekman emitió una fuerte declaración señalando, entre otras cosas:

Todos sabemos lo que los incentivos distorsionadores han hecho a las finanzas y la banca. Los incentivos que se ofrecen a mis compañeros no son unas primas descomunales, sino las recompensas profesionales que conlleva el hecho de publicar en revistas de prestigio, principalmente Nature, Cell y Science. Se supone que estas publicaciones de lujo son el paradigma de la calidad, que publican solo los mejores trabajos de investigación. Dado que los comités encargados de la financiación y los nombramientos suelen usar el lugar de publicación como indicador de la calidad de la labor científica, el aparecer en estas publicaciones suele traer consigo subvenciones y cátedras. Pero la reputación de las grandes revistas solo está garantizada hasta cierto punto. Aunque publican artículos extraordinarios, eso no es lo único que publican. Ni tampoco son las únicas que publican investigaciones sobresalientes.

Estas revistas promocionan de forma agresiva sus marcas, de una manera que conduce más a la venta de suscripciones que a fomentar las investigaciones más importantes. Al igual que los diseñadores de moda que crean bolsos o trajes de edición limitada, saben que la escasez hace que aumente la demanda, de modo que restringen artificialmente el número de artículos que aceptan. Luego, estas marcas exclusivas se comercializan empleando un ardid llamado ‘factor de impacto’, una puntuación otorgada a cada revista que mide el número de veces que los trabajos de investigación posteriores citan sus artículos. La teoría es que los mejores artículos se citan con más frecuencia, de modo que las mejores publicaciones obtienen las puntuaciones más altas. Pero se trata de una medida tremendamente viciada, que persigue algo que se ha convertido en un fin en sí mismo, y es tan perjudicial para la ciencia como la cultura de las primas lo es para la banca.

Es habitual, y muchas revistas lo fomentan, que una investigación sea juzgada atendiendo al factor de impacto de la revista que la publica. Pero como la puntuación de la publicación es una media, dice poco de la calidad de cualquier investigación concreta. Además, las citas están relacionadas con la calidad a veces, pero no siempre. Un artículo puede ser muy citado porque es un buen trabajo científico, o bien porque es llamativo, provocador o erróneo. Los directores de las revistas de lujo lo saben, así que aceptan artículos que tendrán mucha repercusión porque estudian temas atractivos o hacen afirmaciones que cuestionan ideas establecidas […] Hay una vía mejor, gracias a la nueva remesa de revistas de libre acceso que son gratuitas para cualquiera que quiera leerlas y no tienen caras suscripciones que promover. Nacidas en Internet, pueden aceptar todos los artículos que cumplan unas normas de calidad, sin topes artificiales […] Los patrocinadores y las universidades también tienen un papel en todo esto. Deben decirles a los comités que toman decisiones sobre las subvenciones y los cargos que no juzguen los artículos por el lugar donde se han publicado. Lo que importa es la calidad de la labor científica, no el nombre de la revista. Y, lo más importante de todo, los científicos tenemos que tomar medidas. Como muchos investigadores de éxito, he publicado en las revistas de renombre, entre otras cosas, los artículos por los que me han concedido el premio Nobel de Medicina, que tendré el honor de recoger mañana. Pero ya no. Ahora me he comprometido con mi laboratorio a evitar las revistas de lujo, y animo a otros a hacer lo mismo.

Estas declaraciones tienen dos direcciones centrales. Por un lado cuestionan el dominio de las editoriales comerciales en el control de las revistas científicas por las distorsiones que ello provoca en el proceso de evaluación y de sus costos para los investigadores. Por otro apuntan a negar validez al “factor de impacto” de las revistas científicas que se miden en el ISI, controlado actualmente por la agencia también privada Thomson Reuters. Este cuestionamiento surge de la evidencia directa de las distorsiones que provoca este indicador, lo que ha sido tratado extensamente en la literatura sobre el tema. Sin embargo, es generalmente desconocido el origen del ISI, la forma arbitraria en que se organizó el Science Citation Index y la forma específica en que por razones estrictamente comerciales ello se plasmó, con la colaboración activa de un sector de la comunidad científica y la pasividad y sujeción de la gran mayoría de los científicos y de las autoridades de Ciencia y Técnica de muchos países. Para eso hay que remontarse a los debates e iniciativas previas existentes en relación a los sistemas de organización de la información científica, que es lo que hemos intentado presentar aquí.