Vuelvo a mi seriado de posts sobre los Sistemas de Reputación. Es un tema complejo y controvertido, sobre todo desde el punto del diseño, pero que me parece esencial si se quiere contener de algún modo la sobrecarga informacional y mejorar los mecanismos de filtrado de los contenidos según su calidad y relevancia. Con ésta ya van seis entradas dedicadas a este asunto. Aquí tienes enlaces a mis artículos anteriores por si quieres echarle un vistazo.

Hoy mi post intenta responder a una pregunta concreta: ¿cómo mejorar los sistemas de reputación en el ámbito científico? (con implicaciones, como verás, también en otros ámbitos). Esto me interesa muchísimo, no sólo por mis reminiscencias académico-universitarias, sino porque determina en gran medida el modo en que los humanos accedemos (filtramos y ponderamos) la información que se genera en la frontera del conocimiento, o sea, en los lindes donde la ciencia se mueve para ampliar nuestra sabiduría como sociedad.

Escribir un ensayo exhaustivo sobre esto no está a mi alcance ahora. Hablar de “reputación en la ciencia” es un tema demasiado serio para que yo pueda despacharlo en un post. De hecho, existe una disciplina específica que se dedica a “medir la ciencia” con fines (entre otros) reputacionales, que recibe el nombre de Cienciometría. Lo que voy a hacer es simplemente reseñar (y reflexionar sobre) unos artículos publicados en el recopilatorio “The Reputation Society”, de los editores Hassan Masum y Mark Tovey, publicado por The MIT Press.

Uno de esos escritos lo firma un tipo que respeto mucho, un tal Michael Nielsen. Conoce muy bien la ciencia y el mundo de los científicos. El artículo se titula: “The measurement and Mismeasurement of Science”. En su reflexión parte de reconocer algo que algunos burócratas-de-la-ciencia tienden a olvidar: “Es muy difícil incluso para los mejores científicos evaluar de forma exacta, precisa, el verdadero valor de un descubrimiento científico”.

Nielsen tiene razón en que juzgar la calidad de un trabajo científico es un trabajo duro y complejo, pero aún siendo casi imposible hacerlo con precisión, también admite que nos vemos obligados en términos prácticos a tener que hacer ese tipo de evaluaciones porque en ello se basa (para bien y para mal) la asignación de recursos a la ciencia.

Las principales críticas a la medición de la reputación en ciencia se centran. según Nielsen, en dos categorías:

1. Críticas hacia las propiedades de determinadas métricas
2. Críticas a la noción misma de la medición cuantitativa de la ciencia.

Nielsen acepta que las métricas son, en cierto modo, inevitables. Su crítica principal se centra en la “homogeneidad de la evaluación de la ciencia”. El problema no está en la métrica, sino en que unas pocas sean tan influyentes: No importa cuánto de buena sea una métrica en particular, porque siempre será mejor usar un sistema más heterogéneo, más diverso. Creo que esta idea de Nielsen lo deja aún más claro: “Beware of anyone advocating or working toward the one “correct” metric for Science”.

En su crítica llama “centralized metric” a ese número escaso de métricas que dominan casi en exclusiva la medición de la ciencia, y que son impuestas habitualmente por poderosas agencias públicas de evaluación. Voy a intentar hacer algo de pedagogía sobre este tema, por si no lo conoces. En ese club selecto (y casi excluyente) de indicadores o métricas, destacan estas:

• Índice-h (h-Index): Se calcula en función de la cantidad de citas que han recibido los artículos científicos de un autor. Por explicarlo de un modo simple, el “índice h” de un científico significará que ha publicado h trabajos con al menos h citas cada uno (o sea, si el factor h vale n, entonces n publicaciones han sido citadas más de n veces).
• Nº total de artículos (“papers”) publicados: Cantidad de publicaciones producidas por un autor durante un período determinado.
• Nº de citas: Contabiliza el número de citas que recibe un artículo o un autor, durante un período de tiempo, por parte de otros artículos o publicaciones (sería, simplificando mucho, un equivalente a los enlaces que apuntan a nuestra página desde unas páginas predeterminadas). OJO, para esa contabilidad no valen todas las citas, sino sólo aquellas que provienen de publicaciones de “alto impacto”, para lo que se usa el siguiente índice.
• Factor (Índice) de Impacto: El Instituto para la Información Científica (ISI) calcula este indicador todos los años para las publicaciones a las que da seguimiento. Este índice captura la frecuencia con que un artículo medio de una revista ha sido citado durante  un período (habitualmente de 2 años) por las publicaciones-top que monitoriza el Instituto. Este factor tiene una influencia enorme en los patrones de publicación de la ciencia, porque se usa para suponer la calidad o prestigio de una revista, así que a más “factor de impacto” tiene una publicación, más interesa publicar en ella y más importa que citen un artículo desde ella.

Estas métricas, como muchas otras, son buenas midiendo ciertos y determinados atributos, pero todas tienen sesgos y desventajas. Por ejemplo, aunque el índice-h pretende medir (balancear) simultáneamente la calidad y la cantidad de la producción científica, se ha observado que devalúa drásticamente la importancia de trabajos singulares porque da demasiado valor a la productividad. Asimismo, al depender del número de publicaciones totales, pone a los científicos jóvenes o de corta carrera en clara desventaja,  no captando de manera correcta el valor de sus primeros trabajos. Por otra parte, es bastante discutible que el número de citas que recibe un autor o revista sea un indicador fiel de su calidad, porque también se sabe que en el “mercado de las citas” influyen también muchos otros factores que no obedecen necesariamente a la calidad o relevancia científica.

Sería muy largo profundizar en los sesgos o limitaciones que tienen cada uno de estos indicadores, pero por retomar la tesis de Nielsen, él considera que un sistema de métricas demasiado homogéneo (o sea centrado en uno o dos indicadores) inhibe a la buena ciencia en dos aspectos:

1. Reduce la diversidad cognitiva, que es tan esencial para resolver un problema. Para ello cita al gran Scott Page, que en sus estudios demuestra que a veces es mejor elegir de forma aleatoria a las personas que van a resolver un problema, que usar un único patrón o ranking basado en una métrica única.
2. Genera incentivos perversos: Los científicos van a alinear sus intereses a esos incentivos. Por ejemplo, la obligación de publicar en revistas de primer impacto puede desestimular a los científicos a participar en nuevas disciplinas, en nuevos campos donde no hay revistas de esa etiqueta. Por otra parte, esas revistas terminan monopolizando (y creando un cuello de botella) en la distribución del conocimiento.

Respecto del segundo punto, Victor Henning, Jason Hoyt y Jan Reichelt, en su artículo “Usage-based Reputation metrics in Science”, recuerdan algunos de los incentivos perversos que generan estas métricas, que impulsan a investigadores líderes a adoptar comportamientos estratégicos indeseables como:

• Obsesionarse sólo con las revistas de gran impacto (las llama “Vanity Journal”)
• Fragmentar o dividir contenidos en el mayor número de papers posibles para contabilizar más publicaciones.
• Pausar o retrasar las publicaciones según el timing de las renovaciones de las subvenciones o de las exigencias de la carrera profesional (en lugar de presentar los resultados de su trabajo cuando está listo).
• Adoptar comportamientos auto-promocionales como el trueque de citas o las autorías gratuitas.

Esta situación se agrava por el hecho de que los rankings de citas generan el efecto de “éxito-trae-éxito”, o sea, los papers muy citados son más visibles y eso atrae más citas. Al publicarse los rankings, eso hace que el efecto se multiplique, siguiendo dinámicas de auto-refuerzo que probablemente tengan poco que ver con el valor científico del artículo.

Para que se tenga una idea de la gravedad de estos comportamientos, hay un estudio que aporta resultados increíbles. Simkin y Roychowdhury publicaron un artículo en 2003: “Read before you cite!” que evidencia que sólo el 20% de todos los papers citados han sido realmente leídos por los autores que los citan (vaya, esto me suena familiar, porque si eso ocurre con los científicos, qué decir del mundillo tuitero-feisbuquero).

Cuando estos defectos se entralazan, pueden tener un impacto muy negativo en los patrones de asignación de recursos a la ciencia. Uno de ellos es la creación de «burbujas científicas» («Scientific bubbles»), un tema que trato aparte en un mini-post de mi Tumbrl.

Si has tenido la paciencia de llegar hasta el final de este post, pero no eres científico, ni te preocupan demasiado estos tejemanejes académicos; seguro que has encontrado muchas similitudes entre lo que aquí se cuenta para la Ciencia, con lo que ocurre en la reputación de contenidos digitales, y sus autores. Échale de nuevo  un vistazo al texto, y es posible que te ayude a entender por qué la reputación digital está a menudo tan mal distribuida 🙂