Muchos científicos no leen los estudios que citan: tanto los estudios que se replican como los que no se citan casi por igual

Los estudios que se replican se citan a menudo, por supuesto; el problema es que los estudios que no logran replicarse se citan más o menos con la misma frecuencia.

La explicación más plausible es que los científicos no leen los estudios que citan. Al menos, los estudios del ámbito de las ciencias sociales.

Reproducibilidad

La reproducibilidad es la capacidad de un ensayo o experimento de ser reproducido o replicado por otros, en particular, por la comunidad científica. La reproducibilidad es uno de los pilares del método científico, siendo la falsabilidad el otro. De este modo, si los investigadores citan indistintamente los estudios que logran replicarse como los que no, tenemos un problema.

Es lo que nos sugieren los datos recogidos por Replication Markets, una parte del programa SCORE de DARPA, cuyo objetivo es evaluar la confiabilidad de la investigación en ciencias sociales.

Los estudios se obtuvieron de todas las disciplinas de las ciencias sociales (economía, psicología, sociología, gestión, etc.) y se publicaron entre 2009 y 2018.

Si se citan los estudios de forma tan poco crítica, hemos de entender que los investigadores no se leen en profundidad dichos estudios porque, bien, quizá muchos se autoengañan o están cruzados de sesgos, pero: ¿qué están haciendo los editores y revisores?

Cualquiera que sea la explicación, el hecho es que el sistema académico no asigna citas de calidad, es decir, a estudios fundamentalmente ciertos. Esto es malo no solo por el efecto directo de basar la investigación adicional en resultados falsos, sino también porque distorsiona los incentivos que enfrentan los científico: si nadie citara estudios débiles o falsos, no tendríamos tantos de ellos. Recompensar el impacto sin tener en cuenta la verdad conduce inevitablemente al desastre.

De hecho, ni siquiera ceñirnos a las revistas con un alto índice de impacto nos libra de esta lacra. La reputación de la revista es, sencillamente, irrelevante. Porque, de nuevo, si los científicos fueran más cuidadosos con lo que citan, las revistas a su vez serían más cuidadosas con lo que publican.

El problema, naturalmente, es sistémico. Los autores son solo un pequeño engranaje en la vasta máquina de producción científica. Para que este material sea financiado, generado, publicado y eventualmente recompensado, se requiere la complicidad de las agencias de financiación, los editores de revistas, los revisores y los comités de contratación.

Nadie se beneficia realmente del estado actual de las cosas, pero no se puede pedir a individuos aislados que sacrifiquen sus carreras por el 'bien común': las únicas soluciones viables son de arriba hacia abajo.