Los estudios científicos son una fuente de conocimiento de primer nivel. Sin embargo, los estudios están cruzados de sesgos, tanto a la hora de publicarse como de diseminarse y divulgarse, que ello frena inevitablemente el progreso.
En el ámbito de las ciencias sociales hemos asistido a escándalos mayúsculos, como el de Sokal. O más recientemente, el llamado ya Sokal al cuadrado, a propósito de los estudios de género. Pero estos problemas, en mayor o menor medida, se han detectado en todos los ámbitos de la literatura científica.
Pérdida de confianza en la ciencia
En pocas palabras, el problema de diseminación de conocimiento científico de buena calidad está alimentado por:
- Sesgo publicación: tendencia a publicar solo estudios positivos.
- Sesgo citación: citar sólo estudios positivos. En 2012, Anne-Sophie Jannot y un equipo examinaron 242 metanálisis publicados en la Base de datos Cochrane de revisiones sistemáticas entre enero y marzo de 2010 que lo confirmaron.
- Distorsión de citas. En 2010, Andreas Stang publicó una crítica de la escala Newcastle-Ottawa, una escala utilizada en metanálisis para evaluar la calidad de los estudios observacionales. A veces, las referencias simplemente se copian de un documento a otro. Es difícil saber cuán frecuente es esto, pero Pieter Kroonenberg, un estadístico holandés, descubrió un estudio inexistente que había sido citado más de 400 veces.
- Subutilización de la evidencia: no citar estudios existentes. Los investigadores Karen Robinson y Steven Goodman examinaron la frecuencia con la que los autores de ensayos clínicos posteriores informaron sobre ensayos clínicos similares. Identificaron 1.523 ensayos y rastrearon cómo estos habían citado a otros sobre el mismo tema. Solo se citó aproximadamente una cuarta parte de los ensayos relevantes, que también constituyeron solo aproximadamente una cuarta parte de los sujetos inscritos en los ensayos relevantes.
Dentro del sesgo de publicación, a su vez, se han identificado diferentes formas de sesgo:
- Sesgo de desfase temporal: en el que los ensayos con resultados positivos impresionantes (un tamaño grande, significación estadística) se publican más rápidamente que los ensayos con resultados negativos o equívocos.
- Sesgo de informe de resultados: que informa sólo resultados estadísticamente significativos o resultados que favorecen una afirmación en particular, mientras que otros resultados se han medido pero no informado.
- Sesgo de ubicación: publicación de hallazgos no significativos, equívocos o sin apoyo en revistas de menor prestigio, mientras que los estudios que informan hallazgos positivos y estadísticamente significativos tienden a enviarse a revistas más conocidas.
Un caso significativo fue el analizado en 2015 por Michal Kicinski y sus colegas, que examinaron 1.106 metanálisis publicados por la Colaboración Cochrane sobre la eficacia o seguridad de tratamientos particulares. Para los metanálisis que se centraron en la eficacia, los ensayos positivos y significativos tenían más probabilidad de incluirse en los metanálisis que otros ensayos. Por el contrario, para los metanálisis que se centraron en la seguridad, "los resultados que no proporcionaron evidencia de efectos adversos tuvieron en promedio un 78 por ciento más de probabilidad de ingresar a la muestra del metanálisis que los resultados estadísticamente significativos que demostraron que existían efectos adversos".
La existencia de estos sesgos no solo es un problema que afecta a la calidad de la literatura científica, sino que está socavando la integridad de la ciencia, permitiendo que los mitos o las verdades a medias prosperen con más facilidad. Una vez hemos diagnosticado el problema, pues, resulta perentorio ponerse manos a la obra para mitigarlo y, por extensión, reforzar los cimientos sobre los que levantamos el edificio de la ciencia.
Ver 2 comentarios