¿Cómo nos podemos fiar de lo que dice un artículo científico?

La inmensa mayoría de los artículos científicos que se publican pasan enteramente desapercibidos, a pesar de que hay muchos de gran calidad y de una enorme repercusión. Por otro lado, hay veces que un solo artículo científico es recogido por la prensa y sus resultados exagerados para hacerlos parecer que se acaba de descubrir algo que transformará nuestra vida de forma radical o que se ha desbancado un “mito” preexistente. Como hoy en día hace falta hacer una carrera para siquiera empezar a entender el contenido de uno de esos artículos, al público en general (y a los periodistas, aunque no lo quieran reconocer) le resulta imposible juzgar hasta qué punto es cierta la noticia.

 Por ejemplo, hace poco se publicó en una oscura revista científica (Clinical Anatomy, índice de impacto 1.157) un artículo que dice desbancar el “mito” del orgasmo vaginal, y que fue anunciado a bombo y platillo por el periódico ABC y en el blog de la Mosca Cojonera. La cita del artículo original es la siguiente:

Puppo, V. and Puppo, G. (2014), Anatomy of sex: Revision of the new anatomical terms used for the clitoris and the female orgasm by sexologists. Clin. Anat. doi: 10.1002/ca.22471 http://onlinelibrary.wiley.com/doi/10.1002/ca.22471/abstract

Quizás otro día vuelva a escribir sobre el debate de si existen distintos tipos de orgasmos femeninos (clitoridal, vaginal, anal, etc), uno sólo, o si es como el misterio de la Santísima Trinidad donde son tres y uno a la vez. Como ya hablé de este tema en uno de los artículos más leídos de este blog, hoy quiero dar algunos parámetros para orientarse a la hora de juzgar un artículo científico. Aunque no podamos entender los detalles que se explican en ese artículo, éstas son algunas de las cosas que debemos preguntarnos:

1.   ¿Está publicado en una revista con “peer review”? “Peer review” es el estándar básico de calidad científica. Quiere decir que el artículo ha sido leído y criticado de forma anónima por al menos dos científicos expertos en ese campo, que no son amigos (¡o enemigos!) de los autores. La mayoría de los artículos científicos no son publicados tal y como se presentan, sino sólo cuando se han subsanado una serie de pegas de los revisores, lo que a menudo requiere hacer nuevos experimentos. Y muchísimos artículos son rechazados sin siquiera oportunidad de revisión. Si la revista no tiene “peer review”, eso quiere decir que el artículo ha sido publicado basado simplemente en el criterio del editor, que puede saber mucho pero que no pude ser un experto en todos los campos en que publica. Hay revistas muy prestigiosas, como Scientific American, que no tienen “peer review”, sino que encargan artículos a científicos punteros en su campo.

2.   ¿Se trata de un artículo de investigación o de una revisión (“review”)? Un artículo de investigación es el que contiene resultados originales obtenidos en el laboratorio (investigación básica), en estudios con pacientes (investigación clínica) o en trabajo de campo (en ciencias como la palentología o la zoología, por ejemplo). En el artículo se detallan los métodos empleados, los resultados obtenidos (en figuras y tablas) y cómo los interpretan los autores a la luz de lo que han hecho otros antes. Una revisión no presenta resultados originales, sino que consiste en una compilación de todo el trabajo hecho sobre un determinado tema. Tanto los artículos de investigación como las revisiones son importantes para el avance de la ciencia Pero ¡ojo!  que en una revisión es mucho más fácil para el que la escribe introducir su sesgo y opinión personal, escogiendo qué trabajos citar y cuáles dejar fuera. Esto lo suele paliar la “peer review”, pero no siempre es así.

3.    ¿Cuál es el prestigio de la revista dónde se publica? Hay miles de revistas científicas que publican docenas de artículos en cada número y que se publican a menudo bisemanal o semanalmente, con lo que el flujo de artículos científicos que salen a la luz es inmenso. Las revistas se especializan por campos de investigación, pero también existe una jerarquía muy estricta de calidad. En la cúspide tenemos revistas que publican trabajos de gran impacto en todos los campos de la ciencia: Nature, Science, Proceedings of the National Academy of Sciences USA (PNAS). A la misma altura tenemos revistas que publican sobre la biomedicina ampliamente entendida (Cell) y la cúspide de las revistas de medicina (The Lancet, New England Journal of Medicine). Luego vienen una serie de revistas especializadas pero de enorme prestigio; por ejemplo, en neurosciencia están Neuron, Nature Neuroscience y Journal of Neuroscience. Esta jerarquía no establece porque sí, sino que está basada en una medida objetiva llamada “índice de impacto”, creada en 1975 por el Institute for Scientific Information. El índice de impacto se basa en las veces que los artículos en una revista son citados en todas las otras revistas, algo que se mide de forma continua. Por ejemplo, Nature tiene un índice de impacto de 30. 98, Journal of Neuroscience de 6.75 y Neuroscience Letters de 2.05. Hoy en día se puede saber incluso el índice de impacto de solo artículo. Todo esto fija el campo en el que se juega el juego del prestigio científico. Cada científico intenta colocar sus artículos en la revista de mayor índice de impacto posible, pero si apunta muy alto corre el riesgo de que sea rechazado y tener que volver a empezar. Y no vale mandar el mismo artículo a dos revistas a la vez, eso no está permitido y te descubren enseguida. Por lo tanto, el sistema se perpetúa: las mejores revistas siguen arriba porque continúan recibiendo los mejores artículos, y si tu trabajo es malo acabas por tener que publicarlo en una revista de poca reputación a la que no le vas ayudar mucho al hacerlo. Esto afecta al sistema de “peer review”: las revistas del montón tienen problemas para cubrir su cuota de artículos y pueden llegar a convertirse en un “coladero” de trabajos de muy mala calidad.

4.    ¿Cuál es el prestigio del investigador? Las carreras científicas se labran a base de prestigio. Los campos especializados suelen ser a menudo bastante restringidos, con lo que todo el mundo acaba por conocerse. De la misma manera que se reconoce a los científicos esforzados, meticulosos y capaces de reconocer sus propios errores, también se acaba por saber quién es poco cuidadoso, dogmático y amigo de esconder su propia basura.

5.    ¿Qué acogida tiene el artículo por otros científicos? En ciencia no se suele criticar a los artículos malos, simplemente se los ignora. Si no te citan, vas de culo. Esto es normal, porque como se publica tanto nadie tiene tiempo para criticar lo malo, sólo para ensalzar lo bueno y construir sobre ello. Una consecuencia importante de esto es que ponerse a tirar cohetes por un artículo que acaba de salir, como hace la prensa, está completamente fuera de lugar. Un artículo tiene que pasar la prueba del tiempo. Muchos descubrimientos sensacionales (por ejemplo, la “fusión fría”) acabaron por ser completamente desbancados a los pocos meses. Nuevamente, el número de citas y el índice de impacto nos sirve de guía sobre como es aceptado el artículo por la comunidad científica.

Raramente podemos juzgar sobre un tema científico basándonos en un único artículo, sino que debemos tener en consideración todo lo que se ha escrito sobre un tema. Esto es cierto aunque se trate de un artículo de revisión, pues estos suelen venir muy a menudo influenciados por las opiniones del autor. Hay que tener en cuenta de que las controversias son muy comunes en ciencia, hay algunas muy acerbas y que tardan décadas en resolverse. Por lo tanto, cuando se trata un tema controvertido lo honesto es reconocer inmediatamente la controversia, aunque a continuación vayamos a tomar parte por uno de los bandos. Cuando no se hace así los científicos que nos lean nos calificarán de deshonestos y dogmáticos y nos volverán la espalda. Los criterios de lo que es verdad, lo que es falso y lo que es mentira son muy distintos entre la ciencia y el periodismo, y no digamos ya en la política. Por eso los científicos quieren siempre establecer una separación muy clara entre lo que es ciencia y lo que no lo es. La ciencia es lo que hace funcionar a la sociedad moderna y nada nos garantiza que seguirá funcionando tan bien como la ha venido haciendo hasta ahora. Cuidarla y respetarla es misión de todos.

Dedicado a La Mosca Cojonera, para que siga realizando la labor tan valiosa que hace.