Los 7 Pecados Capitales de la Psicología

Esta entrada es un comentario del libro The 7 Deadly Sins of Psychology, de Chris Chambers, que creo que se debería haber titulado más bien los 7 pecados capitales de la ciencia  porque trata de las prácticas cuestionables que se hacen en la investigación científica en general -y no sólo en psicología- aunque es verdad que algunas de ellas son más frecuentes en psicología. El subtítulo sí es muy adecuado: Un manifiesto por la reforma de la cultura de la práctica científica. Básicamente el libro trata de las trampas que se hacen en la investigación científica a todos los niveles y de las posibles soluciones. El eje fundamental del problema es que los intereses de la ciencia no son los mismos que los intereses de los que hacen la ciencia (científicos, revistas, universidades…). Vamos a hacer un pequeño tour por los pecados y sus soluciones que pasan por dos aspectos claves: transparencia y reproducibilidad.

1- El pecado del Sesgo

“Cuando un hombre encuentra una conclusión agradable, la acepta sin discusión, pero cuando la encuentra desagradable usará en contra de ella todas las fuerzas de la lógica y la razón"

-Tucídides, siglo V antes de Cristo

“El entendimiento humano, una vez que ha adoptado una opinión...arrastra a todas las demás cosas a apoyar y estar de acuerdo con él.”

-Francis Bacon, 1620

“Lo llamo ceguera inducida por la teoría. Una vez que aceptas una teoría es extraordinariamente difícil apreciar sus fallos”

-Daniel Kahneman

Dentro de este pecado Chambers incluye una serie de conductas de las que mencionaré algunas. Una de ellas es el sesgo de publicación que consiste en que se publican los estudios que confirman nuestras hipótesis o teorías y se dejan en el cajón los que no lo hacen. No es más que una forma de la que probablemente es la falacia más poderosa del racionamiento humano: el sesgo de confirmación, que ya vemos que fue descrito por Tucídides.

Otro vicio es el de la neofilia, la excitación y la exigencia de resultados positivos y novedosos si quieres publicar en psicología. Es clásico el estudio de Daniele Fanelli de 2010  que razonó que cualquier dominio de la literatura científica que sufra de sesgo de publicación estaría dominado por los resultados positivos. Revisó más de 2.000 artículos científicos de todo el espectro de la ciencia (desde la física y química pasando por la biología hasta la psicología y la psiquiatría). Lo que encontró fue que el sesgo era mayor en psicología y psiquiatría con un 91% de resultados positivos. Es irónico que cuanto más “blanda” es una ciencia más resultados positivos encuentra, lo cual evidentemente indica la falta de rigor en la metodología científica. 

Un problema que sí es peculiar de la psicología es lo que ocurre con las replicaciones. Toda la ciencia tiene un problema con las replicaciones porque no se valoran, los científicos no quieren hacerlas (porque no da fama replicar el trabajo de otro que es el que se va a llevar el mérito), las revistas no las quieren publicar (porque no les genera titulares llamativos en la prensa) y a nadie le interesan cuando es evidente que a la ciencia sí le interesan las replicaciones porque no podemos dar por cierto ningún hallazgo si no es suficientemente replicado. Las replicaciones son uno de los pilares del método científico. 

Pero el matiz de la psicología es que no se suelen hacer replicaciones directas de un experimento sino lo que se se llaman replicaciones conceptuales. La lógica de la replicación conceptual es que si un experimento muestra evidencia de un tipo de fenómeno se replica usando un método diferente que se supone que mide la misma clase de fenómeno (esto ha ocurrido mucho en un campo muy cuestionado de la psicología que es el priming o primado). El truco del asunto es que si la replicación conceptual saca las mismas conclusiones que el experimento original se da por replicado el original. Pero si la repplicación conceptual obtiene unas conclusiones diferentes no se falsifica el original porque claro, esto que ha fallado es diferente a lo otros, no es la misma cosa…de manera que es posible confirmar pero no des-confirmar.

Otro tipo de sesgo es el sesgo retrospectivo que consiste en engañarnos a nosotros mismos (y a los demás) creyendo que una observación era algo esperado cundo en realidad fue una sorpresa. Según el método hipotético-deductivo del método científico, al que se adhiere la psicología por lo menos nominalmente, un científico comienza por formular una hipótesis que trata un aspecto importante de una teoría. Con la hipótesis decidida, el científico conduce el experimento y esto permite determinar si los datos obtenidos apoyan o no la hipótesis. Es clave que la hipótesis está decidida antes de recoger y analizar los datos para separar así en el tiempo la predicción (hipótesis) de la estimación de la realidad (datos) y no caer en el sesgo retrospectivo.

El problema es que mucha investigación científica se salta esto a la torera. Como la hipótesis de un experimento no se suele publicar con anterioridad, los investigadores pueden, de manera encubierta, alterar sus predicciones para que encajen con los datos que han encontrado. En psicología a esta práctica se la llama Hypothesizing After Results are Known (HARKing), es decir formular la hipótesis después de que conocemos los datos, un término acuñado por Norbert Kerr en 1998. ¿Y cómo de frecuente es el HARKing? Pues según algunos estudios el 40% de investigadores dicen haberlo visto y según otros hasta el 90% lo han visto pero sólo admiten hacerlo en un 35%. Conclusión: tremendamente frecuente.

2- El Pecado de la Flexibilidad Escondida

Tortura los números y confesarán cualquier cosa

-Gregg Easterbrook

Los científicos viven agobiados por la espada de Damocles “publica o perece” si quieren avanzar en su carrera y obtener una plaza fija en una universidad. Los datos de los estudios se pueden analizar de diferentes maneras y es práctica habitual informar sólo del tratamiento de datos que obtiene los resultados que nos interesan. Es lo que se llama p-Hacking o pesca de datos. El valor p nos muestra la probabilidad de haber obtenido el resultado que hemos obtenido si suponemos que la hipótesis nula es cierta y convencionalmente se ha puesto en 0,05. La flexibilidad está en que a la hora de analizar los datos se pueden tomar diferentes opciones que se pueden considerar “correctas” pero que dan diferentes valores de p. Los investigadores pueden excluir ciertos valores extremos, por ejemplo, o ciertos participantes o utilizar un tratamiento estadístico en lugar de otro, o seguir recogiendo datos hasta que les sale un resultado significativo, o parar de coger datos cuando ya les sale lo que buscan, etc. 

Y todas estas decisiones se esconden y no se publican. Se dice que esto es “el grado de libertad del investigador”. El caso es que seleccionando el tratamiento más favorable y combinándolo con el HARKing que comentábamos en el apartado anterior podemos sacar resultados positivos con casi cualquier hipótesis. Simmons y cols. realizaron una serie de experimentos y simulaciones de esta flexibilidad a la hora de tratar los datos y obtuvieron que se podía llegar de una tasa de 5% de positivos hasta una tasa de falsos positivos de 60,7% y es posible que esto sea una subestimación. ¿Y cómo de frecuente es el p-Hacking? Pues en una encuesta que hizo Leslie John el 100% reconocía haber recogido más datos hasta obtener significación o excluir datos que les venían mal.

3-El Pecado de la Falta de Fiabilidad

La Falta de Fiabilidad en la ciencia en general y en psicología en particular se debe a varias razones. Una de ellas es la que que ya hemos comentado de la falta de interés por replicar los hallazgos de los estudios. No sólo es que no interese a nadie replicarlos sino que algunos popes de la psicología como John Bargh, Dan Gilbert o el premio Nobel Daniel Kahneman se han manifestado directamente en contra de hacerlo. 

Otra razón es la falta de poder estadístico, la probabilidad de rechazar correctamente la hipótesis nula: cuando el poder estadístico aumenta disminuye la probabilidad de cometer un error del tipo II, es decir, de erróneamente fallar en rechazar la hipótesis nula. Los falsos positivos pueden ser descubiertos por nuevas investigaciones pero cuando una hipótesis correcta es rechazada por un falso negativo quedará abandonada y olvidada. Se sabe que la psicología sufre de un bajo poder estadístico desde los años 1960, pero estudios recientes siguen demostrando que este problema no ha mejorado en cuatro décadas. 

Otra causa, además de las anteriores y de las falacias estadísticas descritas en la sección anterior, de la falta de fiabilidad es que los estudios de psicología no dan los suficientes detalles metodológicos que permitan una replicación exacta. De esta manera si se hace una replicación de un estudio y falla, los investigadores del equipo original pueden decir que no se hizo tal o cual cosa que en realidad no estaba descrita en la sección de Métodos del estudio pero que era esencial para poder replicarlo. 

4- El Pecado de la Retención de los Datos

Es práctica corriente en psicología no compartir los datos de los estudios con nadie y no aportarlos cuando otros investigadores los piden. Guías de publicación como las de la APA requieren que los autores guarden los datos y que los compartan con lectores o investigadores interesados. La realidad es que esto no se hace. Hay varios estudios que han consistido precisamente en ponerse en contacto con los autores y reclamar los datos de los estudios y el porcentaje de autores que lo hace es muy bajo. Voy a citar precisamente el último que acaba de aparecer. Tom Hardwicke y John Ioannidis han pedido los datos de 111 artículos de Psicología y Psiquiatría y el 40% de autores no respondieron, el 30% dijeron que no y sólo 14% compartieron los datos sin restricciones.

Bien es verdad que algunos datos pueden ser confidenciales y que en otros casos los investigadores pueden estar trabajando sobre los mismos datos porque es práctica usual que se saquen varias publicaciones de un mismo experimento y que los autores no quieran que otros equipos les pisen los descubrimientos, pero se podría establecer un plazo de retención o “cuarentena” para estos menesteres y luego compartirlos abiertamente. 

5- El Pecado de la Corrupción y el Fraude

Sobre este aspecto no voy a insistir mucho. Ha habido varios casos en psicología de autores que no es que hayan realizado prácticas cuestionables sino que directamente han fabricado los datos, el caso más sonado el de Diederik Stapel. En este apartado Chambers analiza estos casos.

6- El Pecado del Internamiento o la ocultación

Este pecado no se refiere sólo al hecho ya comentado de que los datos de los estudios no se compartan sino al hecho de que hay que pagar por los artículos científicos si queremos leerlos, de que están encerrados o inaccesibles al público general y en muchos casos a los propios investigadores porque hay universidades o centros que no pueden pagar las cantidades necesarias para acceder a las publicaciones científicas. Chambers es una defensor del acceso abierto (Open Acces). Resulta que la mayoría de investigaciones se hacen con dinero público, con becas procedentes de organismos públicos, y tenemos que pagar luego por conocer los resultados de esos experimentos mientras que Elsevier y otras editoriales obtienen beneficios. La postura de Chambers es que esos datos deben ser de dominio público. 

7- El Pecado de Contar Alubias

No todo lo que cuenta puede ser contado, y no todo lo que puede ser contado cuenta.

-William Bruce Cameron, 1963

Ley de Goodhart: cuando una medida se convierte en diana deja de ser una buena medida.

En este apartado Chambers critica una serie de parámetros o números por los que se mide la calidad científica: factor de impacto de las revistas, número de artículos publicados en esas revistas, número de citaciones, etc. Analiza todos los problemas que tienen esas medidas y las desventajas e inconvenientes que suponen para el avance de la ciencia. 

Es muy apropiado tener en cuenta la ley de Goodhart arriba mencionada porque siempre que se tome una medida como referencia la gente la va a manipular. Si tomamos, por ejemplo, como señal de calidad el número de citas de un autor nos podemos encontrar con lo que ocurrió en las universidades italianas donde aumento el porcentaje de autocitas en un 81-179%. En general, se está primando la cantidad en ciencia por encima de la calidad.

Soluciones o Penitencia de los pecados

En el apartado de soluciones, Chambers destaca la transparencia y el aumento de la replicación en la ciencia. Un medida básica es el pre-registro de los estudios científicos tema en el que él mismo ha sido un pionero en la revista Cortex. Se extiende bastante y explica con detenimiento las diferentes formas en que esto puede llevarse a cabo. En los estudios registrados con peer review (revisión por pares) lo que se hace es revisar el estudio antes de que se recojan los resultados. Se valora la pregunta de la investigación y la metodología y en base a ello se aprueba preliminarmente el estudio para publicación. Después de que el estudio se ha realizado se remiten los datos y se produce una segunda peer review para ver si lo que los autores han hecho se ajusta a lo que describieron en la metodología y se valora en caso de que haya habido cambios si esos cambios estaban justificados o no. El estudio se publica sean cuales sean los resultados, es decir, sean positivos o negativos. Si la pregunta de investigación y la metodología es seria, se publica.

También se pueden pre-registrar estudios en diferentes webs sin peer review donde se deja constancia de la hipótesis, metodología y tratamiento estadístico para que todo el mundo pueda comprobar que la hipótesis era previa a la recogida de datos. Por otro lado, Chambers es partidario de que todos los datos de los estudios se almacenen, entre otras cosas para que no se pierdan para la ciencia (los formatos informáticos van cambiando)  y también para que los datos estén disponibles para otros científicos. Los investigadores van a saber de antemano que si quieren que se les publique deben subir sus datos a un repositorio o almacén de datos. 

También propone que se dedique dinero a la replicación. Esto puede parecer un desperdicio pero en realidad se estima que la falta de replicación en ciencia cuesta a los EEUU 25.000 millones de dólares anualmente. Así que dedicar una parte de ese dinero a diseñar y llevar a cabo repudiaciones pude ser una buena inversión. 

En cuanto al coste de los artículos científicos Chambers propone alternativas abiertas al modelo vigente y se plantea incluso la necesidad de las revistas científicas como las conocemos actualmente dadas las nuevas posibilidades alternativas que permiten las nuevas tecnologías.

En cuanto a la eficacia de todas estas medidas -que ya se están llevando a cabo- la evidencia es contradictoria. Por un lado, es verdad que el pre-registro está disminuyendo los falsos positivos como demuestra este estudio de 2015 en el campo de la prevención de enfermedad cardíaca donde se ha pasado de un 57% de resultados positivos a un 8%. Pero también hay estudios que están encontrando -en el caso de pre-registros sin peer review- que un elevado porcentaje de autores y de estudios cambian las medidas que propusieron inicialmente, siguen haciendo p-Hacking y demás trampas… 

En definitiva, me ha parecido un libro muy recomendable para toda persona interesada en la investigación científica en general, en los puntos débiles del sistema actual y en la manera de mejorarla.

@pitiklinov