¿Se derrumba la Psicología?

Si hay algo que los psicólogos sociales saben hacer es cómo hacer experimentos y cómo comprobar si una intervención funciona, y, con buenos grupos control y análisis estadísticos, ver si algo funciona o no.

-Timothy Wilson en Edge.org 

Brian Nosek

Como suelen decir, no hay dos sin tres. Ya hablamos del tema de la crisis de replicación en Psicología en dos ocasiones en el año 2013 pero creo que hay novedades importantes que merece la pena comentar. Antes de nada, recomiendo leer aquellas entradas para entender mejor la situación en la que nos encontramos ahora. Las tienes aquí: la Polémica del priming (primado) y la crisis de la investigación en Psicología. Hablábamos entonces de que el psicólogo social Brian Nosek había puesto en marcha el Reproducibility Project: Psychology (RPP) para replicar 100 estudios de psicología publicados en 2008. En Agosto de 2015 se publicaron los resultados en Science y hubo una conmoción generalizada porque sólo se replicaron el 39%. 

Pero lo que ha ocurrido ahora es que cuatro psicólogos, Dan Gilbert, Gary King, Stephen Pettigrew y Timothy Wilson, han publicado un artículo en Science criticando el trabajo de Nosek de 2015 (en realidad de su grupo Open Science Collaboration) diciendo que tiene fallos estadísticos y de diseño y ejecución. Estos cuatro psicólogos son auténticos pesos pesados de la profesión, Gilbert (de Harvard) y Wilson son los más conocidos y han publicado cantidad de artículos y libros, y King y Wilson son editores de Science para que nos hagamos una idea de su nivel. El grupo de Nosek ha contestado ese artículo y el grupo de Gilbert ha contrareplicado con lo que estamos viviendo una situación de enfrentamiento y confusión donde uno ya no sabe qué creer. Hoy mismo, Gilbert y cols han dado a conocer otro escrito más. Están corriendo ríos de tinta en Internet y en Twitter con comentarios en todo tipo de revistas y blogs y es imposible resumirlos todos pero sí quería recoger algunas de la ideas que me han parecido más interesantes de todos esos comentarios.

• En primer lugar llama la atención que vemos a dos grupos de investigadores muy inteligentes que manejan los mismos datos y sin embargo ven cosas diferentes. Podemos ser generosos y decir que siempre hay debates en ciencia y que eso es muy sano pero realmente me parece preocupante que gente con un espíritu científico e inmejorable formación en su disciplina no saque las mismas conclusiones y que lo que a unos les parece correcto a los otros les parezca erróneo.

• En los aspectos técnicos no se ponen de acuerdo ni en lo que hay que medir ni en cómo medirlo. Para una crítica de la estadística que proponen Gilbert y cols ver el blog de Daniel Lakens. Pero lo que desde luego me parece exagerada es la afirmación de Gilbert y cols de que aplicando sus medidas la replicabilidad es prácticamente del 100%. Cuando se estima que el típico estudio de psicología tiene < 50% de poder estadístico, unos resultados tan buenos serían extremadamente sospechosos. Pero claro, la realidad es que todos los estudios que se publican consiguen encontrar efectos todo el rato, así que algo no encaja…Bones estima que un 97% de los estudios de psicología encuentran exactamente lo que predicen así que parece que los psicólogos tienen poderes extrasensoriales para predecir el futuro…

• Como curiosidad, Sanjay Srivastava comenta que utilizando la métrica de intervalos de confianza que proponen Gilbert y cols el efecto anchoring ¡de Kahneman y Tversky! “no consigue ser replicado” en tres de cada cuatro ocasiones.

• Hay gente que dice que los fenómenos psicológicos que producen un gran efecto ya están estudiados (por así decirlo la fruta que estaba más baja, más a mano, ya ha sido cogida) y que ahora hay fenómenos que tienen un efecto pequeño y que si no se replican las circunstancias exactas entonces no se obtienen resultados, que lo que se estudia es algo frágil y sutil… Pero claro, si resulta que ni en el laboratorio se pueden reproducir esos efectos la utilidad de esos estudios para el mundo real es prácticamente nula. Además, la ciencia va de cosas que se repiten con regularidad; si algo ocurre sólo a las 5 de la tarde, cuando el que lo hace tiene barba y a una temperatura de 26º, pues no nos va a ser muy útil. Y si hace falta muestras más grandes porque el efecto es pequeño que trabajen los psicólogos en equipo.

• Creo que hay puntos en los que Gilbert y cols tienen razón. La reproducción de algunos estudios no ha sido muy fiel y la elección de los trabajos que se iban a replicar no ha sido aleatoria , cosas ambas que pueden introducir sesgos. La potencia de algunos estudios de replicación también ha sido muy baja. Pero es que la actitud de Gilbert y cols, de que no pasa nada, es muy sospechosa, pretenden dejar las cosas como están: el estudio de replicación de Nosek y cols ha fallado así que dejémonos de hacer replicaciones y sigamos como antes, vienen a decir. Suena a que tienen algo que ocultar.

Dan Gilbert

Pero es que no se trata sólo de este debate que estamos comentando, a la Psicología se le acumulan los enanos. Acaba de ser refutado, o de ponerse en entredicho, el efecto de “ego depletion” , de que la fuerza de voluntad es un recurso que se agota, sobre el que nada menos que Baumeister lleva dos décadas escribiendo artículos y libros. Parece que no existe. También acaba de publicarse un estudio que tampoco encuentra el “efecto final de la experiencia”, eso de que el final de una experiencia se nos queda más grabado e influye en el recuerdo que tenemos de ella; y en este caso hablamos nada menos que de Kahneman, un premio Nobel.

Como dice Steve Lindsay, editor del Psychological Science, “tenemos muchas razones para creer que un montón de psicólogos han tendido durante mucho tiempo a exagerar los efectos de lo que publicaban”. Pero esto no lo han hecho sólo los psicólogos sociales y cognitivos (los estudios que escogieron para replicar Nosek y cols eran de solo tres revistas y pertenecían fundamentalmente a las sub-disciplinas de la psicología social y la psicología cognitiva) sino que es un problema general de la ciencia. Otras disciplinas también tienen problemas de replicación. Las causas, como señala David Funder, son profundas y muy extendidas:

• un mercado saturado de investigadores muy inteligentes que quieren encontrar o mantener un trabajo o conseguir una plaza en propiedad. Y la vía para ello es “publica o perece”.

• Un sistema de publicación en el que las revistas que te pueden hacer famoso y hacer que consigas un trabajo piden hallazgos “rompedores”. No les vale el trabajo de hormiguita de ir construyendo ladrillo a ladrillo el muro de la ciencia. Incluso revistas de menos nivel piden resultados significativos. Y no digamos ya si quieres publicar en Nature o Science…

• Un sistema académico que recompensa a los investigadores que deslumbran no sólo en las revistas científicas sino a los que llegan a los medios  con temas “sexys” de gran repercusión social. Las recompensas son puestos en las mejores universidades, charlas TED, apariciones en TV, etc.

Esta es la realidad y cambiarla no es nada fácil. Hay nuevas replicaciones en camino, tanto en Psicología como en otras ramas de la ciencia y pronto iremos teniendo una visión más completa de la situación general de la ciencia. Pero parece claro que la crisis de replicación no es exclusiva de la psicología social. Las causas no son puramente científicas sino culturales e institucionales y las soluciones también tienen que serlo.

@pitiklinov