La Crisis de la Investigación en Psicología

La mayor parte de la investigación publicada es falsa

-John Ioannidis

Siguen apareciendo cosas en Twitter en relación a la crisis en Psicología (la Crisis de Replicabilidad), y me he dado cuenta de que el problema es mucho más amplio de lo que pensaba, y que implica a toda la investigación en Psicología, así que voy a ampliar en este post lo que comentaba en el anterior. Que quede claro que me interesa este tema porque afecta a la credibilidad de la Ciencia, y no de la Psicología. No creo que la Psicología sea una oveja negra y que lo que ocurre con ella sea diferente de lo que ocurre con otras disciplinas, aunque tenga sus peculiaridades. Por circunstancias que ahora comentaré es la Psicología la que está en el ojo del huracán y toca hablar de ella, pero creo que el problema es del sistema académico y del funcionamiento de la literatura científica en general. El caso es que la revista Perspectives on Psychological Science dedicó un número entero monográfico a esta cuestión en Noviembre de 2012 ( disponible en abierto), en el que me voy a basar para realizar este post. Entre estos artículos hay uno del propio John Ioannidis.

Diederik Stapel

Bueno, pues resulta que la crisis en Psicología se prolonga ya desde hace unos dos años y tiene diversos desencadenantes. Uno muy importante son varios casos de fraude, el más grave de ellos el del psicólogo social holandés Diederik Stapel, que reconoció haber fabricado los datos de sus estudios durante un montón de años y en todos los sitios donde ha trabajado (Tilburg, Groningen y Amsterdam). Era un hombre conocido internacionalmente y su caso ha tenido mucha repercusión. El comité de investigación de Tilburg habla de 34 publicaciones basadas en datos falsos, el de Groningen de 12, y el de Amsterdam de 7, aunque todavía no son resultados definitivos. El New York Times aborda el caso en Noviembre de 2011, así como muchos blogs y columnas,(por su calidad yo destacaría el blog de Ed Yong) los cuales ponen en duda el rigor científico de la Psicología Social y de las ciencias sociales en general. Hay que decir que no existen datos de que el fraude sea mayor en Psicología que en otros campos. Aunque no hay datos fiables sobre el fraude en la ciencia, según un metaanálisis de 18 encuestas un 2% de los encuestados admite haber fabricado datos, pero la realidad tiene que ser mucho mayor. Según Fanelli (2009) el fraude es mucho más frecuente en las ciencias biomédicas que en otras disciplinas, probablemente porque hay más recompensas financieras en este campo que en otros.

Pero, aunque el fraude sea relativamente raro en ciencia, existen un montón de prácticas que son habituales y que todo el mundo realiza porque se consideran legales, y que ponen en entredicho la calidad de toda la investigación. Lo llaman a veces “masajear” los datos o, según otros, “torturarlos hasta que canten” (es cierto, algunos investigadores enseñan a sus alumnos que hay que torturar los datos hasta que confiesen). Algunas de estas prácticas, que recogen Nosek (2012), y también Simmons (2011), serían:

• conducir muchos estudios de poca potencia en vez de pocos de más potencia
• mandar para publicación solamente los estudios positivos y guardar los negativos. Es el llamado Efecto Cajón: hago diez estudios y mando a publicar el que sale bien y guardo los otros nueve en el cajón.
• los estudios que salen mal eran “estudios piloto” y los estudios piloto que salen bien eran ya “estudios serios”...
• dejo de coleccionar datos en cuanto me da un resultado positivo o, lo contrario, si todavía no tengo un efecto positivo sigo coleccionando participantes y datos hasta que me salga lo que busco.
• incluyo muchas variables dependientes e independientes ( sexo, características de personalidad, edad, etc.) y luego solo menciono las que “funcionan”
• manipulo los métodos de análisis a posteriori , pruebo diferentes análisis estadísticos, moderadores, etc, e informo solo de los que funcionan
• presento mis hipótesis como anteriores a los datos cuando en realidad vienen después (es decir son hipótesis post-hoc que encajan con los datos)
• Y , por supuesto, una vez que obtengo un resultado positivo no se me ocurre replicarlo no vaya a ser que la falta de replicación me fastidie un buen artículo...

Pero, además del fraude (hay otros casos como los de Karen Ruggiero o Marc Hauser), otros desencadenantes de la actual crisis han sido sesgos de publicación, falsos positivos como el de Bem sobre los poderes psíquicos de sus sujetos que podían adivinar el futuro, y los fallos de replicación ya comentados. Os extraigo a partir de aquí comentarios e ideas que me han parecido interesantes de este número especial y lo voy a hacer en forma de píldoras para que sea más ágil. Las voy a dividir en una primera sección donde se describe o diagnostica la situación y en una segunda donde se proponen soluciones.

Diagnóstico

• El éxito profesional de un científico académico depende de publicar, pero hacerlo bien y publicar son a veces dos cosas incompatibles, según plantea Brian Nosek, ya que una cosa es lo que es bueno para los científicos y otra muy distinta lo que es bueno para la ciencia. De publicar depende la seguridad en el trabajo, la autoestima y la calidad de vida. Las publicaciones influencian el puesto laboral que se consigue, el sueldo, las becas que se otorgan, etc. Desde el momento que se prima publicar el interés de los científicos es publicar, e importa menos que los resultados sean ciertos. Si montamos un sistema donde el lema es “publica o perece” pues se publicará, es evidente.
• Todo el mundo está de acuerdo en que la replicación es el Tribunal Supremo de la Ciencia, el patrón oro.
• Makel y cols. estudian la frecuencia con la que se replica en Psicología y para ello estudian toda la historia (desde 1900) de las 100 revistas de Psicología de más impacto, y encuentran la palabra replicación en el 1,6%. Luego toman 500 artículos al azar y encuentran que solo el 1% de los trabajos son replicaciones de un trabajo previo.
• También según Makel y cols, cuando los científicos originales replican un trabajo lo consiguen en el 92% de los casos mientras que si la replicación la llevan a cabo investigadores diferentes sólo se consigue replicar el 65%. Cuando al menos un autor del equipo original participa en la replicación solo 3 de las 167 replicaciones estudiadas fallan. La media de replicaciones, según estos autores, en Psicología es de 1,07%.
• Los resultados negativos están desapareciendo de la literatura (Fanelli 2011). La Psicología y la Psiquiatría, en concreto, están que se salen, según Fanelli publican cinco veces más resultados positivos que las ciencias del espacio, que se encuentran en el otro extremo.
• Varios autores en este número (Ioannidis, Nosek...) afirman que eso de que la ciencia se autocorrige es un mito, que los errores entran en la literatura científica y que lo malo es que se quedan ahí muchos años.
• Sobre el tema de los metaanálisis Ferguson y Heene plantean que dan resultados estadísticamente significativos, aunque estos sean triviales, puramente por su tamaño. Por otro lado, nunca resuelven disputas en la ciencia porque los del bando desfavorecido producen otro metaanálisis con resultados opuestos que les favorecen a ellos. 
• Como comentaba en el post anterior, la replicación falla en investigación del cáncer (Begley y Ellis,2012) y existe otro trabajo de Bayer Healthcare donde de 67 intentos de replicar hallazgos en cáncer, salud de la mujer y enfermedad cardiovascular, sólo consiguen replicar el 25%

Tratamiento

• Según algunos no hay mucho que hacer porque aunque el sistema favorece el fraude también promueve la producción de científicos brillantes. Por otro lado hay muchos intereses de científicos, universidades y revistas en el sistema actual, así que parece poco probable que nadie mueva el culo. Otros autores son más tajantes y dicen que la manera en que se publica en psicología debe cambiar.
• A pesar de lo anterior, comienzo por una de las propuestas más serias y contundentes, basada en lo que propone Ben Goldacre en Bad Science. La idea sería registrar los estudios antes de realizarlos, explicar todo el protocolo, la metodología, así como los análisis que se van a realizar. Si cuando se realiza la investigación no se consiguen resultados y no se publica, el trabajo quedaría invalidado científicamente. Lo mismo ocurriría si lo publicado no se ajusta a lo registrado, en cuyo caso el trabajo quedaría en todo caso como un estudio exploratorio, no como algo firme. De esta manera, se puede decir que el  proceso de peer-review ocurriría en el momento del registro y no después. Esta fórmula se ha empezado a aplicar en investigación biomédica y si se aplicara bien haría innecesarias prácticamente las replicaciones.
• Proyectos como Open Science Collaboration y el Reproducibility Project, del que ya hablé en el post anterior y que explican en uno de los artículos.
• Poner en marcha revistas o sitios web que publiquen replicaciones o resultados negativos. Ya existen algunas: Journal of Articles in Support of the Null Hypothesis, Journal of Negative Results, Journal of Null Results, Psychfiledrawer. La mayoría de los autores piensa que no es una buena idea porque serían revistas de baja calidad y nadie tiene interés en publicar en ellas. No se les augura mucho éxito
• Otra posibilidad sería que se co-publicaran las replicaciones junto con el al artículo original pero que la replicación fuera un archivo digital exclusivamente. Hoy en día muchas revistas ponen en su web apéndices o material añadido y las replicaciones podrían formar parte de este material
• También se podría co-citar las replicaciones, es decir que los investigadores citaran a la vez que el artículo original un archivo donde constaran todas las replicaciones existentes de ese artículo.
• Otra opción sería poner en marcha proyectos de colaboración entre equipos y que unos repliquen los trabajos de otros. Por cierto, que alguien señala en este número que los proyectos de colaboración en Psicología entre distintos profesionales para investigar brillan por su ausencia, al contrario de lo que ocurre por ejemplo en Genética.
• Frank y Saxe proponen que sean los estudiantes los que hagan las replicaciones, como parte de su proceso de formación, y que les cuente para el currículum

Para acabar, una nota de humor en un tema tan serio. Gullo y O´Gorman proponen en plan broma una nueva categoría diagnóstica para el DSM-V dedicada a los científicos deshonestos. La característica esencial del “Publicar Patológico” ( Pathological Publishing) sería la “persistente y recurrente publicación de hallazgos confirmatorios (criterio A) combinado con el frío desdén por los resultados nulos ( criterio B) lo que produce una buena historia (criterio C) llevando a un marcado sufrimiento de los neo-popperianos ( criterio D)”. Habrá que reír por no llorar.