Publicar o morir, la vertadera causa de la falta de reproductibilitat

La ciència es diferència de la pseudo-ciència principalment pel mètode científic, que consisteix en un seguit de passos que contenen diferents tècniques per comprovar que els resultats són rellevants, com ara bé la comparació amb un grup control o la significància mesurada estadísticament. Gràcies al mètode científic, que s’utilitza a totes les disciplines, un estudi que es publica a una revista s’hauria de poder reproduir en qualsevol altre laboratori del món, d’aquí la importància de les especificacions que es descriuen a “materials i mètodes“. Malgrat això, els articles un cop publicats generalment no es tornen a reproduir, (només de manera molt puntual), ja que no existeix un comitè que comprovi la reproductibilitat (cosa força lògica ja que la inversió que caldria seria desmesurada) i la comunitat científica confia en els resultats i les bones pràctiques dels altres investigadors.

Per experiència pròpia puc dir que intentar utilitzar una metodologia treta d’un paper és difícil i generalment no obtens els resultats que ells descriuen. Per una banda es deu a que l’article està altament resumit i necessites contactar amb els autors perquè detalladament expliquin com fer-ho i saber els passos que van haver d’ometre per una qüestió d’espai. Per altra banda, comunitats com la xinesa tenen sovint una regulació menor en quan a bones pràctiques científiques, i ens podem trobar amb resultats maquillats molt difícils de reproduir.

Per tant, existeix un problema en la reproductibilitat en tot el que es publica avui en dia, i és el que han demostrat un equip de científics liderats per Brian Nosek en l’article recentment publicat a la revista Science. En total han sigut 270 investigadors que en 4 anys han intentat reproduir 100 papers sense massa èxit, ja que conclouen que només han pogut fer-ho en 39 casos. Els científics s’han basat en el camp de la psicologia, principalment perquè la majoria d’ells són psicòlegs, en cap cas perquè creguessin que la reproductibilitat en aquest àmbit hagués de ser menor, i van utilitzar articles publicats a les tres revistes més prestigioses d’aquest camp.

Nosek explica que el problema amb la falta de reproductibilitat que s’han trobat no rau en la falsificació de dades i molt menys en una mala pràctica intencionada per part dels autors dels articles, sinó del resultat de la extrema pressió que tenen els científics per publicar. En el món de la ciència és un “publicar o morir“, per tant si vols sobreviure has de treure resultats, i si poden ser positius i espectaculars millor, ja que les revistes prefereixen un article que hagi pogut demostrar la hipòtesi que no pas un article que l’hagi descartat, i això provoca dos greus resultats.

Per una banda, al no publicar resultats “negatius”, estem obviant part de la informació, estem “ocultant” al món una part molt important, ja que un resultat negatiu permet que un altre grup no repeteixi aquest mateix projecte i malgasti els diners, perquè la hipòtesi ja ha estat descartada. Per altra banda el que provoca és que el científic busqui resultats positius i provoqui un biaix en els resultats, ja que si un resultat dóna com s’espera, el considerarà de manera inconscient com a bo i no es trencarà massa més el cap, mentre que si dóna diferent a l’esperat buscarà “errors” en la metodologia i repetirà els experiments fins a obtenir un resultat que el satisfaci més. Es tracta d’una tendència a buscar el resultat positiu de manera involuntària però que al final el que està provocant són aquests resultats a mitges tintes, més espectaculars del que realment són i menys reproduïbles del que haurien de ser.

Font de la imatge de portada: http://as.virginia.edu/sites/as.virginia.edu/files/styles/natural_640/public/images/news/news_-_brian_nosek_02_da.jpg?itok=bw99111N

Anuncios

One thought on “Publicar o morir, la vertadera causa de la falta de reproductibilitat

  1. sols un 39% !!! aixo recorda un “paper” semblant publicat a nature on despres d analitzar molts estudis concluien que el 50% tenien resultats erronis o no estadistiquement correctes, el millor era el final de l article que recordava que aquest mateix article tenia una probabilitat del 50% de ser erroni

    Me gusta

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s