Digital THink Tank (DTT)

Cum oamenii de știință nu mai pot fi păcăliți despre statistici

Un articol interesant al lui Dorothy Bishop a apărut în Natură 584: 9 (2020); doi: 10.1038 / d41586-020-02275-8

Colectarea datelor simulate poate dezvălui moduri comune în care prejudecățile noastre cognitive ne conduc în rătăcire.


Au fost depuse numeroase eforturi în ultimul deceniu pentru a promova cercetări solide și credibile. Unii se concentrează pe schimbarea stimulentelor, cum ar fi schimbarea criteriilor de finanțare și publicare, pentru a favoriza știința deschisă în fața progreselor senzaționale. Dar trebuie acordată atenție și individului. Tendințele cognitive excesiv umane ne pot determina să vedem rezultate care nu există. Raționamentul defectuos duce la știință neglijentă, chiar și atunci când intențiile sunt bune.

Câteva cuvinte despre autor:  

Profesorul Dorothy Bishop


Profesor de neuropsihologie a dezvoltării, Departamentul de psihologie experimentală; Fellow of St. John's College


Profesorul Bishop cercetează tulburările de limbaj la copii. În unele cazuri, dificultățile de vorbire au o cauză evidentă, cum ar fi pierderea auzului sau o afecțiune precum sindromul Down. În alte cazuri, copiii au dificultăți deosebite să învețe să vorbească sau să înțeleagă limba fără un motiv aparent. Profesorul Bishop a studiat copiii cu „dizabilități specifice de vorbire” sau SLI, care reprezintă aproximativ 3% din populație, dar tind să fie neglijați de cercetători. Folosind studii gemene, ea a studiat componenta genetică a acestor tulburări și a lucrat cu genetici moleculari pentru a afla care sunt genele implicate. Imagine sursă: Wikipedia


Cum oamenii de știință nu mai pot fi păcăliți despre statistici

Au fost depuse numeroase eforturi în ultimul deceniu pentru a promova cercetări solide și credibile. Unii se concentrează pe schimbarea stimulentelor, cum ar fi schimbarea criteriilor de finanțare și publicare, pentru a favoriza știința deschisă în fața progreselor senzaționale. Dar trebuie acordată atenție și individului. Tendințele cognitive excesiv umane ne pot determina să vedem rezultate care nu există. Raționamentul defectuos duce la știință neglijentă, chiar și atunci când intențiile sunt bune.

Cercetătorii trebuie să devină mai conștienți de aceste capcane. Așa cum oamenii de știință de laborator nu au voie să se ocupe de substanțe periculoase fără pregătire în materie de siguranță, cercetătorilor nu ar trebui să li se permită să ajungă nicăieri în apropierea unei valori P sau a unei măsuri statistice similare de probabilitate până când nu au demonstrat că înțeleg ce înseamnă.

Cu toții tindem să trecem cu vederea dovezile care ne contrazic opiniile. Când ne confruntăm cu date noi, ideile noastre preexistente ne pot determina să vedem structuri care nu există. Aceasta este o formă de prejudecată de confirmare în care căutăm informații și ne amintim informații care se potrivesc cu ceea ce ne gândim deja. Poate fi adaptabil: oamenii trebuie să poată elimina informații importante și să acționeze rapid pentru a ieși din pericol. Dar această filtrare poate duce la erori științifice.


Măsurarea sarcinii electronului de către fizicianul Robert Millikan în 1913 este un exemplu în acest sens. Deși a susținut că munca sa include toate punctele de date din celebrul său experiment cu picături de ulei, caietele sale au dezvăluit alte puncte de date neraportate care ar fi schimbat valoarea finală doar ușor, dar i-ar fi dat o eroare statistică mai mare. S-a dezbătut dacă Millikan intenționa să-și inducă în eroare cititorii. Cu toate acestea, nu este neobișnuit ca oamenii cinstiți să suprime amintirile faptelor incomode (RC Jennings Sci. Eng. Ethik 10, 639-653; 2004).

Un alt tip de limitare promovează neînțelegerile în probabilitate și statistici. Știm de mult că oamenii au dificultăți în a înțelege incertitudinea asociată cu probele mici (A. Tversky și D. Kahneman Psychol. Bull. 76, 105-110; 1971). Ca exemplu actual, să presupunem că 5% din populație este infectată cu un virus. Avem 100 de spitale care testează 25 de persoane fiecare, 100 de spitale care testează 50 de persoane și 100 care testează 100 de persoane. Ce procent din spitale nu va găsi cazuri și va concluziona din greșeală că virusul a dispărut? Răspunsul este 28% din spitalele care testează 25 de persoane, 8% din spitalele care testează 50 de persoane și 1% din spitalele care testează 100 de persoane. Numărul mediu de cazuri detectate de spitale este același indiferent de numărul de cazuri testate, dar intervalul este mult mai mare, cu un eșantion mic.

Această scalare neliniară este dificil de înțeles intuitiv. Aceasta conduce la subestimarea cât de zgomotoase pot fi probele mici și, prin urmare, la efectuarea de studii care nu au puterea statistică de a detecta un efect.

De asemenea, cercetătorii nu recunosc faptul că semnificația unui rezultat, exprimată într-o valoare P, depinde în mod critic de context. Cu cât examinați mai multe variabile, cu atât este mai probabil să găsiți o valoare incorectă „semnificativă”. De exemplu, dacă testați 14 metaboliți pentru asocierea cu o tulburare, atunci probabilitatea să găsiți cel puțin o valoare P sub 0,05 - un prag frecvent utilizat de semnificație statistică - nu este 1 din 20, ci mai aproape de 1 2.

Cum putem transmite o înțelegere a acestui lucru? Un lucru este clar: instruirea convențională în statistici este inadecvată sau chiar contraproductivă, deoarece ar putea conferi utilizatorului încredere inadecvată. Experimentez o abordare alternativă: generarea de date simulate pe care elevii le pot supune diferitelor analize statistice. Folosesc acest lucru pentru a transmite două concepte cheie.

În primul rând, când elevilor li se prezintă înregistrări nule (cum ar fi numerele aleatorii), ei descoperă rapid cât de ușor este să găsești rezultate false care par statistic „semnificative”. Cercetătorii trebuie să învețe că interpretarea unei valori P atunci când sunt întrebați „A este asociat cu B?” este foarte diferită de întrebarea „Există corelații pentru variabilele A, B, C, D și E pentru care P <0,05? Întrebarea dacă un anumit metabolit este asociat cu o boală nu este aceeași cu căutarea unui interval de metaboliți pentru a vedea dacă sunt asociați cu acesta, acesta din urmă necesitând teste mult mai riguroase.

Ținând sub control cei patru călăreți de irproductibilitate

Datele simulate oferă, de asemenea, informații atunci când eșantioanele provin din două „populații” prin mijloace diferite. Elevii învață rapid că, cu dimensiuni mici de eșantion, un experiment poate fi inutil pentru a dezvălui chiar și o diferență moderată. O simulare a datelor de 30 de minute poate uimi cercetătorii dacă înțeleg implicațiile.


Cercetătorii trebuie să dobândească obiceiuri pe tot parcursul vieții pentru a evita să fie induși în eroare de părtiniri afirmative. Observațiile care ne contrazic așteptările necesită o atenție specială. Charles Darwin spunea în 1876 că își făcuse obiceiul de „ori de câte ori dau peste un fapt publicat, o observație sau un gând care contrazice constatările mele generale, scrieți imediat și imediat un memorandum despre el pentru a scrie: pentru că am stabilit din experiență că astfel de faptele și gândurile erau mult mai predispuse să scape de memorie decât favorabile ”. Eu am văzut asta. Scriind recenzii de literatură, am fost îngrozit să constat că am uitat complet să menționez hârtiile care contravin instinctelor mele, chiar dacă hârtiile nu aveau defecte deosebite. Încerc acum să le enumer.

Cu toții ne este greu să vedem defectele propriei noastre lucrări - aceasta este o parte normală a cogniției umane. Dar dacă înțelegem aceste puncte oarbe, le putem evita.