Ricerca scientifica

La ricerca scientifica è spesso decisamente sovrastimata; frasi del tipo: test clinici hanno dimostrato che.., scientificamente provato…, risultati nel 77% dei casi… non fanno altro che ingenerare nella popolazione le uguaglianze: ricerca scientifica = scienza = verità. Anche solo fermandosi alla prima parte dell’espressione, si può tranquillamente affermare che si è in errore. Infatti: è spesso facile trovare una ricerca scientifica che dimostri che X è vero e una che dimostri che X è falso. Le ricerche non sono ancora scienza… Quanto appena affermato è percepito dal pubblico, a cui le ricerche sono rivolte, come una “grande confusione”. In parole povere, per motivi di varia natura, spesso non propriamente nobili, una gran parte delle ricerche sono fasulle.

La posta dei visitatori – Riceviamo circa dieci mail a settimana che ci chiedono di commentare ricerche che spuntano qua e là nel mondo, a volte in contrasto con quanto affermato nel sito. Di solito sono ricerche che passano come mode e hanno un’influenza nulla, ma non è per questo che abbiamo deciso di non commentarle. A parte il tempo necessario per farlo (alcune ricerche presentano i dati in una ventina di pagine!), non è lo scopo primario di questo sito “convincere sulle proprie posizioni”. Lo scopo primario è “insegnare a ragionare correttamente con la propria testa“. Questo è infatti il primo requisito di chi aspira a essere scientifico. Correttamente significa in modo logico e distaccato, senza preconcetti o emozioni che possano far prendere delle grosse cantonate. Chi impara alcuni trucchi fondamentali arriva facilmente a eliminare una grande percentuale di ricerche, definendone alcune anche risibili, nonostante siano state condotte da prestigiosi gruppi di ricerca.

La differenza fra ricerca scientifica e scienza

La prima cosa da capire è che:

la ricerca scientifica è un punto di partenza, non un punto d’arrivo.

Se si considera la ricerca un punto d’arrivo si parte già con il piede sbagliato. Ogni équipe di ricercatori che pubblica o divulga i suoi studi lo fa (o dovrebbe farlo!) non per asserire una certezza, ma per fare in modo che altri, eventualmente allargandone i confini, confermino i risultati trovati.

Solo le ricerche che stabiliscono nessi di causa-effetto diventano scienza.

Un caso classico di decine di ricerche “miracolose” che si sono sgonfiate si trova nella lotta al cancro. Dagli anni ’80 del XX secolo a oggi, quasi settimanalmente, i mass media portano all’attenzione del pubblico una ricerca che promette grandi passi avanti. I passi avanti ci sono stati (molto lo si deve alla prevenzione e alla chirurgia, più che al miglioramento terapeutico), ma, a onor del vero, molto limitati. Tantissime ricerche, singolarmente significative, si sono dimostrate strade poco fruttuose.

Si deve poi rilevare che purtroppo nelle ricerche si usano trucchi per “arrivare al risultato voluto”. Si stiracchiano i risultati per arrivare alle conclusioni volute; un mio professore mi diceva che ingrandendo sui grafici i punti sperimentali si dimostra qualunque cosa! I principali trucchi sono il trucco delle percentuali relative e il trucco del placebo.

Per valutare una ricerca scientifica occorre distinguere fra:

• ricerche leggere (correlative)
• ricerche pesanti.

Una ricerca è leggera quando si limita a suggerire ipotesi sulla causa di un fenomeno, mentre è pesante quando vuole definire o avvicinarsi molto alle cause corrette.

Come vedremo, le ricerche leggere sono quelle di tipo correlativo, che si limitano a cercare le correlazioni piuttosto che le cause.

Le ricerche pesanti sono tipiche di scienze come la fisica o la matematica. Purtroppo nella medicina le ricerche correlative occupano gran parte del lavoro dei ricercatori.

NOTA – La comunità scientifica internazionale dovrebbe avere fonti che si occupano di sole ricerche pesanti e fonti per quelle leggere.

I successi delle ricerche correlative

La statistica è entrata pesantemente nella medicina grazie all’epidemiologia: originariamente si studiava statisticamente una popolazione per capire le correlazioni fra malattia e determinati fattori, risalendo poi alle cause. In genere si trattava di malattie infettive (non a caso uno dei pionieri dell’epidemiologia è John Snow che nel 1854 indagò statisticamente l’epidemia di colera a Soho).

Un ulteriore passo consiste nell’approntare una cura per una determinata malattia. Supponiamo che voglia testare un vaccino; iniettato a 100 soggetti, questi restano immuni da ogni infezione. Anche in questo caso, è veramente difficile non attribuire il merito dell’immunità al vaccino, soprattutto se nel gruppo di controllo i soggetti si ammalano tutti!

L’epidemiologia ha avuto un gran successo perché la causa di una malattia infettiva è una sola. Purtroppo per altre patologie e, in genere, nel campo della salute, le cause di una situazione possono essere diverse, addirittura decine (più o meno importanti), molte delle quali già conosciute, altre del tutto ignote. Ciò rende leggere le ricerche che studiano correlazioni, vediamo il perché.

Il limite delle ricerche correlative

Purtroppo i notevoli successi dell’epidemiologia hanno fatto dimenticare ai medici l’ultima parte del lavoro: risalire alle cause!

Oggi la statistica è diventata il terreno ideale per medici che non hanno nessuna intenzione di fare i medici: si ricevono i fondi per lanciare campagne di rilevazione statistica su qualunque cosa, si buttano i dati nella macchina (ricordiamolo, “incerta”) della statistica e poi si fa una bella pubblicazione. Non c’è nessun rischio di fallimento perché tanto qualche dato esce, al più il problema è interpretarlo, anche se, lo si deve riconoscere, la fantasia dei ricercatori è eccezionale. Alcuni di questi ultimi, poi, sostengono che l’interpretazione dei dati sarebbe compito degli statistici, ma, se ciò fosse vero, il contributo del medico sarebbe privo di ogni “intelligenza”; è assurdo che un medico pensi di poter fare ricerca senza conoscere la statistica.

Per capire i limiti della ricerca dobbiamo capire la differenza fra correlazione e causa.

Le ricerche correlative scoprono solo correlazioni, non cause!

La confusione fra correlazione e nesso causale (purtroppo anche la lingua non aiuta, è molto facile scambiare “non casuale” per causale!) è spesso amplificata dai ricercatori stessi che dimenticano la natura statistica di ciò che hanno trovato e si proclamano “sicuri” di aver trovato la causa!

Una correlazione indica cosa è meritevole di ulteriore indagine per spingersi sempre più vicino a trovare la vera causa, ricordiamoci che non definisce nessuna implicazione di causa ed effetto.

Come esempio consideriamo i vegetariani: se uno studio rileva che i vegetariani vivono più a lungo di coloro che mangiano carne, non si può concludere nulla perché non si può sapere se ciò sia dovuto prioritariamente all’alimentazione o se sia il risultato di altre scelte derivanti dallo stile di vita.

Non è difficile scoprire che molte correlazioni trovate dalla ricerca sono correlazioni indirette. Cioè che:

(1) in genere correlazioni (fra A e B) trovate dalla ricerca sono prive di nesso causale quando A e B dipendono entrambi da un terzo fattore C.

Ecco un ultimo esempio. Una ricerca prende in esame un campione di giocatori di pallacanestro di un’università americana e una tribù di pigmei. Si studia la percentuale di chi ha un QI (quoziente d’intelligenza) sopra il valore soglia di X in relazione all’altezza. Esiste una correlazione fra altezza e QI positivo (cioè sopra X). Quindi sostituendo il concetto di correlazione con il concetto di causa, potrei assurdamente concludere che l’altezza favorisce l’intelligenza!!!

È evidente l’assurdità della cosa, ma molti non saprebbero spiegare chiaramente dove sta il trucco. Il trucco è che (come visto nella proposizione 1 soprariportata) sia l’altezza sia il maggiore quoziente d’intelligenza dipendono dall’appartenenza al primo campione; infatti la correlazione fra appartenenza all’università e QI positivo appare a tutti più logica e causale.

I ricercatori scientifici sono talmente immersi nel loro universo limitato da non poter in nessun modo vedere il quadro generale di nulla, nemmeno della propria ricerca. Arthur Bloch, Principio del quadro generale, La legge di Murphy, 1977

Nelle ricerche correlative i ricercatori più seri si fanno in quattro per eliminare ogni fattore di confusione. Un esempio è offerto da quegli studi che cercano di correlare l’indice di massa corporea, IMC (o BMI, all’inglese), alla mortalità; le più serie al massimo fanno distinzione fra insiemi di fumatori e insiemi di non fumatori, ma l’impegno a limitare l’ambiguità finisce qui. Si sa che esistono molti fattori (oltre al fumo) che limitano il peso di un soggetto e quindi solo una persona acritica potrebbe pensare che la correlazione IMC-mortalità possa avere qualche interesse causale (fra l’altro, i risultati dipendono dalla necessaria spaziatura categoriale, cioè dagli intervalli di IMC considerati). Un approfondimento sul tema lo trovate nell’articolo Esempi di cattiva informazione.

Si noti che una ricerca correlativa diventa ancora meno interessante quando è a due code. Statisticamente ciò vuol dire che il parametro studiato X può essere correlato nei due sensi con Y, cioè potrebbe avere un ruolo positivo o negativo (proprio come magrezza e mortalità: la magrezza potrebbe essere sintomo di ottima salute, ma anche di malattia). Le ricerche correlative che possono essere utili sono quelle a una coda sola, per esempio la correlazione fra fumo e mortalità (è molto dura sostenere che il fumo possa allungare la vita!).

Ricerca scientifica: la significatività

Un’altra confusione che si genera nella popolazione è scambiare il concetto di significativo con quello di “con molte probabilità di essere vero”. In realtà, la significatività di un risultato è la probabilità che la relazione osservata fra le variabili di un campione sia avvenuta per puro caso; essere significativo indica che la probabilità che il tutto sia casuale è bassa.

Una buona significatività però si riferisce a “quella ricerca”; si deve comprendere che il nostro campione non è che uno fra tutti gli N possibili; ripetendo la ricerca si possono trovare altri risultati (incoerenza sperimentale).

Tale probabilità dipende sia dal campione scelto, ma soprattutto dall’ambiguità del soggetto della ricerca. Come abbiamo visto, nelle ricerche sulle malattie infettive l’agente era ragionevolmente unico, ma in moltissime ricerche correlative la variabile principale può dipendere da infiniti fattori, molti dei quali addirittura non ancora conosciuti (e quindi “non scorrelabili”). Ciò si traduce nel fatto che non è detto che la correlazione sia ripetibile.

L’ambiguità

Da quanto detto discende che

se una ricerca vuole indagare se B è una delle cause di un evento A, è necessario che prenda in considerazione tutte le altre cause di A per evitare che scambi una correlazione per causa, cioè che B dipenda da una Ci (C1, C2, …Cn sono le altre n cause di A). Ma ciò è praticamente impossibile perché si dà per scontata la certezza che si conoscano già tutte le cause di A tranne quella che ricerchiamo!

Una correlazione evidenziata da una ricerca su A è pertanto più ambigua (cioè si presta a incoerenza sperimentale) quanto meno si conoscono le cause del fenomeno che si sta studiando!

Per essere completamente definita, una ricerca dovrebbe studiare un numero infinito di parametri, cosa impossibile da realizzarsi ed è ragionevole limitarsi a studiare i più importanti e sensatamente significativi. Il grave è che gran parte delle ricerche si limita a definire pochissimi parametri, mettendosi nelle migliori condizioni di trascurare altre possibili cause e quindi di ricadere nell’ambiguità.

Supponiamo che una ricerca determini che una patologia si verifica con una probabilità nettamente più alta in maschi sani superiori ai 50 anni d’età rispetto alla fascia d’età 30-40 anni. L’invecchiamento sembrerebbe pertanto la causa più importante della malattia.

Se abbiamo 50 anni potremmo preoccuparci perché “aderiamo” al campione della ricerca scientifica che è stata condotta con la massima serietà. A questo punto però un nostro amico medico ci dice che la ricerca è del 1800 (ammesso che sia possibile) e ride delle nostre paure. Perché? Perché la malattia in questione è l’enfisema polmonare e noi non siamo fumatori. Il nostro amico ci farà presente che una ricerca più recente ha dimostrato che in maschi sani non fumatori e non esposti a fumo passivo, la probabilità di ammalarsi di enfisema nella fascia d’età 50-60 è praticamente la stessa che nella fascia 30-40. È quindi il fumo la causa principale.

Le ricerche correlative sono ricerche leggere proprio perché eccessivamente ambigue: sembra che abbiano tenuto in considerazione tutti i parametri più importanti mentre in realtà ne tralasciano spesso di fondamentali (perché magari sconosciuti).

Per esempio, una ricerca è tanto più ambigua quanto il campione è generico (illusione del campione). In quest’ottica, contrariamente alla credenza comune,

hanno poco senso anche le ricerche condotte su migliaia di soggetti senza nessuna ulteriore specificazione.

La valutazione dell’ambiguità è quindi un’operazione che deve essere condotta nell’analisi di ogni ricerca. Ci si deve chiedere (domanda sull’ambiguità):

è possibile ottenere un risultato diverso specificando i parametri della ricerca in modo diverso?

Per parametri si intendono il campione, le modalità, i tempi ecc., qualunque fattore che possa influenzare la correlazione trovata. Se la risposta è sì, il peso della ricerca crolla drammaticamente. È per questo motivo che bisogna prendere con le molle i risultati di ricerche che vengono diffuse solo per sommi capi.

Per esempio, la sola espressione “soggetto sano” è, per molti scopi, decisamente vaga (vedasi esempio dell’enfisema), per altri potrebbe non esserlo. Altro esempio: le conclusioni di una ricerca condotta in parte su pazienti ospedalizzati (come quelle che analizzano il peso alla morte e arrivano all’assurda conclusione che chi è più magro vive di meno solo perché i molti pazienti dopo lunga agonia hanno perso molti kg di peso) non possono essere certo valide per pazienti sani. Non è nemmeno adattabile alla realtà una ricerca che lavora su tempi troppo brevi oppure una che opera con quantità troppo elevate o troppo modeste di una sostanza ecc.

È importante esercitarsi a scoprire l’ambiguità di gran parte delle ricerche applicando la domanda sull’ambiguità. Come aiuto ecco un ultimo esempio. Molte ricerche hanno sostenuto (nel senso che hanno visto un nesso causale) la correlazione fra i grassi saturi di origine animale degli insaccati e alcune forme di tumore all’apparato digerente. Come è possibile definire in modo diverso la ricerca? Per esempio, i ricercatori hanno preso in considerazione il fatto che la gran parte dei salumi contiene come conservanti nitriti e nitrati? No, perché lo screening era fatto su campioni generici della popolazione. Ecco quindi trovata l’ambiguità della ricerca scientifica. Recentemente si è scoperta infatti la correlazione fra tumore e consumo di nitriti/nitrati. Pertanto il nesso causale è più logico leggerlo come tumore-conservante che come tumore-insaccato!

I media: errore di partigianeria

Fra il 1550 e il 1650 in svariate località dell’Europa si ebbe il culmine dei processi di stregoneria (furono diverse centinaia) tant’è che è difficile credere che il solo fanatismo religioso fosse alla base di tali assurdi eventi. Il processo in sé non è che la manifestazione più drammatica dell’errore di interpretazione (errore di partigianeria): non sapendo che pesci pigliare, di fronte a una persona “indemoniata”, si dava una spiegazione mistica perché si era stupidamente certi che fosse quella reale. In particolari condizioni climatiche, la segale può essere attaccata dalla Claviceps purpurea i cui sclerozi contengono alcaloidi a effetto allucinogeno. Alcuni di questi alcaloidi hanno soprattutto effetti psicotici, altri producono una patologia più devastante, basata sull’effetto vasocostrittore. L’ovvio risultato del consumo di segale contaminata è un’apparenza da indemoniato o, più modernamente, da allucinato. Poiché la contaminazione è tipica dei climi freddi e umidi, ecco spiegati i numerosi casi di streghe nel nord della Francia, della Svizzera e della Germania. Fu solo cento anni dopo i processi (e le relative condanne!) che medici inglesi scoprirono la relazione fra streghe e segale contaminata, partendo dalla constatazione che l’Irlanda (dove l’alimentazione era a base di orzo piuttosto che di segale) era immune dal fenomeno della stregoneria.

Oggi per fortuna la gente non viene più bruciata, ma

i media mandano al rogo (o in paradiso) altre streghe.

I media si nutrono ormai costantemente di ricerche perché servono a “creare notizie”. Anziché limitarsi a enfatizzare le ricerche pesanti, spesso esaltano ricerche leggere, spacciandole per scienza. Alla base di questo comportamento c’è il classico errore di correlazione: vendo (in buona fede o no) la correlazione per causa! Nel caso delle ricerche ambigue faccio credere a tutti che ciò che è vero in un ambiente molto ristretto valga per tutto il mondo! Se mi piace una causa (“la persona è indemoniata” diventa oggi per esempio “il cibo X fa male”), ecco che appena vedo una correlazione che coinvolge negativamente X, subito me ne servo per demonizzare il cibo X.

Purtroppo i giornalisti (e i ricercatori) sono spesso troppo inclini a prendere per buona l’interpretazione che “sentono” maggiormente loro, risultando simili a quei poliziotti poco zelanti ridicolizzati dal Poirot di turno, uno scienziato molto più distaccato e oggettivo.

I danni delle ricerche scientifiche leggere

Il danno maggiore che provoca la propagazione di un’informazione legata a ricerche leggere è la costituzione dei cosiddetti elenchi di ricerche a supporto di una tesi. Così facendo si pensa di dare credibilità definitiva, dimenticando che tutte le ricerche leggere dell’elenco sono solo un punto di partenza.

È abbastanza facile poi comporre elenchi di ricerche favorevoli, magari dimenticando quelle contrarie. Caso tipico è rappresentato dal gamma orizanolo. La ricerca di Fry ha evidenziato i limiti della sostanza, ma se ci si limitasse a stilare un elenco di ricerche precedenti il gamma orizanolo sembrerebbe la panacea di tutti i mali.

Per capire la limitazione degli elenchi di ricerche basta sapere che una ricerca leggera fa il giro del mondo: in breve tempo in decine di altri centri di ricerca si tenta di ripetere l’esperienza. Se il tutto funziona, in un anno escono centinaia di lavori concordi e la ricerca diventa scienza. Se non funziona, tutto torna nel dimenticatoio (salvo l’uscita di qualche altra ricerca leggera che tenta di tenere in vita il tutto); purtroppo però la ricerca leggera continua a circolare e a mietere vittime fra coloro che non conoscono certi meccanismi.

Ricerca scientifica e pubblicazioni

Uno studio pubblicato qualche anno fa su Jama (Journal of the American Medical Association), la rivista dell’Associazione dei medici americani, dimostra che almeno un terzo delle ricerche, su terapie farmacologiche e no, vengono successivamente smentite o ridimensionate.

Sembrerebbe che i due terzi della ricerca scientifica diventino scienza, cosa che assolutamente non è vera. La situazione è pressappoco questa, partendo da 100 ricerche:

1. il 50% è talmente insulso che nessun altro ricercatore spende tempo e denaro per cercare di replicare i risultati che comunque sono sempre espressi in termini di probabilità. È il caso, per esempio, della famosa proteina G, tanto enfatizzata all’uscita della ricerca e poi “abbandonata”.
2. Del 50% rimanente, un 80% (cioè il 40% del totale) è contraddittorio. Nel senso che smentisce ciò che prima si affermava o viceversa. Siamo in una situazione in cui la ricerca non è ancora scienza.
3. Resta quindi un 10% di ricerche serie.

Il 40% del totale di cui al punto 2 (l’oggetto dell’articolo) riguarda argomenti molto gettonati che vengono pompati (in un senso o nell’altro) da interessi commerciali o di carriera. Gli esempi fatti nell’articolo sono illuminanti. Si parla per esempio anche della delusione della vitamina E nella cura delle malattie cardiovascolari. Se è indubbiamente uno dei 3-4 antiossidanti più efficaci (come rapporto prezzo/prestazione) non può certo salvarci da malattie come l’infarto o i tumori che hanno solo una debole correlazione con i radicali liberi.

Per esempio, oggi vengono pubblicate centinaia di ricerche positive sugli omega 3; sicuramente c’è del vero, ma l’eccessivo ottimismo verrà presto ridimensionato. Perché? Perché bastano il buon senso e solide conoscenze di base per capire che le ricerche usano campioni scorretti o poco chiari. Infatti nella ricerca scientifica in questo campo:

• gli integratori a base di omega 3 sono spesso (per motivi di costo) decisamente sottodosati rispetto al fabbisogno indicato dalle migliori ricerche.
• L’integrazione alimentare fallisce spesso perché le alte temperature della cucina (pensiamo a un pesce alla piastra) trasformano addirittura i polinsaturi omega 3 in grassi saturi!

Quante sono le persone che assumono veramente tanti omega 3 da averne effetti positivi? Sicuramente molto meno di quelle che perorano ricerche che si limitano a dire “consumate pesce e vivrete più a lungo”. Infatti fra qualche anno uscirà una ricerca che titolerà: “non è vero che chi mangia pesce vive più a lungo”, cosa del resto già dimostrata osservando molti popoli (eschimesi compresi) grandi consumatori di pesce.

L’errore di aspettativa

Uno dei motivi per cui almeno il 50% delle ricerche risultano risibili è che i dati vengono deformati dalla volontà dei ricercatori. Si legga l’articolo sull’errore di aspettativa.

Indice materie – Medicina – Ricerca scientifica – Ricerca scientifica