Test clinici hanno dimostrato che… Spesso una ricerca che usa questa frase è di scarso spessore e il suo tentativo di presentare una proposizione come inconfutabile è facilmente smontabile da chi abbia un po’ di esperienza. In questo articolo vogliamo proprio insegnare le basi per giudicare i test clinici che ci vengono offerti dai media come certezze, verità che cadono da un “alto” cui il povero mortale non può aspirare e a cui deve credere più o meno fideisticamente.
La sfida
Ricordatevi: di fronte a un test clinico ci si deve sempre porre nell’ottica di scoprire il trucco, proprio come di fronte a un gioco di un prestigiatore. Questa posizione non è frutto di scetticismo, ma è indice di spirito critico. A volte la frase “test clinici hanno dimostrato che…” è solo un tentativo di confondere o ingannare l’interlocutore.
Nel menu Raziologia, nella sezione Capire la scienza, la sottosezione I trucchi della ricerca presenta i trucchi non dolosi, cioè che derivano dalle difficoltà stesse della ricerca e sui quali i ricercatori chiudono un occhio per poter comunque dare il loro contributo alla scienza. Per esempio, nell’errore del campione si può essere in perfetta buona fede, scegliendo un campione apparentemente buono, ma che in realtà non lo è affatto. Un esempio lampante è l’uso dei fitosteroli per la prevenzione dell’ipercolesterolemia. Supponiamo che voglia studiare un prodotto naturale a base di fitosteroli (steroli vegetali); scelgo un campione di persone “normale”; purtroppo, a causa dello stile di vita occidentale, la maggior parte delle persone (sedentarie e in sovrappeso) hanno la colesterolemia alta e assumono alimenti molto ricchi di colesterolo. Il prodotto funziona e il colesterolo si abbassa di una frazione percentuale; da qui il consiglio: dieta senza cibi ricchi di colesterolo + prodotto e tutto è sotto controllo. Come hanno però dimostrato Drewitt e Ayesh (1999), i fitosteroli non funzionano in persone che hanno la colesterolemia alta, ma seguono una dieta corretta. Il prodotto da utilissimo diventa inutile perché se assunto con dieta corretta è inefficace nel ridurre il colesterolo endogeno.
Vediamo invece alcuni errori “dolosi”.
Errore di funzione – Si gioca sul cambiamento di funzione del prodotto. Un esempio è la glucosamina, una sostanza capace di rallentare l’artrosi, ma non di curarla efficacemente. Un conto è rallentare e un conto curare!
Errore quantitativo – L’esempio più eclatante è quello degli antirughe; nessun prodotto risolve il problema (al più ringiovaniscono la pelle con applicazione continua mostrano un aspetto del viso di qualche anno inferiore): i test clinici giocano sul fatto che, manipolando e reinterpretando i dati, un risultato modesto diventa un risultato definitivo.
Errore di generalizzazione – Tipico dei test clinici che tendono a generalizzare a tutto l’insieme un problema o una risoluzione che interessa solo una parte (spesso esigua) dell’insieme della popolazione. Ci sono persone a cui X fa bene (male), X fa bene (male) a tutti; Y ha risolto il problema a un gruppo di persone, Y risolve il problema a tutti. Esempi tipici sono la dieta dissociata o le intolleranze alimentari, molto meno frequenti di quanto i loro sostenitori vogliano farci credere.
Errore di seminformazione – Talmente importante da meritare un articolo a sé: La seminformazione.
Effetto tempo ed effetto coincidenza – Sono trucchi che riguardano soprattutto le terapie. Si veda Effetto coincidenza ed effetto tempo.
Trucco del fino a… – Speso usato nel commercio, viene impiegato a volte anche nelle ricerche. Si veda Trucco del fino a…
Test clinici hanno dimostrato che…, una frase troppo spesso usata nel tentativo di presentare una proposizione come inconfutabile.
Un esempio pratico
Continuiamo a ricevere mail di persone che vorrebbero un commento su questa o quella ricerca che hanno alla base test clinici.
Il primo consiglio è quello di non rivolgersi a Roberto Albanesi, ma di studiare i libri di Roberto Albanesi (Migliora la tua intelligenza) e le pagine di questo sito (Raziologia, sezione Capire la scienza, sottosezione I trucchi della ricerca): in essi vengono spiegati molti dei trucchi che la pubblicità o le ricerche usano per pilotare la gente in una certa direzione.
Il secondo consiglio (che vale solo per i pigri) è di leggere questo breve articolo dove si smonta una ricerca standard.
La ricerca – Uno studio su X soggetti seguiti per oltre Y anni mostra che il fattore Z aumenta in media del P% il rischio di soffrire della patologia M.
Cavolo! Devo evitare Z. Sembra ragionevole. Gran parte di queste ricerche è invece del tutto risibile. Vediamo i punti critici che ognuno potrà applicare al suo caso specifico.
La correlazione – Quello che molta gente non sa è che molti test clinici non trovano cause, ma solo correlazioni.
Se non capite la differenza fra correlazione e causa, astenetevi dal credere ad affermazioni basate su dati statistici.
Il campione X – Questo è il punto più critico. Dal punto di vista statistico, i campioni che vengono considerati sono spesso poco significativi. Si veda l’articolo Il campione della ricerca e i suoi errori.
Il periodo – Notate quell’oltre. Sicuramente il ricercatore capisce che il periodo deve essere sufficientemente lungo, ma dimentica che quanto più è lungo tanto più si fotografa una realtà che potrebbe essere cambiata. Per un esempio si veda la critica alla ricerca su aspettativa di vita e vino. In sostanza anche qui si ereditano nella ricerca cause estranee al fattore Z.
Il fattore Z – Spesso non è nemmeno definito con chiarezza. Il numero di sigarette fumate da un soggetto per anni è fornito dallo stesso; dobbiamo cioè fidarci della “parola del campione”. In altri casi il fattore Z non è nemmeno definibile. Per esempio, supponiamo si voglia studiare l’effetto dell’integrazione della vitamina C; questa la definizione del campione: “chi prende supplementi di 1.000 milligrammi di vitamina C, sia regolarmente sia occasionalmente”. Quell’occasionalmente è risibile; cosa significa? Una volta in otto anni? Inoltre non si può trascurare che la vitamina C viene assunta anche con l’alimentazione; raggiungere mezzo grammo di vitamina C con i cibi è facilissimo, quindi, dal punto di vista scientifico, non si possono considerare equivalenti due persone che assumono la stessa integrazione; è necessario indagare la quantità totale di vitamina C che assumono.
La probabilità P – Questo punto è gravissimo. Le riviste serie non dovrebbero accettare ricerche che usano il trucco delle percentuali relative, trucco che ogni statistico conosce. Dire che il rischio aumenta del 25% quando per esempio per una persona di 50 anni è comunque dello 0,4%, vuol dire che passa allo 0,5%, cioè praticamente resta uguale, viste soprattutto le approssimazioni e le ambiguità introdotte dai punti precedenti.
La patologia M – Anche sulla patologia abbiamo qualcosa da dire. Molto spesso una patologia non è del tutto definita (si pensi alla sclerosi multipla) oppure la diagnosi è affidata al paziente stesso (mal di testa almeno 3 volte al mese) o, peggio, è inficiabile dalla psicologia del soggetto (sei migliorato?).
Insomma, non è difficile capire che, non essendo la ricerca scienza, quando si ha a che fare con ricerche basate su rilevazioni statistiche è spesso troppo facile trovare una ricerca che mostri che X è vero e una che mostri che X è falso!
Altri due esempi di ricerche da bocciare.
Come muoversi fra le ricerche?
Vorrei un suo parere su una notizia che mi è stata riferita da un professore universitario, ovvero che l’uso di alte dosi di antiossidanti e per lungo tempo, anziché prevenire possibili tumori, ne è la causa. Ormai non si sa più come muoversi… Un giorno pubblicizzano l’uso di antiossidanti come oncoprofilassi e prevenzione di malattie degenerative… subito dopo dicono l’esatto opposto.
La mail prova, se ancora ce ne fosse bisogno, che la ricerca non è scienza.
In merito all’appunto del professore, penso che la sua avversione agli integratori gli abbia fatto sopravvalutare l’esito di alcuni test clinici, peraltro condotti in vitro, ricerche che ebbero qualche notorietà un paio di anni fa, ma che ora sono state accantonate (chi è contro l’integrazione vitaminica ora si è buttato sulla vitamina E).
Come muoversi in generale? Purtroppo devo ammettere che chi non ha almeno le basi di biologia e di statistica ha delle grandi difficoltà (per questo conviene farsi queste basi, non è difficile).
Sul fronte biologico occorre sempre prendere con le pinze ricerche che sono condotte
- su animali
- in vitro (cioè su cellule in coltura o parti di organismi viventi, tessuti o organi isolati)
- su campioni di soggetti malati, anziani ecc. (un esempio al limite per spiegare il concetto: se scopro che lo zucchero (il pane) fa malissimo ai diabetici (celiaci) non posso arbitrariamente estendere il concetto alle persone sane!).
Sul fronte statistico, oltre ai problemi soprariportati, si deve citare la seminformazione implicita all’eccessiva evidenza del livello di significatività. Quando un ricercatore enfatizza un livello di significatività P=0,05, vuole dirci che c’è un 5% di probabilità che la relazione trovata per le variabili del nostro campione sia un puro caso; in realtà vuol farci credere che quello che lui ha scoperto è vero al 95%. Ciò è un grosso abbaglio: anche ritenendolo in buona fede (cioè che si limiti a parlare della scoperta di una semplice correlazione e non di una “causa”), il 95% vale per quel campione, per come è stato condotto quell’esperimento e per come sono stati letti i dati. Cambiando il campione e rifacendo l’esperimento il risultato potrebbe essere opposto (incoerenza sperimentale). Continuano a valere le perplessità soprariportate, siamo ben distanti dal 95% della verità.
Indice materie – Medicina – Ricerca scientifica – Test clinici
