Nel sito siamo sempre molto dubbiosi su ricerche di tipo correlativo, cioè quelle che cercano correlazioni e che purtroppo sono ormai la stragrande maggioranza delle ricerche pubblicate in campo medico. Il primo motivo è che spesso la ricerca è confezionata in modo che il ricevente il messaggio scambi spesso la correlazione per causa (seminformazione). D’accordo, questo è più un problema del ricevente il messaggio che del ricercatore, ma su questa seminformazione campano ricercatori e aziende produttrici di farmaci o di altre soluzioni per il benessere. Nell’articolo sulla ricerca scientifica trattiamo approfonditamente questo problema. Un secondo motivo per cui dubitare di ricerche correlative è l’incoerenza sperimentale, cioè la possibilità di trovare risultati diversi semplicemente scegliendo un altro campione. A differenza della confusione fra correlazione e causa (la cui “colpa” è del ricevente il messaggio), l’incoerenza sperimentale è sicuramente da addebitare al ricercatore che per vari motivi (di budget, di strumentazione, di tempo ecc.) sceglie un campione dubbio. E, statisticamente, il campione è dubbio nel 99% dei casi, con un punto interrogativo la cui grandezza dipende dalla singola ricerca.
Appare veramente grave che in campo scientifico non si faccia veramente nulla per arginare il fenomeno dell’incoerenza sperimentale. Tutti sanno che esiste (del resto è banalmente dimostrato dal fatto che spesso vengono pubblicate ricerche che si smentiscono a vicenda), ma l’unica cosa che si fa è introdurre metaricerche, cioè ricerche che prendono in esame più ricerche analoghe, ampliando e diversificando il campione in modo che i risultati risultino più affidabili. Come vedremo, il problema dell’incoerenza sperimentale non si risolve certo ampliando il campione. La numerosità del campione è fondamentale, ma anche i criteri di scelta del campione lo sono. Sulle riviste scientifiche si dà, giustamente, gran peso alla significatività della ricerca e si indica spesso un livello di significatività di almeno il 95% (p=0,05). Ciò però vuol dire semplicemente non che il risultato è vero al 95% (come crede il grande pubblico), ma che i risultati della ricerca su “quel” campione sono significativi al 95% e non frutto del caso. Ma, come detto, cambiando campione la musica può cambiare.
Tutto dipende dal campione
Il grande pubblico conosce solo concetti come la legge dei grandi numeri (peraltro intuitiva), per cui se un campione è sufficientemente numeroso, beh, allora deve essere sicuramente buono. Purtroppo non è così e un buon esercizio di spirito critico è quello che tende a smontare i campioni delle ricerche. Vediamo un esempio.
Molti siti medici riportano la ricerca fondamentale di Burton (1982) sul distacco di retina con macula off (quello più critico). Rimando all’articolo corrispondente per chi fosse interessato ai dettagli del problema, dettagli che qui non ci servono. Burton voleva indagare quanti pazienti con tale patologia recuperassero la vista. In particolare, Burton era interessato a capire quale fosse la percentuale in relazione al numero di giorni trascorsi dal distacco e il recupero visivo. Intento sicuramente lodevole, visto che furono analizzati 953 pazienti, un numero che doveva mettere al riparo da campioni di scarse dimensioni. I risultati di Burton sono riportati nel nostro articolo, sono sicuramente interessanti, molto interessanti, ma anche criticabili. Se si legge l’intero procedere della ricerca (chi fosse interessato clicchi qui), si capisce perché aver raggruppato tutti i dati studiandoli in funzione di un solo parametro sia poco utile dal punto di vista pratico, anche se dà comunque indicazioni. La ricerca di Burton è statisticamente significativa quindi è “fatta bene” e “i risultati non sono frutto del caso”. Dov’è quindi l’incoerenza sperimentale?
Semplice: il campione non è sufficientemente omogeneo; è omogeno sul fatto che tutti sono casi di macula off, ma:
- sono mischiate le tecniche operatorie (ce ne sono due, ognuna di esse con almeno due varianti);
- sono mischiate le abilità dei chirurghi;
- non viene considerata la strumentazione usata dai chirurghi;
- incredibilmente vengono mischiati pazienti con acuità visiva differente prima dell’intervento.
Burton stesso nel suo lavoro offre questi dati (tranne quello sui chirurghi), ma poi è costretto a prendere per buoni dati disomogenei per avere un campione decente. In altri termini, se avesse considerato solo i pazienti operati con distacco da 1 a 30 gg. dal chirurgo X con vitrectomia a gas, probabilmente il campione sarebbe diventato al massimo di 50-100 unità e per contro si sarebbe potuto obiettare che i dati dipendevano dall’abilità (o no, se erano pessimi) di X.
Scegliendo comunque un altro campione, magari in uno Stato diverso (ho trovato una ricerca indiana che, 20 anni dopo quella di Burton, dà dati decisamente più negativi!), si sarebbero ottenuti risultati diversi.
L’omogeneità del campione non è la sola causa di incoerenza sperimentale, quindi non è sufficiente che il campione sia omogeneo. Deve anche non essere ambiguo!
Il problema dell’ambiguità consiste nel fatto che, se si vogliono legare correlativamente A a B, si dovrebbe scegliere un campione sufficientemente numeroso con elementi non ambigui cioè che non differiscano in nessun fattore che possa interessare B; il punto è che, non conoscendo spesso da cosa dipenda A (per esempio in oncologia), è ottimistico sperare di avere un campione “sicuramente” omogeneo. Banalmente, se scelgo i miei 100 soggetti a Milano per studiare la relazione fra obesità e cancro posso trovare risultati diversi da un’analoga ricerca dove i 100 soggetti sono stati scelti a Nuoro. Certo si sa che l’inquinamento (un fattore legato allo sviluppo di tumori) possa aver “inquinato” i risultati di Milano, ma, visto che non si conoscono tutte le cause del cancro, come posso essere sicuro che un campione non venga “inquinato” da un fattore sconosciuto che vale proprio (e solo) per quel campione?
Il trucco del campione
L’incoerenza sperimentale viene spesso usata dalle aziende per promuovere un prodotto o un farmaco. Si eseguono ricerche su diversi campioni e poi viene pubblicata la ricerca il cui campione ha dato i migliori dati, relativamente a ciò che ci aspettavamo.
Ricerche correlative quindi sempre da bocciare? Non proprio perché sono comunque un punto di partenza che deve essere confermato da ricerche successive. Per esempio, dalla ricerca di Burton si può oggettivamente dedurre che 35 anni fa negli USA il distacco di retina non portava necessariamente alla perdita dell’acuità visiva (del resto uno studio recentissimo mostra che, sempre negli USA, il 100% degli operati entro 2 gg. recupera il visus). La ricerca è poi importante perché dimostrava (cosa confermata da tutte le ricerche successive) che “la percentuale di successo dipende dalla celerità d’intervento“. Ridurre la ricerca con tantissimi dati a due sole affermazioni (quelle in corsivo) può sembrare molto riduttivo, ma si deve rilevare che di moltissime ricerche, una volta esaminato il campione, non resta proprio nulla!
Quindi, morale: imparate a giudicare criticamente il campione, analizzandolo non solo per la sua numerosità, ma indagando anche la sua omogeneità e la sua ambiguità.
