Scienza for dummies - 2

Nella prima parte dell'articolo ho cercato di riassumere in maniera semplice alcune basi della ricerca scientifica, dei suoi limiti e delle potenzialità.

La scienza è fatta da ipotesi (la Terra è rotonda, gli asini volano, un batterio causa un'infezione...) che poi devono essere confermate dagli studi, questo perchè un'ipotesi, seppur interessante e plausibile, deve essere per forza di cose confermata per diventare "accettabile" scientificamente. Parliamo di medicina, un'ipotesi medica ha un'unica possibilità di conferma, quella che si può trovare sperimentando, ripetendo gli esperimenti e facendoli controllare a chi li legge. Solo così un'ipotesi può diventare una realtà più oggettiva possibile, quindi scientifica. In caso contrario l'ipotesi è falsa o non dimostrata.

Davanti ad una teoria medica è quindi fondamentale capire chi l'ha formulata (a volte anche "l'abito può fare il monaco"), come lo ha fatto e se quello studio ha la validità utile a diventare una prova almeno accettabile di conferma della teoria di partenza.

Abbiamo visto come uno studio scientifico abbia alcuni punti fermi su cui basarsi ma in pratica, come si fa una studio scientifico? Quando in questo blog rimando agli studi a cosa mi riferisco, perchè "mi fido"? Una pubblicazione scientifica non è che una rivista cartacea (oggi ne esistono anche di versioni "on line") esattamente come i giornali o i periodici in vendita in edicola. Si occupa di diffondere le scoperte, le idee, gli aggiornamenti e le discussioni che avvengono in ambito scientifico. Sono quasi sempre "settoriali" e così esisterà la rivista di medicina ma anche quella di matematica, fisica, astronomia, biologia e così via. Possono essere anche "ultraspecializzate" così in medicina esisterà la rivista di neurologia o in ingegneria quella dedicata ai materiali plastici. Ciò che è pubblicato è quello che gli studiosi di tutto il mondo inviano alla rivista per far conoscere ai colleghi i risultati dei loro esperimenti.

La copertina di un numero di The Lancet, una delle riviste mediche più importanti al mondo

In genere le riviste più note e prestigiose compiono un controllo molto attento degli studi che ricevono (scegliendo poi se pubblicarli o meno) mentre quelle meno "importanti" possono pubblicare senza nemmeno curarsi della qualità dello studio. Esistono addirittura riviste "truffaldine" che chiedono denaro in cambio della pubblicazione dell'articolo e per questo non controllano per nulla la qualità o la veridicità di quanto ricevuto. Una ricerca scritta male, organizzata disordinatamente o poco importante riceverà molto difficilmente l'attenzione di riviste prestigiose e dovrà accontentarsi di essere pubblicata in quelle di scarso livello o addirittura di non diventare mai di dominio pubblico. Al contrario uno studio rivoluzionario o di grande qualità può puntare in alto e vedersi (con grandi sforzi) tra le pagine delle riviste scientifiche più prestigiose del mondo.

Per questo, quando si legge "uno studio rileva che..." non è detto che la "scoperta" sia così importante o rivoluzionaria e questo vale anche per gli studi pubblicati su riviste di un certo livello (ricordate il caso Benveniste su Nature o quello Wakefield su Lancet?).

Come si fa a sapere se una rivista gode di prestigio o è una raccolta di "ciarpame" scientifico?

Notorietà a parte (nomi come "Lancet" sono garanzie di serietà anche se possibili protagonisti di "scivoloni" incredibili, come già accaduto), esiste una sorta di "classifica" che permette di comprendere, entro certi limiti, l'importanza di una rivista scientifica (e quindi l'attendibilità di ciò che leggiamo). La classifica si compila secondo il valore del cosiddetto "impact factor" (fattore d'impatto, IP) che  consiste in un punteggio calcolato contando il numero di volte che la rivista è stata citata in altri lavori scientifici. Se molti scienziati basano le loro ricerche su quelle pubblicate in una certa rivista "evidentemente" questa è considerata seria ed attendibile. Se il valore di impact factor è molto basso significa che pochissimi (o nessuno) ricercatori si sono basati sulle ricerche pubblicate da questa, che quindi in ambito accademico gode di poca stima o considerazione. Questo punteggio è discutibile (e discusso) e persino "manipolabile" ma non mi addentro per non deviare il discorso. Per avere dei riferimenti, Lancet (forse la rivista medica più prestigiosa al mondo), ha un IP di 38,8, una rivista "storica" e reputata "bibbia" scientifica come Nature ha un impact factor di 31, il British Journal of Surgery (che anche se seria è di settore e non di valore altissimo) ha un 4,8 mentre esistono riviste con IP bassissimo come 2 o 1 o addirittura non hanno alcuna citazione. Con molta probabilità queste ultime non hanno alcun peso in campo scientifico (sarebbe meglio dire medico perchè in certi ambiti anche un IP di 2 potrebbe avere il suo valore).

Ma cos'è uno studio scientifico? Cosa vuol dire, come si pubblica?
Niente di più semplice (insomma...), si scrive esattamente ciò che si pensa di avere scoperto e si invia il tutto ad una rivista.

Sembra facile...in realtà servono alcuni mezzi, un po' di esperienza e tante idee valide.

Uno studio è composto da varie parti (come dei capitoli) precedute dai nomi degli autori (che sono scritti in un ordine ben preciso, in genere il primo nome è l'autore principale, l'ultimo è quello inserito per "prestigio" o perchè direttore del centro di ricerca) e dall'istituzione nella quale lavorano:

Abstract: un estratto, una sorta di riassunto dello studio per evidenziare i punti salienti e far capire subito a chi lo legge di cosa si parla.

Materiali e metodi: una descrizione del metodo utilizzato per lo studio, i mezzi tecnici, il tipo di esperimento, le caratteristiche dei farmaci (ad esempio) o delle persone studiate. Un modo per rendere chiara la ricerca e per permettere a chi lo volesse, di ripetere lo studio nelle stesse identiche condizioni.

Risultati: i risultati dello studio, l'analisi statistica, i numeri nudi e crudi.

Discussione: la discussione sul significato dei risultati, cosa può aver concluso l'esperimento, le considerazioni finali.

Per facilitare la ricerca degli studi nelle banche dati, queste conservano gli abstract (a loro volta catalogati con delle parole chiave) tramite i quali l'interessato può consultare lo studio completo.

Un esempio di "abstract". Il riassunto dello studio, diviso nelle varie sezioni.

Oggi le ricerche in campo medico aggiungono alla fine dello studio anche l'eventuale esistenza di "conflitto di interessi" (ad esempio se uno degli autori ha lavorato per l'azienda farmaceutica che ha prodotto il farmaco dell'esperimento analizzato) o la provenienza dei finanziamenti per lo studio, una sorta di "operazione trasparenza".

Uno studio scientifico è in inglese, per convenzione e semplicità di comunicazione, esistono anche studi in lingua originale (quindi anche in italiano) ma in questo caso si tratta quasi sempre di studi "minori" ed a diffusione locale.

Non è per niente necessario che a pubblicare sia un medico o uno scienziato. Chiunque in teoria, se ha un'idea valida ed ha condotto uno studio decente può vedere il suo nome stampato in una rivista scientifica (James Randi, colui che smentì lo studio di Benveniste sulla "memoria dell'acqua" è un illusionista ed una bambina di 12 anni è la persona più giovane mai apparsa come autore di uno studio scientifico, nel suo caso smentì i "poteri" di guaritori americani) anche se è evidente che lo scienziato possiede più mezzi ed esperienza di chi non è del campo.

Dopo aver scritto lo studio, corretto, rivisto e controllato, è il momento di cercare una rivista disposta a pubblicarlo. Se penso di aver scoperto qualcosa di rivoluzionario o particolarmente importante potrei spedire tutto ad una grande rivista, consapevole che in questo caso i controlli e le obiezioni saranno pignole ed attente, al contrario potrei accontentarmi di una rivista di minore importanza o addirittura di una delle tante riviste che accettano qualsiasi pubblicazione senza nemmeno controllarne il testo. Esistono riviste (spazzatura) che pubblicano qualsiasi cosa, basta che sia corrisposto un "adeguato" pagamento in denaro anche se non è detto che una rivista che pubblichi a pagamento sia per forza "truffaldina" (e ne esistono di serie che si finanziano proprio con i pagamenti degli autori delle pubblicazioni).

In genere una rivista prestigiosa ha una sorta di "commissione esaminatrice" i cosiddetti "referees" che controllano la ricerca, i suoi risultati, la corretta interpretazione di questi, spingendosi anche ai commenti sull'ortografia ed al buon inglese, esegue insomma una "revisione" dello studio ed essendo dei "colleghi" del ricercatore, fanno una "revisione tra pari" (nessun timore reverenziale né supponenza quindi, gli scienziati sono tutti uguali). I "controllori" sono in genere esperti del settore sconosciuti agli autori della rivista (o potrebbero favorirli per "amicizia" o "rispetto").

Una rivista importante ha in genere un controllo molto severo e si arriva a continui "rinvii" della pubblicazione con inviti a correggere una frase, una tabella, poi un nuovo controllo con nuove correzioni, anche sull'ortografia e così via. Dal primo invio all'effettiva pubblicazione di uno studio possono passare pure mesi (molto sospetta la pubblicazione data alle stampe poche settimane dopo il suo arrivo per l'accettazione). Una rivista che non prevede questa revisione è in genere molto scadente.

La ricerca non fa altro che esporre i risultati di un esperimento (per esempio l'efficacia di un farmaco o la presenza di effetti collaterali di un altro) e chi legge può così ricavare informazioni preziose, provare a riprodurre quei risultati, controllarne l'effettiva evidenza, eccetera.

Di fronte ad uno studio può succedere pure di non essere d'accordo con le sue conclusioni e quindi chi legge potrà pure commentare negativamente (motivando le sue critiche) i risultati o pubblicare a sua volta uno studio che li contraddice e persino scoprire una frode scientifica (Brian Deer con Andrew Wakefield ha fatto proprio questo). E' uno dei meccanismi di controllo più accurati ed efficaci che possano esistere. Uno studio è "pubblico" così chiunque può controllare, accettare o smentirne i risultati e la "comunità scientifica" è proprio l'enorme numero di scienziati che di fatto compie un controllo a posteriori sugli studi pubblicati e sui risultati di un dato esperimento.

Il dovere di un ricercatore, naturalmente, è quello di compilare studi più corretti possibile, accurati, controllati, cercando di limitare gli errori ed i fattori che condizionano i risultati ma è anche vero che non esiste lo studio perfetto ed ogni conclusione, anche quella che sembra più evidente, deve essere presa per quello che è. La scienza non è "definitiva" ma si evolve, cambia opinione, cresce.

Così c'è un solo modo di cercare di ottenere un risultato oggettivo: limitare gli errori di metodo.

Uno dei mezzi più utilizzati per diminuire la possibilità di errore è la cosiddetta "randomizzazione", ovvero la scelta random, a caso, dei partecipanti alla ricerca, all'esperimento e per testare la reale efficacia del farmaco lo paragonerò ad un placebo. Il placebo è una "pillola" composta da una sostanza inerte, senza effetti, così che chi la assume non avrà grossi benefici (anche se qualche piccolo beneficio derivante dalla suggestione e dal fatto di "sentirsi controllati" probabilmente apparirà).

Ho quindi due strumenti: il placebo e la randomizzazione, i risultati sono già sufficientemente attendibili.

 

Per capire meglio: se dovessi sperimentare un nuovo farmaco contro la pressione alta, non sarebbe corretto provarlo solo su individui giovani e che praticano sport o i risultati finali saranno con molta probabilità "ottimistici", positivi ed a favore del farmaco. Questo perchè gli individui più giovani e sportivi hanno meno probabilità di avere la pressione arteriosa sopra i limiti. Per il motivo opposto non otterrei risultati attendibili se provassi il farmaco solo su individui anziani e fumatori, questi probabilmente avranno la tendenza ad avere la pressione più alta e quindi i risultati dell'esperimento ne risulterebbero condizionati. Cosa faccio per ottenere un risultato più corretto possibile? Mescolo i gruppi, scelgo a caso. Nel gruppo che assumerà il placebo vi saranno individui sia giovani che anziani, sia fumatori che sportivi e così nell'altro, il gruppo che assumerà il vero farmaco. I risultati così, non saranno condizionati dalle persone e dal loro stile di vita ma solo dall'assunzione del farmaco. Questa è anche una rappresentazione "in piccolo" della realtà: la società infatti è formata da individui differenti per età, abitudini, stili di vita e salute e per sperimentare correttamente l'effetto di una nuova molecola devo necessariamente scegliere in maniera "random" (casuale) i partecipanti allo studio, "randomizzo" quindi i soggetti che verranno analizzati. Visto che il farmaco è "standard" devo accertarmi che i risultati siano simili per tutti coloro che la assumeranno, indipendentemente dal loro stato.

Sono già a buon punto e per quanto possibile ho evitato gli errori più evidenti, i cosiddetti "bias", non riusciremo mai a realizzare uno studio perfetto ed esente al 100% da possibili condizionamenti e bias ma cercheremo per quanto possibile di limitarli. L'errore potrebbe essere involontario.

Uno scienziato potrebbe essere talmente convinto della sua idea che lo studio che la sperimenta, involontariamente è condizionato dalle sue convizioni. Si chiama "bias di conferma", scegliere i metodi e selezionare i risultati per ottenere la risposta che volevo, fenomeno che in medicina può essere molto pericoloso e può essere fatto in buonafede o con intenzioni non proprio limpide.

Se un'azienda farmaceutica sta sperimentando un nuovo farmaco contro la cefalea (con investimenti enormi e tempi lunghissimi), il fallimento dello studio significherebbe aver perso tempo, denaro e risorse e pure utili futuri. Ho un modo per "aggiustare" i risultati, basta "sistemare" lo studio riportando solo i numeri che giocano a favore della mia causa.

Il presunto nuovo farmaco contro la cefalea, alla fine degli esperimenti ha mostrato di non funzionare in maniera significativa, ma l'azienda nota che in un gruppo di volontari che hanno partecipato allo studio la cefalea in effetti veniva curata efficacemente, sono le persone di età compresa tra i 30 ed i 40 anni.

Se lo studio concludeva che quel farmaco non aveva effetto significativo basterebbe escludere dalle statistiche tutti i soggetti che non fanno parte di quella classe di età, che faccio "scomparire". Non ho condotto quindi un esperimento corretto ma l'ho sistemato per ottenere ciò che desideravo.

Con i nuovi numeri posso concludere che il mio farmaco funziona: lo vendo e guadagno. Senza alcuna giustificazione scientifica.

Può succedere altro.

Lo stesso presunto farmaco contro la cefalea non funziona più di quelli in commercio. Anche in questo caso avrei sprecato anni e soldi. Come posso fare per recuperarli?
Semplice, "distrarre" l'attenzione dall'efficacia e concentrarla sugli effetti collaterali.

Il mio studio inizialmente si intitolava "Efficacia del nuovo farmaco contro la cefalea" ma visto il fallimento si intitolerà "Sicurezza del nuovo farmaco contro la cefalea". In pratica il nuovo farmaco non è migliore di quelli esistenti (e quindi non potrei venderlo) ma provoca meno nausea e meno gastriti (e così posso venderlo).

Nella peggiore delle ipotesi potrei pure nascondere degli effetti collaterali gravi o potrei non accorgermi degli stessi perchè qualsiasi sia il numero di soggetti sui quali il farmaco è sperimentato, non sarà mai così grande (e di conseguenza così attendibile) come quando il prodotto è consumato in tutto il mondo: in fondo ogni farmaco in commercio è un grande esperimento anche dopo la sua vendita. Nel caso di una tale frode deliberata si tratterebbe di un gravissimo danno non solo perchè probabilmente causa di problemi di salute ma anche per aver carpito la buonafede di milioni di medici di tutto il mondo (non dimentichiamo che se si compie una frode scientifica, anche il medico è una vittima perchè ha basato le sue prescrizioni su qualcosa che credeva attendibile).
Un altro elemento fondamentale della ricerca scientifica è che quasi mai uno studio è "definitivo". Uno studio singolo dimostra molto poco e tranne vere e singolari scoperte scientifiche ogni ricerca deve essere ripetuta altre volte, da altri scienziati ed in altre condizioni per vedere confermate le sue conclusioni.

Beh, le cose come vedete cominciano a farsi complicate.

Tanto difficili che qualcuno potrebbe pensare che è davvero improbabile che un semplice cittadino o uno scienziato senza "appoggi" importanti riesca a fare una grande scoperta o a raggiungere le vette della scienza. E' una delle giustificazioni che avanzano molti ciarlatani: secondo loro le grandi scoperte di cui sono protagonisti non vedranno mai approvazione scientifica perchè le riviste, gli ambienti accademici e le "lobby" sono tanto chiuse e rigide.

Saranno pure davvero rigide e chiuse ma questa è fondamentalmente una scusa.

E' chiaro che non è possibile da parte della comunità scientifica "analizzare" qualsiasi idea venga in mente a tutti gli abitanti del pianeta o rendere conto a tutti coloro che si svegliano affermando di avere scoperto la cura del secolo ogni giorno, ma chi ha davvero un'ipotesi interessante può ragionevolmente sperare di farcela.

Letteralmente chiunque può diventare da un momento all'altro un nome illustre della scienza e della medicina è accaduto ed accade anche ai giorni nostri, come vedremo in un prossimo articolo.

Alla prossima.