Il fattore Eureka: come si legge uno studio scientifico (parte 1).

Già in passato ho ospitato in questo blog gli articoli di Giuliano Parpaglioni, biologo nutrizionista, che con quello che leggerete oggi ci spiegherà come si legge uno studio scientifico.

Non è facile come può sembrare ad un profano, ci sono molti elementi da valutare, particolari tecnici e fatti che, chi non è del campo, potrebbe sottovalutare.

Anche la ricerca apparentemente più banale può nascondere un colpo di genio e, viceversa, anche quella più complicata può essere, in realtà, vera spazzatura. Come fare quindi a valutare l'importanza di uno studio scientifico?
Oggi, con l'aumentare delle riviste "predatorie" (riviste scientifiche che di scientifico hanno pochissimo, pubblicano qualsiasi cosa, a prescindere dalla sua attendibilità, dietro pagamento) il caos è totale. È possibile trovare un dato ed il suo opposto. Non è facile quindi, per chi non ha gli strumenti adatti, capire il livello di ciò che si legge.

Il fattore Eureka è un indice inventato, bella intuizione di Giuliano, che serve a valutare l'attendibilità di uno studio.

Come fare? Eccolo spiegato.

L'articolo è diviso in due parti (potrebbe sembrare molto difficile ma non lo è e merita perché ci spiega cose che richiederebbero volumi interi).
Grazie a Giuliano Parpaglioni per la sua collaborazione.

==

Normalmente, le notizie in ambito scientifico arrivano tramite intermediari. Ognuno di noi si informa più o meno come tutti gli altri: articoli divulgativi online e cartacei, articoli di giornale, servizi televisivi, passaparola con amici e parenti.

Tutto quello che arriva alle notizie, ovviamente, deve avere avuto un'origine da qualche ricercatore che a un certo punto ha detto “oh, ecco: ora sappiamo che da A deriva B” pubblicando tutto il suo lavoro dimostrativo in una rivista scientifica in maniera dettagliata e tecnica. Successivamente, i giornalisti scientifici, gli addetti ai lavori o i vari interessati a quel dato argomento andranno a leggere quel lavoro e diffonderanno la notizia con i loro mezzi: generalmente il primo passaggio è cercare lo studio in un motore di ricerca dedicato, e PubMed è il più utilizzato.

Il passaggio tra l’articolo originale e l’orecchio della persona comune è quindi un passaggio critico, perché passa per una terza persona che si occupa di dare voce popolare a ciò che dice quel lavoro scientifico, spesso incomprensibile ai non addetti ai lavori. Salvo casi di cattiva scienza (ovvero lavori poco accurati, con analisi statistiche fantasiose o vere e proprie frodi), è questo il momento in cui siamo più deboli: dobbiamo fidarci di chi diffonde la notizia e della sua interpretazione, perché non saremmo in grado di andare a verificarla. Eppure sarebbe utile a molti il poter verificare le notizie che ci arrivano. L’obiettivo di questo articolo, quindi, sarà cercare di fare almeno un po’ di chiarezza tra i vari tipi diversi di studi che si possono trovare su PubMed, quale sia il peso di ciascun tipo di articolo nella quotidianità e quanto possiamo fidarci di un risultato, se non dal punto di vista matematico e statistico, almeno da quello divulgativo.

Il fattore Eureka

Credo che il modo migliore per arrivare all'obiettivo sia introdurre una scala di valori.

Potremmo chiamarla “scala Eureka”, e possiamo delimitarla tra 1 a 10.

Eureka è una parola che si traduce con “ho trovato” ed è attribuita ad Archimede di Siracusa;

nel nostro caso serve per definire lo stato di conoscenza raggiunto con un certo tipo di ricerca: con un Fattore Eureka (FE) di 1, più che “ho trovato” siamo di fronte a “forse potrebbe essere se”; un FE di 10 invece porta la matematica certezza che un dato avvenimento sia esattamente come descrive lo studio.

Un tipo di ricerca che abbia un FE pari a 1 potrebbe essere l’inizio di un nuovo filone di ricerca, un indizio per vedere se, come e quando una data cosa effettivamente avviene; un tipo di ricerca che arriva al 10 cambia le linee guida. Ci tengo a sottolineare che sto parlando di tipi diversi di pubblicazioni, non di singoli lavori: per questo motivo la scala non sarà mai esattamente definita ma magari potrà andare da TOT a TOT2 per quel tipo di pubblicazione. Ovviamente ci sono tanti lavori che rientrano in un FE di 1, ma 10 è praticamente una chimera: la scienza va avanti per verifiche e l’idea che esista un tipo di studio che da solo possa cambiare il mondo è alquanto improbabile. In questo contesto, questa scala ci servirà solo per capire come classificare quello che troviamo su PubMed, e che spesso viene riportato negli articoli: posso fare più affidamento su uno studio ecologico o su uno studio di coorte? Ha più rilevanza un trial clinico o uno studio caso-controllo? Queste sono le domande a cui voglio rispondere con la scala Eureka.

Esiste, in letteratura, quella che viene chiamata la evidence pyramid (1), la scala che useremo in questo articolo prenderà spunto dalla nuova versione di questa piramide, proposta nel 2016.

Le pubblicazioni

La ricerca inizia per curiosità, per voler scoprire come funziona qualcosa o per verificare che una data cosa sia effettivamente come si è sempre pensato fosse. Si chiama ricerca di base, ed è quella su cui si poggia tutto il mondo scientifico e tecnologico. In campo biomedico, si fa soprattutto nei laboratori e riguarda principalmente colture cellulari, esperimenti biochimici, microscopi, spettroscopi e camici macchiati di reagenti. Questa è la cosiddetta ricerca preclinica. Può essere in vitro se fatta in provette o su colture cellulari (che è la vera e propria ricerca di base) o in vivo se si tratta di esperimenti su animali (che spesso cerca già una qualche applicazione, anche se grossolana). Lo sviluppo di un farmaco ad esempio comincia così: si sintetizza una molecola, la si prova su cellule e poi su animali, se passa questi test la si prova su esseri umani. Fare ricerca sugli esseri umani però non riguarda solo i farmaci: apre infatti un ventaglio di possibilità molto ampio.

La ricerca clinica

Esiste tutta una serie di ricerche che riguardano la ricerca clinica e l’epidemiologia, tutte importanti – a loro modo – per comprendere meglio la realtà che ci circonda. Il seguente schema è la traduzione di quello pubblicato su Lancet nel 2002(2) che riassume, a grandi linee, cosa si fa in ricerca.

Immaginiamo di essere dei ricercatori che non fanno ricerca di laboratorio ma ricerca clinica. Abbiamo due strade principali da seguire: fare un qualche tipo di intervento (studi sperimentali) oppure limitarci a osservare cosa succede spontaneamente (studi osservazionali) e, in quest’ultimo caso, potremo decidere di descrivere semplicemente cosa succede in una popolazione (studi descrittivi) oppure fare un confronto tra due popolazioni (studi analitici). La scelta cambierà drasticamente il nostro FE, ma anche i costi e i tempi della nostra ricerca.

==

L'argomento, come si vede, è abbastanza complicato ed è per questo che nella valutazione di uno studio scientifico serve competenza. Nonostante possa sembrare ovvio fidarsi delle conclusioni di una ricerca, non è sempre così, gli elementi da valutare sono tanti.

Nella prossima parte dell'articolo cercheremo di capire il significato di ogni tipo di studio, a cosa serve e perché nasce (e cosa può concludere).

Alla prossima.