La sfida dei grandi database per la valutazione comparativa di impatto… adelante, con juicio

Il lavoro di Antonio Russo pubblicato in questo numero di E&P¹ dedicato alla Valutazione dell’efficacia della vaccinazione antinfluenzale in una popolazione 2014 2015 è una testimonianza delle possibilità di analisi offerte dai grandi dataset di record clinici, quali le schede ospedaliere, quando incrociati con archivi di sanità pubblica.

Esistono diverse esperienze di studi riguardanti le modificazioni nei trend di ricovero, per esempio quelli sull’impatto degli interventi normativi, come nel caso della legislazione antifumo sulla patologia cardiovascolare;² assai meno comune è l’andare oltre l’epidemiologia di associazione per avventurarsi nell’epidemiologia che valuta la comparative effectiveness. La potenzialità di queste ricerche per la sorveglianza e il monitoraggio è evidente. La complessità e i problemi, legati all’uso di questi database e al tipo di analisi per molti versi innovativa, non vanno sottovalutati e meritano di essere discussi, come è avvenuto durante la peer review dell’articolo di Russo.

Qualità dei dati

La prima questione sollevata è in qualche modo pregiudiziale. La quantità dei dati derivanti da flussi correnti (quindi senza particolari costi aggiuntivi) giustifica l’uso di informazioni di cui è poco connotata l’accuratezza (come per la valutazione delle patologie croniche)? Questa domanda potenzialmente inficia, a priori, la possibilità di utilizzo di questi dati per valutazioni di efficacia pratica. Raramente si può ricorrere ad approfondimenti del dato clinico e la qualità è valutata, di solito, una tantum in studi spesso limitati. È una questione chiara e dirimente, di cui si è spesso parlato su E&P a proposito di schede di dimissioni ospedaliere (SDO).³ Si chiede un perfezionamento delle basi di dati, ma fino a che punto ci si deve spingere? Si rischia l’inazione o, peggio, che i dati siano usati da altri senza adeguata metodologia. Nel caso dell’influenza, la modificazione di effetto legata alle patologie croniche è importante. È anche vero però che in molti lavori si usano indicatori molto standardizzati, come l’indice di comorbidità di Charlson, assai meno precisi di quelli puntuali utilizzati in questo lavoro di Russo.

Selezione e comparabilità dei soggetti

La seconda importante questione è la selezione e comparabilità dei soggetti, tipico dell’epidemiologia osservazionale.³ Le tecniche di propensity score sono ormai diffusamente usate, anche con livelli importanti di raffinatezza statistica. La questione per quanto riguarda il disegno dello studio è sempre la stessa: ottenere una comparabilità del gruppo indice (in questo caso i vaccinati) con il gruppo di riferimento (non vaccinati). Il propensity score non risolve di per sé la questione della selezione, ma mira a ridurla cercando di rendere il più possibile comparabili le due esperienze di popolazione; obiettivo teorico è un disegno che abbia come paradigma di riferimento il trial randomizzato (TR) (studi quasi-randomizzati). Il lavoro su grandi dataset di popolazione consente, inoltre, di campionare entro una larga popolazione di soggetti (definibile come generale) di cui si possono definire i propensity score1e quindi le differenze interne alla popolazione in studio.

PiÙ raffinati i metodi migliori i risultati?

Negli studi osservazionali, avere ben presente la storia naturale della patologia è di grande rilevanza. La dimensione tempo modifica le misure di impatto e per questo è importante la valutazione di adeguate finestre temporali (in questo caso con l’esclusione dei primi 28 giorni dalla vaccinazione). Naturalmente la stessa definizione delle finestre ha elementi di soggettività. L’interpretazione di quanto ciò sia soddisfacente in uno specifico studio è largamente funzione dell’interpretazione e dei convincimenti individuali. Una prima versione del lavoro di Russo, successivamente riveduta in base alle considerazioni dei revisori, presentava risultati finali assai simili a quelli della versione finale, nonostante l’autore avesse introdotto tutti i cambiamenti metodologici richiesti dai referee. Certamente ne ha guadagnato la presentazione, più comprensibile e chiara anche per il lettore meno esperto di aspetti statistici, ma non possiamo nascondere la sensazione che talvolta, e non è la prima volta, non ci sia corrispondenza tra la raffinatezza dei metodi e i risultati.

Trial randomizzati

Infine, una considerazione riguarda l’utilizzo dei risultati dei TR, che permettono la conoscenza a priori che deve guidare nell’interpretazione dei risultati di uno studio di efficacia pratica. Io penso che il TR sia necessario e utile soprattutto nella valutazione del disegno dello studio.⁴ Non è necessariamente utile, invece, trasferire meccanicamente i risultati di un setting sperimentale a quello osservazionale, rischiando di trascurare l’eterogeneità da cui spesso derivano le stime metanalitiche e la peculiarità del contesto osservazionale.

Il sale dell’epidemiologia

Le risposte a queste questioni sono il sale dell’epidemiologia e, quindi, compito di una rivista scientifica è portarle a conoscenza della comunità e promuovere una valutazione critica. Oggi, però, l’uso dei grandi dataset spinge anche ad aprire nuove strade, già in parte percorse in altre discipline. La progettazione condivisa, a priori, dei protocolli di gestione dati e delle procedure di analisi è stata realizzata in alcune valutazioni e dovrebbe essere praticata. Inoltre è necessario prevedere la disponibilità dei dataset usati nello studio per consentire ad altri ricercatori nuove analisi e diverse interpretazioni.

Responsabilità e riflessione critica

Infine bisogna considerare l’aspetto comunicativo e mediatico. Un risultato che dimostra l’efficacia pratica di un intervento, in particolare su una questione così importante come le vaccinazioni, ha necessariamente un impatto mediatico e può essere occasione di indirizzo nelle scelte di sanità pubblica e di sostegno a politiche o interessi specifici. Purtroppo è assai difficile far apprezzare ai diversi portatori di interesse la complessità e i problemi degli studi che pubblichiamo e l’incertezza che comunque si accompagna a ogni lavoro. Nei media ogni lavoro diviene affermazione di una verità. Dobbiamo sempre considerare la nostra responsabilità, ma, a mio avviso, una rivista scientifica come la nostra deve mantenere elevata l’attenzione a tutti i problemi e le incertezze, ma non deve rinunciare a contribuire alla riflessione e alla documentazione, al meglio delle sue capacità.

Non pubblicare sarebbe sbagliato. Noi pubblichiamo, ma riteniamo necessario stimolare la riflessione critica. Stimolare nuove valutazioni, sempre migliori metodologie e accrescere lo sforzo interpretativo, questo è il ruolo di una rivista scientifica di epidemiologia.

Conflitti di interesse dichiarati: nessuno.

Bibliografia

1. Russo A. A population study to evaluate the efficacy of influenza vaccination, 2014-2015. Epidemiol Prev 2015;39(4):234-42.
2. Barone-Adesi F, Gasparrini A, Vizzini L, Merletti F, Richiardi L. Effects of Italian smoking regulation on rates of hospital admission for acute coronary events: a country-wide study. PLoSOne 2011;6(3): e17419. doi:10.1371/journal.pone.0017419.
3. Ferretti S, Guzzinati S, Zambon P, et al. Cancer incidence estimation by hospital discharge flow as compared with cancer registries data. Epidemiol Prev 2009; 33(4-5):147-53.
4. Richiardi L, Pizzi C. Inverse probability weighting (IPW) and baseline selection in etiological cohort studies. Epidemiol Prev 2015;39(1):52-4.
5. Miettinen OS. Theoretical epidemiology. Wiley, New York, 1985