Perché non pubblicare gli studi con risultati negativi?

Nel corso dell’attività quotidiana di consulenza in qualità di statistici medici ed epidemiologi, sarà capitato a molti di collaborare con colleghi che, di fronte a risultati non in linea con l’atteso o, ancor peggio dal loro punto di vista, non statisticamente significativi, decidono di non pubblicare i risultati ottenuti.
Come già ampiamente dichiarato su Epidemiologia&Prevenzione, la significatività statistica non rappresenta l’elemento discriminante per la definizione della qualità informativa dei lavori scientifici, anzi «classificare un risultato come statisticamente significativo è scorretto».¹ La qualità di un lavoro scientifico si basa sulla plausibilità dell’ipotesi di partenza, sul rigore metodologico nell’impostazione e nella conduzione dello studio, sulla rilevanza scientifica dell’argomento trattato, sul contributo esplicativo, sulla generalizzabilità e sulla riproducibilità dei risultati ottenuti, e sul rispetto dei principi di deontologia professionale. L’uso improprio del p-value ha portato a enfatizzare risultati che si sono poi dimostrati difficilmente replicabili, come sottolineato dal grande dibattito sulla riproducibilità della ricerca scientifica esploso con il lavoro di Ioannidis del 2005.² Sta di fatto che il p-value risulta essere imprescindibile per molti ricercatori e difficilmente sostituibile con altri concetti probabilmente più appropriati, quali, per esempio, l’intervallo di confidenza.
Sul significato dei termini statisticamente e significativo (tra i più utilizzati in campo scientifico) si potrebbe discutere ancora a lungo, così come sui motivi che portano a ottenere risultati inattesi, cioè contrari all’ipotesi di partenza, o a risultati coerenti con l’ipotesi di ricerca, ma statisticamente non significativi, definiti colloquialmente ed erroneamente negativi. Le cause, come accennato, possono essere varie: da una non sufficiente conoscenza dell’argomento in studio da permettere la formulazione di ipotesi valide a problemi metodologici, quali la pianificazione e il disegno dello studio, alla tecnica di campionamento, al calcolo dell’ampiezza campionaria,
e molti altri ancora. 
Spesso, però, gli studi nascono da una conoscenza approfondita dello stato dell’arte e vengono condotti correttamente da un punto di vista metodologico, ma, nonostante questo, si ottengono risultati che non soddisfano le aspettative dei committenti. Come scriveva Thomas Huxley: «The great tragedy of Science – the slaying of a beautiful hypothesis by an ugly fact» (La grande tragedia della scienza: il massacro di una bella ipotesi da parte di un brutto dato di fatto). I risultati ottenuti non vengono così presi in considerazione o, ancor peggio, vengono richieste ulteriori analisi non pianificate a priori, con il rischio di arrivare a conclusioni false, quello che si definisce come data dredging. Tutto ciò a scapito della qualità della ricerca scientifica, del paziente e della collettività, poiché si sono comunque utilizzate risorse che si sarebbero potute impiegare in maniera più proficua per altri scopi.
Anche dai risultati inattesi o statisticamente non significativi, indipendentemente dal fatto che si calcolino il p-value o l’intervallo di confidenza, ottenuti da studi clinici (e non solo) ben condotti, possono emergere spunti di riflessione importanti e scaturire idee nuove che possono generare informazioni preziose. Non a caso, molte scoperte sono nate dall’attenta analisi dei dati estremi o che erano in dissonanza con l’ipotesi di partenza. 
Risulta comunque difficile pubblicare studi con risultati negativi o solo confermativi di studi precedenti. La novità e il dato accattivante sembrano guidare la decisione finale del processo di revisione dei lavori scientifici, non considerando che la conferma, in diversi studi, dei risultati precedentemente ottenuti da altre ricerche rappresenta un vantaggio per la scienza (per esempio, risultati ottenuti nella popolazione generale confermativi di risultati osservati precedentemente su un campione limitato e selezionato). Questa difficoltà, tuttavia, non deve essere una giustificazione al riporre in un cassetto i risultati della propria ricerca. 
Ci piace ricordare il Leopardi nel Canto notturno di un pastore errante dell’Asia, quando, rivolto alla luna, dice: «Che fai tu, luna, in ciel? dimmi, che fai, silenziosa luna? […] E tu certo comprendi il perché delle cose, e vedi il frutto del mattin, della sera, del tacito, infinito andar del tempo. […] Mille cose sai tu, mille discopri, che son celate al semplice pastore». Forse anche noi non conosciamo in fondo tutto quello che si cela dietro i nostri dati e, come il pastore errante, siamo alla perenne ricerca di nuova conoscenza. Il rigore metodologico e l’etica professionale dovrebbero guidarci in questo percorso.

Conflitti di interesse dichiarati: nessuno.

Bibliografia

1. Biggeri A. P-value: «Le roi est mort, vive le roi!». Epidemiol Prev 2019;43(2-3):120-21.
2. Ioannidis JPA. Why most published research findings are false. PLoS Med 2005;2(8):e124.