Prospettive sull’applicazione dei metodi di intelligenza artificiale per la consultazione pratica della letteratura scientifica: un focus sulle neoplasie professionali

Obiettivi

La valutazione delle evidenze scientifiche è un’operazione fondamentale ogni qual volta si voglia cercare di attribuire lo sviluppo di una patologia neoplastica all’esposizione ad agenti cancerogeni avvenuta sui luoghi di lavoro.¹ Questa operazione non è sempre agevole: necessita di alcune conoscenze tecniche, ma soprattutto può essere molto dispendiosa in termini di tempo, soprattutto per i professionisti che non si occupano abitualmente di revisioni sistematiche di letteratura.^2,3 La sempre maggiore implementazione di sistemi comunemente detti di intelligenza artificiale (AI, in particolare i large language models, LLM) offre teoricamente un’opportunità di automatizzare totalmente o parzialmente le operazioni di ricerca di letteratura scientifica^4,5 finalizzate alla valutazione di specifici nessi di causa tra esposizione professionale e sviluppo di una neoplasia. 

Questo studio si prefigge come obiettivo la valutazione della fattibilità dell’utilizzo di modelli di ricerca automatica basati sull’utilizzo dell’AI per l’individuazione di studi rilevanti nel database PubMed in relazione all’associazione tra specifiche neoplasie ed esposizioni professionali. In particolare, questo studio si inserisce nel più ampio intento di fornire gratuitamente uno strumento online (detto matrice della letteratura), volto a presentare automaticamente i risultati di una ricerca PubMed pre-effettuata, strutturata e depositata in uno specifico repository online. L’utente, collegandosi al sito, ha la possibilità di effettuare una ricerca immettendo due chiavi di ricerca selezionabili da un menu a tendina: 1. la sede neoplastica di interesse; 2. il settore produttivo di interesse. A valle di questa operazione, lo strumento matrice restituirà all’utente tutti i risultati presenti nel database PubMed che indicano una correlazione significativa tra il settore produttivo e la sede tumorale ricercati. I principi di inclusione sono descritti nella sezione metodologica del presente lavoro. Questo strumento è stato sviluppato per favorire la fruizione e la consultazione delle evidenze scientifiche da parte dei medici di medicina generale e dei medici operanti nei servizi territoriali (quali ATS, SPRESAL o PSAL), con l’intento di supportare la pratica clinica e la sorveglianza sanitaria attraverso informazioni aggiornate e di immediata accessibilità in merito alla correlazione tra specifiche neoplasie ed esposizioni professionali. Lo strumento matrice, quindi, non è assimilabile alle metodiche generali di ricerca di letteratura per la produzione di studi di revisione sistematica o di metanalisi e non è inteso come sostituzione delle metodiche ricordate. Lo strumento matrice è, invece, un tool che semplifica la ricerca di letteratura su un database specifico (nel caso specifico, PubMed) fornendo all’utente le indicazioni bibliografiche e le principali misure epidemiologiche degli articoli selezionati in base ai criteri indicati nella sezione metodologica del presente lavoro. L’utente dello strumento matrice, nel momento in cui decide di indagare una specifica sede tumorale e un determinato settore professionale selezionandoli sull’interfaccia online dello strumento stesso, riceve in risposta un elenco di studi scientifici di elevata pertinenza e plausibilità scientifica, selezionati a priori dall’analisi condotta da specialisti di medicina del lavoro ed epidemiologi appartenenti al gruppo di lavoro del progetto “Big data e deep learning nella sorveglianza dei tumori professionali” (BEST). Lo scopo dello strumento è di fornire, in modo accessibile e semplificato, le indicazioni epidemiologiche utili alla segnalazione di sospetta neoplasia professionale o fornire spunti analitici adatti all’analisi di contesti territoriali con specifiche attività produttive. Com’è intuibile, questa attività di selezione preliminare, attuata per costruire lo strumento matrice, è molto dispendiosa in termini di tempo e di risorse economiche e può essere aggiornata solo con progetti ad hoc a distanza temporale non preliminarmente definibile, essendo l’attività di aggiornamento non finanziata con continuità. La possibile implementazione di strumenti di AI potrebbe, quindi, incedere in modo decisivo per rendere fattibile un aggiornamento continuo dello strumento o perlomeno a intervalli di tempo regolari e verosimilmente brevi.

Il presente progetto intende valutare la fattibilità dell’impiego di modelli di ricerca automatica basati su AI al fine di identificare, all’interno del database PubMed, studi scientifici pertinenti riguardanti l’associazione tra determinate neoplasie ed esposizioni specifiche di natura lavorativa, in modo da comprendere il grado di automatizzazione possibile per l’aggiornamento continuo dello strumento matrice, consultabile all’indirizzo https://best.dctv.unipd.it/

Disegno dello studio

Selezione degli studi da includere in matrice da parte del gold standard umano

La prima fase dello studio, rappresentata dalla selezione degli studi, è stata svolta utilizzando una stringa di ricerca validata all’interno del database PubMed, per un aggiornamento dello strumento matrice. Il testo completo della stringa, definita nell’opzione più specifica, è reperibile in Mattioli et al.⁶ ed è riportato di seguito:

(occupational diseases [MH] OR occupational exposure [MH] OR occupational medicine [MH] OR occupational risk [TW] OR occupational hazard [TW] OR (industry [MeSH Terms] mortality [SH]) OR occupational group* [TW] OR work-related OR occupational air pollutants [MH] OR working environment [TW]) AND name(s)-of-the-disease.

Le sedi neoplastiche analizzate sono state selezionate dal Gruppo di lavoro del progetto BEST sulla base di criteri d’interesse clinico-epidemiologico. In tabella 1, è riportato il dettaglio delle sedi neoplastiche esaminate. 

Il protocollo di aggiornamento dello strumento matrice ha previsto di includere esclusivamente gli articoli pubblicati nel periodo compreso tra il 01.01.2010 e il 31.12.2024, comprendenti studi di coorte, studi trasversali (cross-sectional), studi caso-controllo e metanalisi. Criterio di inclusione fondamentale è stato la presenza di stime di rischio superiori a 1,00, con il limite inferiore dell’intervallo di confidenza al 95% anch’esso maggiore di 1,00. La figura 1 illustra un esempio del diagramma di flusso relativo al processo di selezione degli articoli destinati all’inserimento nello strumento matrice.

In una prima fase, la stringa di ricerca è stata immessa nel database PubMed, integrata dalle parole chiave specifiche per la neoplasia oggetto di analisi. Talvolta, una stessa patologia neoplastica poteva avere differenti (anche se equivalenti) definizioni in lingua inglese (come bladder cancer e neoplasm of the bladder): ciascuna delle differenti diciture è stata aggiunta come criterio di ricerca alla stringa validata, ottenendo, quindi, diverse serie di risultati parzialmente sovrapponibili le une alle altre. Questo ha comportato un passaggio successivo, come riportato di seguito, per l’eliminazione dei duplicati.

Successivamente, è stato applicato il filtro temporale relativo al periodo 01.01.2010-31.12.2024. Il passaggio seguente ha previsto l’eliminazione dei duplicati, ottenendo così il numero complessivo di articoli effettivamente sottoposti a valutazione. Da questo insieme sono stati poi selezionati gli studi idonei all’inserimento nello strumento matrice attraverso l’applicazione di cinque criteri di esclusione applicati in maniera gerarchica, indicati di seguito:

• step 1 – lingua dell’articolo scientifico: tutti gli studi non pubblicati in lingua inglese o italiana sono stati esclusi dalle successive analisi ai fini dell’inclusione nella matrice;
• step 2 – pertinenza tematica: tutti gli studi non coerenti con la specifica neoplasia selezionata sono stati esclusi dalle ulteriori analisi per l’inserimento nella matrice. Le fasi 1 e 2 vengono condotte durante l’analisi del titolo e dell’abstract; pertanto, gli articoli non idonei vengono direttamente esclusi da qualsiasi ulteriore revisione;
• step 3 – disegno di studio non idoneo: tutti gli studi con un disegno metodologico differente da quelli definiti nei criteri di inclusione (per esempio, case report o lettere all’editore) sono stati scartati;
• step 4 – esclusione per mancanza di specificazione del settore produttivo/esposizione professionale: sono stati esclusi gli studi nei quali il settore professionale o una specifica esposizione occupazionale, utile a una ricostruzione accurata del contesto lavorativo, non risultavano chiaramente indicati. In questa fase, vengono assegnati i codici dell’International Standard Industrial Classification (ISIC) e, quando disponibili, i codici dell’International Standard Classification of Occupations (ISCO), al fine di dettagliare il più possibile l’attività professionale;
• step 5 – esclusione per assenza di evidenza di aumento del rischio: sono stati esclusi tutti gli studi in cui, pur riscontrandosi una correlazione tra il settore professionale e la neoplasia oggetto di analisi, non emergeva un incremento statisticamente significativo del rischio di insorgenza della neoplasia nella popolazione studiata.

Al termine del processo di selezione, sono state predisposte tabelle specifiche per ciascuna delle sedi neoplastiche analizzate, riportanti per ogni articolo esaminato il settore professionale di riferimento, le stime di rischio, gli intervalli di confidenza e l’eventuale presenza di analisi per sottogruppi. In figura 2 è illustrata la sintesi dei risultati inseriti nelle tabelle dello strumento matrice.

Selezione automatizzata dei risultati tramite tecnologia AI

La fase di screening automatizzato degli articoli è stata realizzata mediante l’impiego di un modello di intelligenza artificiale di tipo LLM appartenente alla famiglia Generative Pretrained Transformer (GPT), nella versione GPT-4o sviluppata da OpenAI e interrogata tramite API. L’analisi ha riguardato unicamente titolo e abstract ed è stata condotta all’interno di una pipeline automatizzata costruita in ambiente R (versione 4.4.2) utilizzando il pacchetto {targets}, in modo da garantire massima robustezza e piena riproducibilità del flusso di lavoro. Per garantire la coerenza metodologica con gli standard internazionali e con i protocolli adottati nello strumento matrice della letteratura, è stata utilizzata la stessa stringa di ricerca validata proposta da Mattioli et al.,¹ riconosciuta come riferimento nello studio dei determinanti occupazionali di malattia.

Per ciascuna delle 7 sedi tumorali considerate (mammella, ovaio, vescica, laringe, rinofaringe, mieloma multiplo e linfomi), è stato effettuato lo screening automatizzato su titolo e abstract considerando 100 record estratti da PubMed per ognuna delle sedi considerate.

A ciascun record è stato applicato un prompt strutturato, articolato in due componenti principali:

• system prompt, che definiva il contesto professionale e il ruolo del modello come epidemiologo occupazionale esperto; includeva anche una descrizione sintetica degli obiettivi del progetto (valutazione del nesso tra esposizioni occupazionali e specifiche sedi tumorali);
• screening prompt, che specificava: l’obiettivo dello screening (identificare studi pertinenti per l’inclusione nella matrice della letteratura); i criteri di inclusione ed esclusione, riguardanti lingua dell’articolo, disegno di studio, specificità della sede tumorale, chiarezza dell’esposizione occupazionale e presenza di stime numeriche dell’associazione; le informazioni da estrarre (tipo di studio, codice ICD-10, stimatore e intervalli di confidenza); il formato di output, richiesto in JSON strutturato, con i campi screening, studio, ICD e stime.

Per ogni articolo, il modello ha restituito un output strutturato comprendente: • la classificazione di pertinenza (sì/no), accompagnata da una breve motivazione testuale che consente di perfezionare il prompt e rendere più accurata la selezione; • l’indicazione del disegno di studio; • il codice ICD-10 della sede neoplastica e il settore occupazionale di riferimento, quando disponibili; • le stime quantitative dell’associazione esposizione-malattia, quando presenti.

Tutti i record classificati come “sì” o “no” dal modello sono stati ricontrollati manualmente da revisori umani indipendenti, esperti in epidemiologia occupazionale. La revisione umana ha rappresentato il gold standard di riferimento per la valutazione delle prestazioni del sistema automatico.

Il confronto tra l’output dell’IA e il gold standard ha permesso di calcolare, per ciascuna sede tumorale e complessivamente, le seguenti misure di accuratezza:

• veri positivi (VP): record classificati correttamente come “rilevanti” dall’IA;
• falsi positivi (FP): record classificati come rilevanti dall’IA, ma esclusi dal gold standard;
• veri negativi (VN): record correttamente esclusi dall’IA;
• falsi negativi (FN): record erroneamente esclusi dall’IA, ma inclusi dal gold standard.

A partire da questi valori, sono stati calcolati sensibilità, specificità, valore predittivo positivo (VPP) e valore predittivo negativo (VPN), riportati nella tabella 2 per ciascuna sede tumorale e complessivamente.

La pipeline così definita consente di replicare integralmente il processo su nuove sedi tumorali o versioni aggiornate del modello IA, garantendo trasparenza metodologica e possibilità di aggiornamento continuo dello strumento matrice.

Principali misure di outcome

Fino al momento della sottomissione del presente lavoro, all’interno del processo generale di aggiornamento dello strumento matrice è stato analizzato un totale di 4.899 articoli relativamente alle sedi neoplastiche indicate precedentemente (cfr. tabella 1), di cui 371 sono stati giudicati idonei per l’inserimento. Nel dettaglio sono stati inseriti in matrice 8 articoli relativi al rinofaringe, 25 per la laringe, 72 per la vescica, 10 per l’ovaio, 38 per la mammella, 142 per il polmone, 1 per la trachea, 13 relativi ai tumori cutanei non melanomatosi e 9 per l’apparato ematolinfopoietico. Il processo di selezione dei paper da includere nello strumento matrice è stato successivamente ripetuto con l’utilizzo dell’AI applicata all’analisi di titolo e abstract di un sottoinsieme di 700 paper, 100 per ogni sede tumorale scelta a priori.

Risultati

È stato analizzato un totale di 700 paper relativi a 7 diverse sedi neoplastiche (100 per ogni sede, dettagli in tabella 2). Le sedi prese in considerazione per la revisione tramite AI sono state: laringe, rinofaringe, linfomi, mieloma multiplo, ovaio, vescica e mammella. Paragonato al gold standard umano, il modello basato su AI ha prodotto un totale di 70 falsi positivi (12,3%) e 5 falsi negativi (3,8%).

Discussione

Lo studio esplorativo descritto in questo lavoro ha l’ambizione di aiutare il miglioramento dello strumento matrice, riducendo i costi e le tempistiche del suo aggiornamento.

Lo strumento matrice, come illustrato nella sezione introduttiva, non è uno strumento utilizzato per implementare revisioni sistematiche di letteratura né metanalisi. Lo scopo dello strumento è di fornire un tool che semplifica la ricerca di letteratura su un database specifico (in questo caso, PubMed), fornendo all’utente le indicazioni bibliografiche e le principali misure epidemiologiche degli articoli selezionati in base alla pertinenza dello lavoro rispetto allo studio dei fattori di rischio presenti in un determinato settore produttivo e alle caratteristiche della stima di rischio riportata, in particolare la presenza di stime di rischio superiori a 1,00, con il limite inferiore dell’intervallo di confidenza al 95% anch’esso maggiore di 1,00. Questo criterio è stato discusso e giudicato generalmente inadeguato per decidere l’inclusione di un lavoro in revisioni sistematiche o metanalisi o per valutare dicotomicamente la sua significatività statistica e, più in generale, scientifica.^7-10 L’obiettivo dello strumento matrice è, però, differente e in larga misura volto a fornire all’utente le evidenze scientifiche con maggiore forza dell’associazione o con dimensioni di popolazione più ampia, particolarmente utili a corredo delle segnalazioni di neoplasia professionale o come base d’indagine di realtà espositive territoriali legate a specifici processi produttivi. Inoltre, la selezione degli articoli da includere (di fatto, un sottoinsieme selezionato a partire da un motore di ricerca scientifico) ha necessità di due criteri: uno di pertinenza, rispetto alla descrizione di rischi professionali, e uno di utilità e fattibilità pratica per i fini descritti, facilmente e inequivocabilmente individuabile, seppure in misura parzialmente arbitraria.

Inoltre, lo scopo principale di questo lavoro è di valutare l’efficienza della selezione da parte dello strumento AI degli studi considerati, più che non la valutazione delle caratteristiche dello strumento matrice.

È opportuno sottolineare che il presente studio si colloca in un contesto di straordinaria accelerazione tecnologica. I modelli di intelligenza artificiale di tipo LLM, come GPT-4o impiegato in questa analisi, rappresentano una generazione già completamente superata da almeno due generazioni di soluzioni più recenti (per GPT, per esempio, prima da GPT-4.1, ora da GPT-5, attualmente in tre versioni: fast, thinking e pro), capaci di fornire prestazioni significativamente superiori in termini di accuratezza, coerenza semantica e capacità di ragionamento. La velocità con cui questi sistemi evolvono implica che anche un modello “allo stato dell’arte” può diventare obsoleto nel giro di pochi mesi, se non settimane, rendendo necessaria una continua attività di benchmarking e validazione. Se questa dinamica da un lato pone sfide metodologiche, invalidando, per quanto migliorativamente, in brevissimo tempo risultati di studi basati su versioni specifiche dei modelli, dall’altro apre prospettive senza precedenti: l’integrazione in pipeline automatizzate tramite modelli sempre più affidabili, aggiornabili e adattivi. In questo scenario, il valore scientifico non risiede tanto nella performance assoluta del singolo modello testato, quanto nella definizione di protocolli riproducibili e trasparenti per l’interazione uomo-AI, capaci di mantenere la qualità metodologica indipendentemente dal modello impiegato. La ricerca futura dovrebbe, pertanto, concentrarsi sulla standardizzazione dei processi, sull’audit delle decisioni algoritmiche e sulla creazione di benchmark dinamici che consentano di valutare longitudinalmente l’evoluzione delle capacità dei modelli nel tempo. 

È utile collocare i nostri risultati anche rispetto ad altri strumenti già disponibili per lo screening delle revisioni sistematiche, quali Rayyan e ASReview, entrambi dotati di componenti di supporto basate su metodi di machine learning. In questi sistemi, tuttavia, il flusso operativo è concettualmente opposto al nostro: è il modello a imparare dal revisore, che deve quindi procedere allo screening esplicito di un numero variabile – talvolta elevato – di articoli, affinché l’algoritmo possa addestrarsi e proporre un ranking progressivamente più accurato. Questo implica che il revisore debba comunque leggere e giudicare gli studi (come in ASReview, dove l’intero set deve essere visionato, seppur ordinato per rilevanza), mentre nel nostro approccio il revisore svolge un compito molto diverso e sensibilmente più efficiente, ovvero verificare il lavoro del modello e non revisionare direttamente ogni singolo articolo.

In particolare, il flusso presentato in questo studio prevede un processo pienamente automatizzato, basato su prompt iterativamente ottimizzati, validati dal revisore umano fino al raggiungimento di prestazioni soddisfacenti. Per ogni sede neoplastica, si è proceduto con successivi cicli di affinamento del prompt, arrivando a valutare 100 articoli per sede come livello adeguato di stabilizzazione del modello. Questa dinamica ribalta la logica dei sistemi tradizionali: non è il revisore a dover addestrare il modello, ma è il modello – tramite un prompt controllato e riproducibile – a produrre una selezione autonoma che il revisore si limita a controllare. Questo processo, oltre a risultare più rapido, consente un’elevata trasparenza metodologica e una perfetta replicabilità delle condizioni di screening, rendendolo particolarmente adatto a domini altamente specifici come l’epidemiologia occupazionale.

Conclusioni

Il presente studio ha messo in risalto che l’impiego di un modello basato sull’intelligenza artificiale può rappresentare un valido supporto nella fase iniziale di una revisione della letteratura, implementata per scopi pratici di supporto alla segnalazione di possibile neoplasia professionale o per l’analisi di contesti produttivi particolari da parte di servizi sanitari territoriali. Pur rendendosi necessario un ulteriore perfezionamento del modello, finalizzato in particolare alla riduzione del tasso di falsi positivi, l’approccio proposto dimostra un buon equilibrio tra rapidità di esecuzione e sensibilità analitica, offrendo prospettive promettenti per una sua applicazione su scala più ampia. In particolare, la possibilità di mantenere costantemente aggiornato uno strumento come la matrice della letteratura potrebbe costituire un ausilio rilevante per il personale medico impegnato nell’indagine dei possibili legami tra l’eziologia di neoplasie specifiche e le esposizioni di natura occupazionale.

Conflitti di interesse dichiarati: nessuno.

Bibliografia

1. Siemiatycki J, Richardson L, Straif K et al. Listing occupational carcinogens. Environ Health Perspect 2004;112(15):1447-59. doi: 10.1289/ehp.7047
2. Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open 2017;7(2):e012545. doi: 10.1136/bmjopen-2016-012545
3. Higgins JPT, Thomas J, Chandler J et al (eds). Cochrane Handbook for Systematic Reviews of Interventions. 2nd edition. Chichester (UK), John Wiley & Sons, 2019.
4. Marshall IJ, Wallace BC. Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Syst Rev 2019;8(1):163. doi: 10.1186/s13643-019-1074-9
5. van Dis EAM, Bollen J, Zuidema W, van Rooij R, Bockting CL. ChatGPT: five priorities for research. Nature 2023;614(7947):224-26. doi: 10.1038/d41586-023-00288-7
6. Mattioli S, Zanardi F, Baldasseroni A et al. Search strings for the study of putative occupational determinants of disease. Occup Environ Med 2010;67(7):436-43. doi: 10.1136/oem.2008.044727
7. Greenland S, Senn SJ, Rothman KJ et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. Eur J Epidemiol 2016;31(4):337-50. doi: 10.1007/s10654-016-0149-3
8. Rothman KJ. Disengaging from statistical significance. Eur J Epidemiol 2016;31(5):443-44. doi: 10.1007/s10654-016-0158-2
9. Lash TL. The Harm Done to Reproducibility by the Culture of Null Hypothesis Significance Testing. Am J Epidemiol 2017;186(6):627-35. doi: 10.1093/aje/kwx261
10. Moyé L, Cohen M. Liberation from the P Value’s Tyranny. Circ Res 2018;122(8):1046-48. doi: 10.1161/CIRCRESAHA.117.312227