Abstract

Background: the use of real-world (RW) data has become an integral part of pharmacoepidemiological research and regulatory assessment. However, access to individual-level data, especially for purposes other than the original ones (secondary use), is often restricted by legal and ethical constraints related to privacy protection. In this context, generating synthetic data, defined as artificially generated data that reproduce the statistical properties and relationships of real data without containing information traceable to real individuals, offers an innovative opportunity to balance privacy protection with the need to generate RW evidence to support regulatory decision-making.

Objectives: to compare two methods of generating tabular synthetic data: synthpop, based on transparent and interpretable inferential methodologies, and Conditional Tabular-Generative Adversarial Networks (CT-GANs), which leverage deep learning approaches to reproduce complex multivariate distributions. The focus is on evaluating the ability of both approaches to preserve the statistical structure of real data and reduce the risk of disclosure/re-identification.

Design: comparative study of two synthetic data generation methods.

Setting and participants: a large anonymized RW dataset including 42,926 patients hospitalized for COVID-19 in Italy during the early phase of the pandemic. The dataset was obtained through record linkage of administrative databases and the COVID-19 registry using the TheShinISS tool.

Main outcome measures: synthetic versions of the original dataset were generated using both synthpop and CT-GAN methods. Real and synthetic data were compared using three type of measures: 1. general utility measures (univariate, bivariate, and global), including comparison of variable distributions using plots, descriptive statistics, standardized mean differences (SMD), and Propensity Score Mean Squared Error; 2. specific utility measures, assessing the similarity of associations estimates from univariate and multivariable Cox models by evaluating the overlap of 95% confidence intervals (CI) of hazard ratios (HR), and comparison of Kaplan-Meier curves using the log-rank test; 3. disclosure (re-identification) measures, estimating the risk of identity and attribute disclosure using dedicated metrics (Unique in Original – UiO, replicated Uniques – repU, Disclosive in Original – Dorig, Disclosive in Synthetic Correct Original – DiSCO).

Results: in terms of general utility, results confirmed the superiority of synthpop over CT-GAN, with more than half of the variables exceeding the acceptable SMD threshold. Moreover, synthpop showed higher specific utility than CT-GAN, with a median overlap of 95%CI of HR of 75% (interquartile range, IQR: 66%-95%) compared with 0% (IQR: 0%-6%) for CT-GAN. Concerning disclosure measures, although the original dataset already presented a negligible risk of identity disclosure (UiO=0.23%), making synthesis largely redundant, both methods further reduced this risk (synthpop: repU=0.06%; GAN: repU=0.05%).

Conclusions: in this study, considering the three evaluated aspects, synthpop performed better in balancing statistical accuracy and privacy protection. It also offered greater methodological transparency based on explicit statistical models and required lower computational time. These findings contribute to the ongoing debate on the potential use of synthetic data in research and regulatory assessments supporting their integration into RW data analysis workflows. The disclosure measures adopted may serve as a practical starting point, however, the definition of shared standards for these measures, as well as acceptable disclosure risk thresholds, would be desirable and should be developed collaboratively by the scientific community and data protection authorities. Future studies should focus on generating synthetic data where non-explicit relationships exist in real data (i.e., relationships that are not directly attributable to additive or multiplicative structures).

 Keywords: , , , ,

Riassunto

Introduzione: l’uso dei dati real-world (RW) è ormai parte integrante della ricerca farmacoepidemiologica e della valutazione regolatoria. Tuttavia, l’accesso a dati individuali per finalità diverse da quelle originarie (secondary use) è spesso limitato da vincoli legali ed etici legati alla tutela della privacy. In questo contesto, i dati sintetici, definiti come dati artificialmente generati per riprodurre le proprietà statistiche e le relazioni dei dati reali senza contenere informazioni riconducibili a individui reali, rappresentano un’opportunità innovativa per conciliare la tutela della privacy con l’esigenza di generare real-world evidence a supporto delle decisioni regolatorie. 

Obiettivi: confrontare due metodologie di generazione di dati sintetici tabulari: synthpop, basato su metodologie inferenziali trasparenti e interpretabili, e Conditional Tabular-Generative Adversarial Networks (CT-GAN), che sfruttano approcci di deep learning per riprodurre distribuzioni multivariate complesse. L’attenzione è rivolta alla valutazione della capacità dei due approcci di preservare la struttura statistica dei dati reali e di ridurre il rischio di divulgazione/reidentificazione.

Disegno: studio comparativo di due metodi generativi di dati sintetici.

Setting e partecipanti: ampio dataset anonimizzato di dati RW relativo a 42.926 pazienti ospedalizzati per COVID-19 nella fase iniziale della pandemia in Italia. Il dataset è stato ottenuto tramite record linkage di banche dati amministrative e registro COVID-19 attraverso l’applicativo TheShinISS. 

Principali misure di outcome: a partire da questo dataset, sono state generate versioni sintetiche con entrambi i metodi, synthpop e CT-GAN, e sono stati confrontati i dati reali e sintetici attraverso le seguenti tre misure: 1. misure di utilità generale (univariate, bivariate e globale), confronto delle distribuzioni delle variabili attraverso grafici, statistiche descrittive, differenza media standardizzata (standardized mean difference, SMD) e propensity score mean squared error; 2. misure di utilità specifica, similarità delle misure di associazione rilevate nei modelli di Cox univariati e multivariati misurando la sovrapposizione degli intervalli di confidenza (IC) degli hazard ratio (HR) e confronto delle curve di Kaplan-Meier attraverso il log-rank test; 3. misure di reindentificazione (disclosure), stima del rischio di identity e attribute disclosure tramite metriche dedicate (Unique in Original – UiO, replicated Uniques – repU, Disclosive in Original – Dorig, Disclosive in Synthetic Correct Original – DiSCO).

Risultati: per quanto riguarda l’utilità generale, i risultati confermano la superiorità del metodo synthpop rispetto al metodo CT-GAN, per il quale oltre la metà delle variabili risulta oltre la soglia di accettabilità della SMD. Inoltre, synthpop, rispetto a CT-GAN, ha misure più alte di utilità specifica, con un overlap mediano degli IC95% degli HR pari al 75% (range interquartile, IQR 66%-95%) rispetto allo 0% (IQR 0%-6%) di CT-GAN. Relativamente alle misure di disclosure, sebbene il dataset di partenza presentasse un rischio di identity disclosure già in partenza trascurabile (UiO=0,23%), rendendo la sintetizzazione sostanzialmente superflua, l’applicazione di entrambi i metodi ha ulteriormente ridotto tale rischio (synthpop: repU=0,06%; CT-GAN: repU=0,05%). 

Conclusioni: in questo studio, considerando gli aspetti analizzati, synthpop risulta più performante nel bilanciare accuratezza statistica e tutela della privacy, più trasparente nel metodo, è basato su modelli statistici espliciti e necessita di un minor tempo computazionale. Questi risultati contribuiscono al dibattito sul potenziale utilizzo dei dati sintetici nella ricerca e nelle valutazioni regolatorie, contribuendo al dibattito sulla loro integrazione nei flussi di analisi dei dati RW. Le misure di disclosure utilizzate possono rappresentare un punto di partenza operativo; sarebbe auspicabile definire standard condivisi sia per tali misure sia per la definizione di soglie di accettabilità del rischio di disclosure, da elaborare in modo coordinato tra comunità scientifica e autorità garanti per la protezione dei dati. Futuri studi dovrebbero orientarsi alla generazione di dati sintetici dove sussistono relazioni non esplicite nei dati reali (non riconducibili direttamente, per esempio, a relazioni additive o moltiplicative).

 Parole chiave: , , , ,

 

       Visite