Abstract

BACKGROUND: since the beginning of the COVID-19 pandemic, the importance of developing a serological test has emerged and a debate on test accuracy and reliability become an issue widely discussed in the media. The importance of communication during this pandemic has been strongly underlined by public health experts, epidemiologists, media expert, psychologists, sociologists. In the case of serological tests, there are several aspects that have to be considered: why we perform the test, what population is tested, which are the parameters conditioning the results and their interpretation.
OBJECTIVES: to show how to quantify the uncertainty related to the validity of the serological test with respect to its predictive value and in particular the positive predictive value.
METHODS: the evaluation of a qualitative diagnostic test includes four distinct assessments: accuracy, empirical evidence, practical importance, and prevalence of the pathology. Accuracy is measured by the sensitivity and specificity of the test; empirical evidence is quantified by the likelihood ratio, respectively for a positive and negative test result; the practical importance of the result of a diagnostic test is assessed by the positive or negative predictive value. Prevalence of COVID-19 is substantial uncertainty and it is possible to estimate the apparent prevalence starting from the results obtained with a diagnostic test.
RESULTS: at the moment, the knowledge about the accuracy of serological tests is limited and little attention is paid to confidence interval on point estimates. In terms of practical importance of testing at individual level, while negative predictive values are high whatever the level of sensitivity of the test, the interpretation of a positive results is very cumbersome. Positive predictive values above 90% can be reached only by tests with specificity above 99% at the expected prevalence rate of 5%. There is a linear relationship between apparent – testing positive – prevalence and real prevalence. The apparent prevalence in the context of serological test for COVID-19 is always larger than real prevalence. The level of specificity is crucial.
CONCLUSIONS: the main applications of the serological test in the epidemic contest are: to study the seroprevalence of the virus antibodies in the general population; to screen the healthcare workers for the early identification of contagious subjects’ health care settings and to screen the general population in order to identify new incident cases. In the first two cases, seroprevalence study and screening of a high-risk population, the consequences of the uncertainty associated to the statistics are already accounted for in the first situation, or are overcome by repeating the screening on the healthcare workers, and using the molecular test to verify the presence of the virus in those tested positive. The case of screening of general population is more complex and of major interest for the implication it may have on individual behaviours and on the implementation of public health interventions by the political decision makers. A positive result has, per se, no practical value for individuals since the probability of being really infected by the virus is low. The uncertainty associated with the different estimates (sensitivity, specificity and disease prevalence) play a double role: it is a key factor in defining the informative content of the test result and it might guide the individual actions and the public policy decisions.

 Keywords: , , ,

Riassunto

INTRODUZIONE: la pandemia di COVID-19 ha, fin dall’inizio, fatto emergere l’importanza di avere a disposizione test diagnostici sierologici accurati e affidabili. Quest’ultimo aspetto è diventato oggetto di studio a livello globale e ha portato a un acceso dibattito anche sui media italiani. Un ulteriore elemento di attenzione è stato l’aspetto comunicativo, le cui caratteristiche di complessità e criticità sono state sottolineate da esperti di sanità pubblica, epidemiologici, giornalisti, psicologici, sociologici. In particolare, in questo specifico contesto, gli aspetti da considerare sono molteplici: il motivo dell’esecuzione del test, quale è la popolazione sottoposta a test, quali aspetti condizionano il risultato e come interpretarlo.
OBIETTIVI: fornire strumenti per la quantificazione dell’incertezza, particolarmente in riferimento al valore predittivo dei test sierologici.
METODI: la valutazione di un test diagnostico riguarda quattro diversi aspetti: accuratezza, evidenza empirica, importanza nella pratica e prevalenza della patologia. L’accuratezza del test è data dalla sua sensibilità e specificità; l’evidenza empirica viene misurata dal likelihood ratio, rispettivamente, per un risultato positivo e negativo del test; l’importanza pratica è quantificata in termini di valore predittivo positivo e negativo del test. L’ultimo elemento, la prevalenza dell’infezione, in caso di mancanza di una stima affidabile, può essere ricavata partendo dai risultati osservati del test diagnostico.
RISULTATI: al momento, le stime circa l’accuratezza dei test sierologici sono estremamente limitate e, nei pochi studi disponibili, viene posta poca attenzione agli intervalli di confidenza delle stesse. In termini di rilevanza pratica per il singolo cittadino, questo si traduce in valori predittivi negativi sostanzialmente elevati, mentre l’interpretazione di un risultato positivo è alquanto controversa. Valori predittivi positivo sopra al 90% possono essere raggiunti solo con test la cui specificità supera il 99% e la prevalenza attesa si attesa oltre il 5%. Vi è una relazione lineare tra la prevalenza apparente, come misurata dal test sierologico, e quella reale, con quella apparente sempre maggiore. In queste condizioni, diventa cruciale disporre di una buona stima della specificità del test.
CONCLUSIONI: le principali applicazioni dei test sierologici nel contesto epidemico sono state: lo studio di sieroprevalenza degli anticorpi al virus nella popolazione; lo screening di popolazioni a rischio (per esempio, i professionisti della sanità) per identificare precocemente i soggetti contagiosi; lo screening della popolazione generale per identificare nuovi casi. Per quanto riguarda gli studi epidemiologici di sieroprevalenza, le conseguenze dell’incertezza legata al test sono incorporate nelle stime in fase di analisi dei risultati; nel caso delle attività di screening su popolazioni a rischio, l’incertezza viene minimizzata ripetendo i test sierologici e/o sottoponendo i soggetti positivi al test molecolare da tampone. Il caso dello screening della popolazione generale è più complesso, anche per le ricadute che l’esito del test può avere sui comportamenti degli individui e sulla promozione di interventi di politiche di sanità pubblica. Infatti, un risultato positivo al test sierologico non ha di per sé alcun valore pratico per i singoli individui, dato che la probabilità di essere davvero infetto è molto bassa. Per questo motivo, l’incertezza delle stime di accuratezza dei diversi test deve essere considerata perché la sua entità può avere ricadute sia sul contenuto informativo del test che sulle azioni individuali e collettive che ne conseguono.

 Parole chiave: , , ,

 

          Visite