Valutare perché. Commenti alla Carta dell’Isola Tiberina

Il convegno AIE-AGENAS che si è svolto a Roma non è stato uno dei tanti convegni e seminari “culturali” sul tema delle metodologie per la valutazione dei sistemi sanitari che si susseguono numerosi di questi tempi; è stato un incontro operativo e proficuo tra operatori della valutazione, metodologi delle analisi quantitative e decisori che necessitano degli strumenti e dei risultati della valutazione. Di valutazione se ne sta parlando molto, ma non se ne sta facendo altrettanta, e quel poco che è stato realizzato non ha avuto, almeno per il momento, l’impatto che ci si sarebbe aspettati sull’assetto e sulla qualità dei servizi. Molti oggi equivocano, scambiando per valutazione qualsiasi analisi o monitoraggio e ritenendo che sia sufficiente, oltrechè naturalmente necessario, descrivere la realtà in cui si opera, i processi che si attuano e i risultati che si ottengono. Valutazione è invece qualcosa di più, e come dice il termine consiste nel «assegnare un valore a un oggetto». La prima componente da chiarire è quindi proprio quella relativa alla determinazione della funzione di valorizzazione.

Quando si esegue una valutazione economica non si fa altro che assegnare un valore, solitamente ma non necessariamente in termini di moneta, proporzionale all’utilità che deriva dall’oggetto della valutazione; il valore è quindi funzione dell’utilità e, di conseguenza, fa parte della sfera della soggettività. Per l’affamato Esaù un piatto di lenticchie valeva in quel momento il regno, e lo stesso oggetto può valere molto per qualcuno e nulla per qualcun altro, come per esempio il profumato tartufo bianco di Alba per il quale c’è chi spende un patrimonio e chi invece non vuole neppure sentirne l’odore da lontano. Ciò significa che, se non si chiarisce anche solo implicitamente la funzione di valore, allora la valutazione non può neppure iniziare. Un esempio classico è il considerare o meno la componente dell’equità nella valutazione dei servizi sanitari, cosa che dipende ovviamente dal considerarla o meno uno dei principali valori che debbono essere tutelati da un servizio pubblico. Considerando invece gli utenti di un servizio, non è difficile accorgersi che essi non hanno molto interesse alla componente dell’efficienza economica, bensì a quella dell’efficacia e dell’accoglienza.

In una piccola indagine da noi effettuata su un campione non rappresentativo, la dimensione più rilevante dichiarata nelle risposte al questionario è risultata globalmente essere l’efficacia (figura 1); è interessante notare però come, sottoponendo le risposte a una analisi con una funzione discriminante, è risultato che solo i soggetti del gruppo che è stato chiamato «sistemico valoriale» hanno dato maggior valore all’efficacia (figura 2), mentre gli amministratori e gli economisti hanno scelto l’efficienza e gli operatori che lavorano nei servizi hanno dichiarato che la dimensione più importante da valutare è la professionalità. Questi risultati non vogliono avere alcuna rilevanza scientifica, ma vogliono solamente indicare che i valori assegnati alla valutazione, e quindi alle diverse dimensioni considerate dalla stessa, non sono per tutti gli stessi e dipendono molto dai ruoli giocati all’interno del sistema.

Figura 1. Valori dati alle diverse dimensioni della professione.
Figure 1. Values confeered on the different dimensions of the profession.

Figura 2. Punteggi discriminanti in funzione della valutazione dei servizi sanitari del proprio del ruolo professionale.
Figure 2. Discriminating score in function of each job’s health system valutation.

Risulta però implicito che il valore assegnato dipende dall’azione che si intende compiere: non ha lo stesso valore un prezzo, per esempio, per chi vuol vendere e per chi vuol comprare, e quindi è inscindibile la valutazione dal processo operativo in cui è inserita. Ne deriva allora che la valutazione non può essere affidata a un estraneo al processo che progetta la valutazione, la realizza e, solo a cose fatte, ne comunica le conclusioni a chi gliela ha commissionata. La valutazione deve essere decisa, progettata e recepita dal soggetto responsabile dell’azione o dell’organizzazione; il ruolo degli eventuali estranei e consulenti può essere soltanto di tipo metodologico-statistico o di tipo operativo. Accade invece troppo spesso che un direttivo commissioni a dei consulenti (ce ne sono un sacco in attesa e disposti a tutto…) disinteressandosi poi del tutto di ciò che ne consegue e avendone quindi come beneficio solo quello di ricevere elogi perché ha eseguito una valutazione, anche se molto probabilmente i risultati non hanno inciso sulla struttura e sui procedimenti.

Di natura del tutto differente è l’errore che alcuni decisori compiono nel pensare che un processo di valutazione non presenti difficoltà metodologiche e possa essere realizzato da qualunque operatore di buon senso con qualche nozione di tipo statistico. Al contrario, è essenziale che quando si progetta una valutazione si venga affiancati da qualcuno che ha esperienza nel settore; troppe volte si sentono e si leggono grotteschi strafalcioni compiuti da dirigenti che talvolta fanno ottimamente il proprio lavoro,ma non hanno capito che lametodologia della valutazione comporta anche la risoluzione di aspetti tecnici complessi. Non ci si faccia quindi incantare dagli pseudo-professionisti della valutazione con la valigetta colma di strumenti adatti a qualsiasi situazione; la valutazione sta diventando un businnes e certamente alcuni media, e anche alcune norme, hanno favorito questo mercato. Occorre quindi molta prudenza prima di dare denaro pubblico a dei possibili ciarlatani.

Tra gli aspetti metodologici importanti c’è la scelta del livello di analiticità e di sinteticità del processo valutativo; talvolta si pensa che moltiplicando gli indicatori aumenti la capacità informativa e quindi anche valutativa. Talvolta, invece, si crede di poter arrivare a un indicatore sintetico capace di orientare immediatamente la decisione. Si pensi però ai voti che prende un allievo a scuola: sono molti in molte materie; dai voti si passa poi, materia per materia, a un giudizio finale complessivo che è qualcosa di diverso da una media grezza dei voti registrati, e infine si arriva al giudizio sintetico, cioè promosso o bocciato, solo dopo una attenta e prudente valutazione del collegio docente che è il responsabile della decisione scolastica. Con una valutazione quantitativa si giunge così a un voto per ogni materia, ma poi anche un cinque può diventare un sei analizzando complessivamente il risultato scolastico dell’allievo. Si consideri quindi che la sintesi degli elementi emersi da una valutazione non può essere qualcosa di automatico, ma deve essere compiuta dal soggetto che poi ne utilizzerà il risultato, poichè in questa operazione solo lui può introdurre gli elementi di valore, espliciti o impliciti, che possiede.

In altre parole, non può esistere una valutazione oggettiva e neutrale, ma solo delle valutazioni orientate a scopi definiti e impostate con i valori soggettivi di chi la intende utilizzare per migliorare le attività di cui è responsabile o in cui comunque è coinvolto.

Ciononostante, seppur non oggettiva e neutrale, la valutazione deve essere il più possibile trasparente e ripetibile; infatti, se una decisione pubblica viene presa in funzione di una valutazione, è indispensabile che si sappia tutto di come è stata effettuata la valutazione stessa e che, per quanto possibile, sia possibile ripeterne l’esecuzione per verificarne la concordanza dei risultati ottenuti.

Se è importante che la valutazione sia orientata con i valori del decisore, è però anche essenziale che i soggetti che sono coinvolti nella valutazione stessa siano chiamati il più possibile a partecipare alla progettazione e all’analisi dei risultati, altrimenti anche per questi una valutazione calata dall’alto può diventare solo qualcosa da cui doversi difendere, e non un’occasione comune per crescere e migliorare la situazione.

È questo elemento che ha portato a definire l’ultimo punto della Carta dell’Isola Tiberina: la negatività di qualsiasi restrizione proprietaria sui sistemi di valutazione. Un metodo valutativo non può, o non deve, considerarsi come uno strumento con cui far profitto e quindi utilizzabile solo da chi lo ha ideato e realizzato. In questo settore, proprio perché orientato al bene comune, gli strumenti devono essere patrimonio di tutti, e tutti devono concorrere a svilupparli e a migliorarli.

Da ultimo, non si scordi di “valutare la valutazione”: eseguire una valutazione costa e assorbe molte energie che potrebbero essere destinate ad altro; è quindi necessario sempre chiedersi se sia stato utile valutare, anche avendo il coraggio talvolta di rispondere negativamente e facendo tesoro di questa conclusione ogni volta che si pensa di avviare una nuova valutazione. C’è un proverbio che recita «la cattiva lavandaia non ha mai la pietra buona», e, se non serve a migliorare il bucato, è inutile continuare a cercare la pietra buona, ma è meglio accettare ciò che si ha a disposizione, anche se il bucato risulterà pulito ma non perfetto! Al di là del proverbio, si vuol sottolineare come sia molto scorretto fingere di far valutazione solo per dare l’impressione di avere una buona e illuminata gestione: così facendo si diffonde solo la convinzione che sia inutile valutare in quanto ne consegue troppe poche volte un’azione di miglioramento. E allora facciamo valutazione solo quando possiamo e vogliamo modificare la nostra attività, la nostra organizzazione, la nostra preparazione, i nostri atteggiamenti e comportamenti, e quindi convinciamoci che deve essere premessa indispensabile alla valutazione la disponibilità al cambiamento.

Carta dell’Isola Tiberina

Il 20-21 maggio 2010 si è svolta a Roma, presso una sala dell’Ospedale Fatebenefratelli all’Isola Tiberina, la Riunione di Primavera 2010 dell’AIE, organizzata congiuntamente con AGENAS (Agenzia naazionale per i sistemi sanitari regionali), sul tema «Metodologie per la valutazione dei sistemi sanitari».

I temi trattati sono statimolti e hanno ovviamente corrisposto a un interesse oggi diffuso sull’argomento, come i circa 300 partecipanti alla riunione dimostrano.

Se da parte sia di tutti i decisori, sia di tutti gli operatori, e anche di tutti gli utenti, si auspica una diffusione delle attività valutative, dall’altra non vi è ancora un consolidato consenso su quali siano le metodologie corrette da utilizzare. Alcuni interrogativi sono squisitamente tecnici, e cioè statistici, epidemiologici, economici e altro, ma le questioni più rilevanti riguardano direttamente l’impostazione dei processi valutativi: il rapporto tra processi valutativi e processi decisionali, la scelta tra valutazioni settoriali e valutazioni sistemiche globali, la rilevanza della significatività delle variazioni evidenziate, gli strumenti di comunicazione e partecipazione. Tutte questioni che sono oggi sul tappeto, sulle quali si è discusso nella riunione e si continuerà a discutere ancora.

È stato importante l’incontro tra AIE e AGENAS: quest’ultima ha il mandato istituzionale per realizzare un sistema valutativo nazionale e AIE può fornire importanti contributi metodologici oltre a idee e suggerimenti.

Le esperienze già realizzate a livello regionale sono interessanti seppur molti sono gli interrogativi che hanno suscitato; l’importante è che non si difendano “vantaggi proprietari” ma si diffonda un vero spirito collaborativo che porti a individuare il modello migliore o per lo meno che susciti il massimo del consenso; consenso indispensabile in ogni processo valutativo.

È per questo, e con questo spirito, che al termine della riunione è stata redatta la seguente carta che, lungi dal voler essere una documento definitivo e dogmatico, si propone di fornire indirizzi condivisi, da articolare e approfondire, per le future realizzazioni e i futuri dibattiti. È un insieme di paletti che a nostro avviso può risultare molto utile per contenere le discussioni e per favorire l’individuazione della strada giusta da percorrere.

1. Un Modello di Valutazione dei Sistemi Sanitari (MVSS) che voglia risultare efficace deve cercare di ottenere ilmassimo possibile di condivisione tra tutti i soggetti coinvolti definendo a priori ed in modo chiaro gli scopi, i metodi e gli usi che se ne faranno.
2. Un MVSS deve essere progettato come risposta alle domande che il decisore si è posto o avrebbe dovuto porsi; se il decisore ha difficoltà nell’individuare o nell’esprimere le sue domande, sono i tecnici che gliele devono suggerire impegnandosi ad ottenere la sua consapevolezza; se il decisore non arriva ad aver interesse per ciò che viene valutato non scaturirà alcuna decisione dalla valutazione stessa.
3. UnMVSS non deve essere né complicato né eccessivamente analitico; deve invece tendere il più possibile a delle sintesi che siano comunicabili in modo semplice e possibilmente intuitivo senza peraltro indulgere con la banalità o con le distorsioni.
4. Il rigore metodologico deve essere una componente irrinunciabile alla base di un MVSS; nella consegna dei risultati è possibile accettare talvolta un livello di approssimazione, ma solo se si è certi che così facendo si conservi integra l’informazione che si intende comunicare.
5. La valutazione della componente stocastica, cioè della quota di variabilità dovuta al caso, non può essere ignorata perché delle false differenze non appaiano come reali; per questo motivo deve sempre esser esplicitato il livello di incertezza.
6. In unMVSS non ci si può fermare a considerare solo i valori medi complessivamente osservati nelle varie aree, soprattutto quando queste siano tra di loro di ampiezza anche molto diversa; i vari livelli di variabilità interna costituiscono un elemento ineludibile della valutazione stessa.
7. Un Sistema Sanitario deve essere valutato sia in senso temporalmente trasversale sia longitudinale; la sua evoluzione è talvolta più rilevante dello statomomentaneo che in ogni caso deve essere il più recente possibile.
8. Le differenze osservate tra aree o tra erogatori devono essere quelle attribuibili, almeno in larga parte, ai fattori determinanti associabili al governo dei sistemi sanitari e non ad altri fattori confondenti che devono quindi essere corretti con appropriati metodi di risk adjustment.
9. Le sintesi in un unico valore delle differenti dimensioni misurate può risultare una operazione delicata ed anche fuorviante, vanificando così, attraverso la produzione di immagini distorte, l’efficacia stessa delMVSS ; la rilevanza relativa di ciascuna dimensione può essere determinata solo dai decisori e non può quindi essere stabilita artificiosamente dal valutatore senza una appropriata procedura di consenso.
10. Un MVSS, come tutte le metodologie orientate al bene comune, non può avere delle restrizioni proprietarie ma deve essere utilizzabile, ripetibile, controllabile, migliorabile, da parte di tutti i soggetti della comunità sociale cui si riferisce la valutazione stessa.

A cosa e a chi può risultare utile questa carta? Innanzitutto a quanti sono coinvolti nella progettazione dei processi di valutazione dei sistemi sanitari. Troppo spesso si ritiene che la valutazione sia qualcosa di semplice da predisporre, e invece chi ne ha esperienza sa che è uno dei momenti più difficili del governo di un sistema complesso.

Per progettare un processo valutativo si devono conoscere molti aspetti relativi al sistema da valutare, alle decisioni conseguenti, all’atteggiamento degli attori del sistema, ai vari “inghippi” metodologici delle analisi quantitative formalizzate.

L’AIE e l’AGENAS non hanno voluto ovviamente giudicare alcuna delle esperienze presentate, e anzi hanno espresso giudizi positivi per quanti, prima di altri, abbiano aperto alla valutazione dei sistemi sanitari; oggi però è il tempo della riflessione, del ripensamento, dell’approfondimento metodologico, ed è a questo che AIE e AGENAS intendono sollecitare operatori e responsabili della programmazione sanitaria.