Smettiamola di fingere: quantificare non è un’operazione neutrale

Ogni quantificazione che prescinda o che non specifichi in che contesto e a che fine viene prodotta, fatalmente oscura, piuttosto che illuminare.
Nell’esercizio di qualsiasi attività di quantificazione, la metodologia non è mai neutrale, dato che non è mai interamente possibile separare l’esercizio di quantificazione dai desideri e dalle aspettative di chi quantifica. Paradossalmente però la forza argomentativa, o retorica, di una quantificazione risiede esattamente nella sua presupposta obiettività e neutralità: «i numeri parlano chiaro», e «il modello non sbaglia» sono espressioni di uso corrente.
Benché il dubbio sulla neutralità della quantificazione sia oggi molto praticato in relazione all’uso di algoritmi per prendere decisioni quali promuovere o bocciare, imprigionare o lasciare in libertà, concedere o non concedere credito,¹ il dubbio è generale. La convergenza dei fenomeni big data e intelligenza artificiale rendono le frontiere fra diversi tipi di quantificazione molto permeabili. Il nascente campo della sociologia della quantificazione si chiede:² «Quali qualità sono specifiche di un ranking, di un indicatore, di un modello o di un algoritmo?» In realtà, questa nuova consapevolezza del fatto che ogni numero presupponga una narrazione, una visione del mondo e un possibile obiettivo da conseguire, non riguarda solo l’esempio degli algoritmi, ma si è manifestata in modo molto evidente nel campo della statistica applicata. Qui, l’esistenza di una vera e propria disciplina – la statistica appunto – ha reso la crisi nell’uso e l’abuso dei metodi al tempo stesso meglio compresa e più visibile. Le diagnosi legate all’impiego scorretto dei test di significatività, nei suoi aspetti metodologici e normativi, nutrono le attuali letture degli addetti ai lavori.^3,4
Un esempio lampante dell’intreccio esistente fra tecnica e valori è proprio offerto dalla discussione sulla significatività:⁵ non sarebbe meglio abolire del tutto il concetto, sostengono alcuni autori,⁴ che spingono la loro iniziativa fino a sollecitare il pubblico supporto per questa abolizione, suscitando in molti la domanda legittima: «È appropriato raccogliere centinaia di firme in supporto di un editoriale scientifico?». Per alcuni commentatori, le questioni scientifiche vanno risolte su publicazioni scientifiche, non con petizioni. Altri notano che numerosi articoli scientifici dedicati a illustrare il cattivo uso del concetto di significatività lungo l’arco di più di tre decenni non hanno portato a nessun cambiamento, da cui la necessità di un’azione collettiva di propaganda per affrontare quello che sembra essere un problema di sociologia della scienza.

I contendenti abitano mondi diversi

Nella discussione sulla significatività di confrontano mondi alternativi. Il primo mondo è pieno di effetti importanti che vengono scartati, perché il relativo valore del p test è maggiore di 0,05.
Il secondo mondo è pieno di risultati fasulli passati nella letteratura grazie a un p minore di 0,05.
Scavando un po’, non è difficile capire che il motivo del contendere è normativo, per non dire politico. Alcuni temono l’immissione nel mercato di farmaci inefficaci, altri che un effetto epidemiologico importante che collega un inquinante a un danno per la salute non possa essere comprovato. I primi vorrebbero ovviamente un p più selettivo, i secondi uno meno. Tutto ciò non è nuovo. Il filosofo Richard Rudner lo aveva già scritto nel 1953: è impossibile usare un test di significatività senza sapere di cosa si sta parlando, cioè senza dare un giudizio di valore.⁶
In tutta questa discussione i modelli matematici godono al momento di una relativa immunità, forse proprio in ragione del fatto di non essere racchiusi all’interno di una disciplina. Non mancano, tuttavia, segnali di una situazione verosimilmente peggiore di quella registrata per i modelli statistici.⁷ Quantificazioni implausibili dell’effetto del cambiamento climatico sul prodotto interno lordo di un Paese nell’anno 2100⁸ o della sicurezza di un deposito geologico di scorie radioattive di qui a un milione di anni⁷ non sono che esempi estremi. Decisioni politiche, per esempio nel campo dei trasporti, possono risultare basate su modelli i cui dati di ingresso includono variabili fantastiche, quali il numero medio di occupanti di un’autovettura alcune decadi nel futuro.⁹
Studiosi dell’uso della scienza per la società¹⁰ lamentano l’uso spesso spregiudicato di metodi – quali il calcolo delle esternalità, l’analisi di impatto o costo-beneficio – usati per convincere l’osservatore della bontà, per esempio, di una data politica energetica o di un dato standard di salute o di sicurezza. L’uso di termini quali “analisi di utilità”, “teoria della decisione”, “analisi del ciclo di vita”, “servizi ecosistemici”, “sound scientific decision” può così rivelarsi retorico. La cosiddetta politica basata sull’evidenza può risultare nella generazione di numeri tanto servizievoli quanto illusoriamente precisi, al servizio di tesi o interessi precostituiti.
L’uso della politica basata sull’evidenza soffre inoltre di importanti asimmetrie di potere,¹¹ laddove la produzione di dati avvantaggia chi dispone dei mezzi per procurarseli, un fenomeno noto agli studiosi dei sistemi di lobby, sia in Europa¹² sia negli Stati Uniti.¹³ A queste asimmetrie si oppongono da sempre pulsioni per democratizzare la conoscenza, come l’epidemiologia popolare,¹⁴ nonché varie forme di auto-organizzazione di cittadini e scienziati che ambiscono a porre la scienza al servizio degli esclusi.¹⁵
La principale vittima della numericizzazione forzata causata dalle pratiche di quantificazione sopra descritte è l’incertezza, concetto espresso nel noto principio di precauzione, che rammenta che la mancanza di prove di un possibile danno non è la stessa cosa che la prova di assenza del danno medesimo. Proprio contro l’espressione di questo principio, importanti attori industriali hanno messo in campo il cosiddetto “principio di innovazione”, il quale stabilisce che la Commissione europea dovrà tener conto degli effetti che ogni nuova iniziativa legislativa produrrà sull’innovazione.^16,17
Quali strategie adottare per contrastare quantificazioni strumentali o fantastiche? La scienza post normale ha fin dai suoi primi passi insistito su un legame molto stretto fra qualità e incertezza nell’uso della scienza per la politica,¹⁸ come ricordato su questo stessa rivista.^19,20
In particolare, l’uso di matrici di pedigree per definire la qualità di un’informazione quantitativa (NUSAP),²¹ nonché l’adozione di sistemi di comunità estesa in atti di deliberazione e analisi, possono essere utilmente combinati per generare una valutazione multi-attributo della bontà di un dato numerico. Questa informazione include l’incertezza del dato, indicazioni su come è stato prodotto, da quale team e con quali risorse. Nel campo della modellizzazione matematica, principi quali l’auditing della sensitività suggeriscono di guardare alla costruzione di un’analisi in relazione al suo inquadramento all’interno di un sistema di potere e della sottostante narrazione, rintracciando ipotesi implicite, il possibile uso retorico o rituale del metodo e le possibili narrazioni, gli interessi e i valori lasciati a margine.²²
Produrre numeri richiede delicatezza di modi e onestà di fini. Purtroppo, questa non sembra essere la regola.

Conflitti di interesse dichiarati: nessuno.

Bibliografia

1. O’Neil C. Weapons of math destruction : how big data increases inequality and threatens democracy. New York, Random House Publishing Group, 2016.
2. Popp Berman E, Hirschman D. The Sociology of Quantification: Where Are We Now?. Contemp Sociol 2018;47(3):257-66.
3. Leek J, McShane B, Gelman A, Colquhoun D, Nuijten MB, Goodman SN. Five ways to fix statistics. Nature 2017;551(7682):557-59.
4. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature 2019;567(7748):305-07.
5. Gelman A. “Retire Statistical Significance”: The discussion. Blog: Statistical modelling, causal inference and social sciences. 2019. Disponibile all’indirizzo: https://statmodeling.stat.columbia.edu/2019/03/20/retire-statistical-significance-the-discussion/
6. Rudner R. The Scientist Qua Scientist Makes Value Judgments. Philosophy of Science 1953;20(1):1-6.
7. Saltelli A. Should statistics rescue mathematical modelling?. arXiv 2018; arXiv:1712 (06457).
8. Saltelli A, Stark PB, Becker W, Stano P. Climate Models as Economic Guides - Scientific Challenge of Quixotic Quest? Issues Sci Technol 2015;31(3):1-8.
9. Kay J. The price of everything: what people get wrong about cost-benefit analysis. Prospect 08.03.2019.
10. Stirling A. How politics closes down uncertainty. STEPS Centre 20.02.2019. Disponibile all’indirizzo: https://steps-centre.org/blog/how-politics-closes-down-uncertainty/. (ultimo accesso: 31.03.2019).
11. Saltelli A, Giampietro M. What is wrong with evidence based policy, and how can it be improved? Futures 2017;91:62-71.
12. Laurens S. Lobbyists and bureaucrats in Brussels: capitalism’s brokers. Routledge 2017.
13. Drutman L. The business of America is lobbying : how corporations became politicized and politics became more corporate. New York, Oxford University Press, 2015.
14. Brown P. Popular Epidemiology Revisited. Curr Sociol 1997;45(3):137-56.
15. Bell A. How Radical 70s Scientists Tried to Change the World. GIZMODO 27.01.2015. Disponibile all’indirizzo: http://gizmodo.com/how-radical-70s-scientists-tried-to-change-the-world-1681987399. (ultimo accesso: 25.08.2017).
16. European Political Strategy Centre. Towards an Innovation Principle Endorsed by Better Regulation. Strategic Notes 2016:14.
17. Garnett K, Van Calster G, Reins L. Towards an innovation principle: an industry trump or shortening the odds on environmental protection? Law Innov Technol 2018;10(1):1-14.
18. Funtowicz S, Ravetz JR. Uncertainty and Quality in Science for Policy. Dordrecht, Kluwer, 1990.
19. De Marchi B, Funtowicz S. Scienza e democrazia in crisi: viaggio verso il nuovo che ancora non c’è. Epidemiol Prev 2017;41(5-6):314-15.
20. De Marchi B, Funtowicz S. Vecchie risposte a nuove sfide. Alcune riflessioni intorno al dibattito sul glifosato. Epidemiol Prev 2018;42(2):182-83.
21. van der Sluijs JP, Craye M, Funtowicz S, Kloprogge P, Ravetz J, Risbey J. Combining quantitative and qualitative measures of uncertainty in model-based environmental assessment: the NUSAP system. Risk Anal 2005;25(2):481-92.
22. Saltelli A, Guimaraes Pereira Â, van der Sluijs JP, Funtowicz S. What do I make of your latinorumc sensitivity auditing of mathematical modelling. Int J Foresight Innov Policy 2013;9(2-4):213-34.