Il superforecasting in breve

This is an Italian translation of Superforecasting in a nutshell

Diciamo che tu voglia sapere quanto sia probabile che un nuovo prodotto innovativo avrà successo, che la Cina invaderà Taiwan nel prossimo decennio o che una nuova pandemia globale si spanderà per il mondo - in pratica, qualsiasi probabilità per cui non puoi usare “l’analisi predittiva”, perché non hai un set di dati gigante sul quale innestare enormi modelli statistici, a differenza, per esempio, di Amazon quando prevede quando arriverà il tuo pacco.

Puoi generare previsioni attendibili e accurate per queste domande?

Forse sorprendentemente, sembra che la risposta sia “sì, se lo fai in modo corretto”.

I mercati di previsione (“prediction markets”) sono un metodo promettente per farlo, ma sono perlopiù illegali negli Stati Uniti e hanno vari problemi di implementazione che per ora ne limitano l’efficacia. Fortunatamente, esiste anche il metodo del “superforecasting”, che è completamente legale e molto efficace.

Come funziona? L’idea di base è molto semplice. I passi sono:

1. Primo, devi fare lo sforzo di misurare l’accuratezza delle previsioni. Esistono settori che si preoccupano molto dell’accuratezza delle loro previsioni e perciò la misurano, come i fondi speculativi (in inglese hedge funds). Ma spesso i settori che si affidano molto alle previsioni non si danno neanche la premura di misurare l’accuratezza delle loro previsioni^[1], ad esempio la comunità di intelligence statunitense o la filantropia.^[2]
2. Secondo, individua le persone che sono regolarmente più precise delle altre - diciamo, le 0.1% più accurate per diversi anni di fila. Queste saranno i tuoi “superforecasters” (super-previsori).
3. Infine, poni i tuoi quesiti di previsione a questi superforecasters e usa un aggregato delle loro previsioni.

Tecnicamente, il metodo classico è leggermente più complicato^[3], ma questi tre semplici passi sono il cuore del metodo del superforecasting.

Ma quanto bene funziona questo metodo?

Qualche anno fa, la comunità di intelligence statunitense ha testato questo metodo con un torneo di previsione estensivo e rigoroso, che includeva diversi studi randomizzati controllati e ha prodotto oltre un milione di previsioni su >500 quesiti di previsioni di geopolitica, come “Nel 2013, ci sarà uno scontro violento nel Mar Cinese Meridionale che causerà la morte di almeno una persona?”. Questo studio ha riportato che:

1. Questo metodo produce previsioni che sono molto ben calibrate, nel senso che previsioni con una fiducia del 20% si sono avverate nel 20% dei casi, previsioni con fiducia dell’80% si sono avverate nel 80% dei casi e così via. Il metodo non è una sfera di cristallo; non può dirti con sicurezza se la Cina invaderà Taiwan nel prossimo decennio, ma se ti indica che c’è una probabilità del 10%, puoi avere fiducia che la probabilità è davvero abbastanza vicina al 10% e decidere quali politiche sono appropriate dato questo livello di rischio.^[4]
2. Questo metodo ha prodotto risultati di gran lunga più accurati di quelli di un previsore tipico o di altri metodi messi alla prova, e ~30% più accurati di quelli di analisti di intelligence che (a differenza dei superforecasters^[5]) avevano a disposizione informazioni riservate molto costose da ottenere e anni di formazione nelle questioni di geopolitica sulle quali stavano facendo previsioni.^[6]
   Questi sono risultati piuttosto incredibili! Tanto più se prodotti da uno studio insolitamente cauto e rigoroso.^[7]

Penseresti allora che la comunità di intelligence degli Stati Uniti abbia adottato il superforecasting ben volentieri, specialmente visto che lo studio era stato finanziato dalla comunità di intelligence stessa specificamente per scoprire modi per migliorare l’accuratezza delle stime prodotte dall’intelligence usate dai policymakers per compiere decisioni difficili. Purtroppo, per quanto ho visto io, davvero pochi nelle comunità di intelligence e di sicurezza nazionale degli Stati Uniti hanno anche solo sentito parlare di questi risultati o del termine “superforecasting.”^[8]

Un’organizzazione come la CIA o il Dipartimento di Difesa ha abbastanza personale e conduce abbastanza previsioni che potrebbe attuare tutti i passaggi del metodo superforecasting da sé, se lo volesse. Le organizzazioni più piccole, fortunatamente, possono assumere superforecasters già stati testati e brevettati per ottenere previsioni ben calibrate sulle questioni più importanti prima di prendere decisioni. Nello specifico:

• I superforecasters che hanno battuto gli analisti della comunità di intelligence nel torneo descritto prima possono essere assunti attraverso Good Judgment Inc.
• Un’altra compagnia, Hypermind, offre previsioni in aggregato di “previsori campioni”, cioè i previsori che forniscono le previsioni più precise per clienti aziendali, da (in alcuni casi) quasi due decenni.^[9]
• Vari altri progetti, ad esempio Metaculus, stanno anche cominciando ad individuare previsori con accuratezza insolitamente elevata su centinaia di domande.

Ciascuna di queste compagnie ha i propri punti di forza e di debolezza e Open Philanthropy ha commissionato una recensione di tutte e tre nel paio d’anni passati. Se lavori per una piccola organizzazione che spesso deve prendere decisioni importanti sulla base di cosa si aspetta accada nel futuro, incluso cosa potrebbe succedere se prendessi una scelta anziché un’altra, ti suggerisco di provare ad usarle. (Tutte e tre offrono quesiti “condizionali”, e.g. “Qual è la probabilità di esito X se decido A, e qual è la probabilità dello stesso esito se invece decido B?”)

Se lavori per un’organizzazione molto grande o che lavora su dati altamente riservati, come la CIA, dovresti pensare di implementare l’intero processo del superforecasting internamente (anche se commissionare una o più delle organizzazioni citate più su potrebbe essere un buon modo per testare il modello a basso costo prima di assumersi un grosso impegno.)

1. ^{^}

    Eccetto nella misura in cui riescono ad usare l’analisi predittiva per quesiti particolari per cui hanno dati particolarmente ricchi, il che non è l’argomento di questo articolo. Mi soffermo qui su metodi di previsione “universali”, cioè metodi che possono produrre previsioni per qualsiasi quesito che sia ragionevolmente ben posto e non solo per i quesiti che sono trattabili con analisi predittive.

2. ^{^}

    In entrambi i settori di esempio c’è qualche eccezione, ad esempio il mercato di previsione della comunità di intelligence negli Stati Uniti o Open Philanthropy nella filantropia.

3. ^{^}

    Ad esempio, per ottenere migliore accuratezza potresti voler formare “squadre” di superforecasters secondo certi criteri. Per dettagli vedi Superforecasting.

^{^}

 Quando dico che la probabilità è “davvero” vicina al 10% intendo solo dire che le previsioni al 10% di fiducia prodotte da questo metodo sono ben calibrate. Non voglio sottintendere un’interpretazione della probabilità diversa dal Bayesianesimo soggettivo standard.

^{^}

 Alcuni superforecasters avevano una formazione di qualche tipo in geopolitica, ma la maggior parte non ne aveva alcuna.

^{^}

 Per vari confronti di accuratezza, vedi Superforecasting, Mellers et al. (2014), e Goldstein et al. (2015). Per riassunti di massima di alcuni di questi risultati, vedi questa pagina da Good Judgment Inc. e anche AI Impacts (2019).

^{^}

 Uno dei limiti delle prove che abbiamo a disposizione al momento è che non sappiamo quanto sia efficace il superforecasting (né qualsiasi tecnica di previsione basata sul giudizio personale) per quesiti di previsione remoti (vedi qui). Io ho il presentimento che il superforecasting sia in grado di produrre previsioni su quesiti remoti ben posti che sono ben calibrate, anche se non hanno alta “risoluzione” (spiegazione qui), ma è solo un’opinione.

^{^}

 Ad esempio l’economista Tyler Cowen ha chiesto di recente a John Brennan (Direttore della CIA fino al 2017): “Hai familiarità con il progetto di superforecasters di Philip Tetlock?” Brennan non ne aveva familiarità.

^{^}

 Tecnicamente l’algoritmo di aggregazione di Hypermind include anche previsioni di altri previsori, ma dà molta più importanza alle previsioni dei “previsori campioni”.

Show all footnotes