Big Data

1. I Big Data Spostano l’Attenzione dal Campionamento ai Dataset Completi

Usare tutti i dati ci permette di cogliere dettagli che prima, limitandoci a quantità ridotte, ci sfuggivano.

Dal poco al tutto. I big data segnano un cambiamento radicale: si passa dall’affidarsi a campioni all’analisi di dataset completi. La statistica tradizionale si basava sul campionamento, dovendo fare i conti con limiti nella raccolta e nell’elaborazione dei dati. Oggi, grazie ai progressi tecnologici, è possibile analizzare enormi quantità di dati, ottenendo una visione più precisa e dettagliata dei fenomeni.

Granularità e dettaglio. Analizzare tutti i dati disponibili consente di approfondire sotto-categorie e nicchie di mercato che i metodi di campionamento spesso trascurano. Questo livello di dettaglio è fondamentale per individuare anomalie, comprendere preferenze specifiche e fare previsioni accurate. Un esempio è Google Flu Trends, che utilizza miliardi di ricerche online per prevedere la diffusione dell’influenza a livello cittadino, un risultato impensabile con dataset più piccoli e campionati.

I limiti del campionamento. Sebbene il campionamento casuale sia stato un metodo efficace, presenta debolezze intrinseche. La sua accuratezza dipende dalla reale casualità, difficile da garantire, e non si adatta facilmente all’analisi di sottoinsiemi. Abbracciando dataset completi, possiamo superare questi limiti e aprirci a nuove possibilità di analisi e comprensione.

2. Accogliere il Disordine: Dati Imperfetti Possono Offrire Intuizioni Migliori

Accettando un margine di errore più ampio, si può accedere a una quantità molto maggiore di dati.

Scambiare precisione con ampiezza. Nel mondo dei big data, saper accettare un po’ di disordine diventa un vantaggio. Mentre l’analisi tradizionale punta alla qualità e alla precisione dei dati, i big data riconoscono che il volume enorme di informazioni può compensare errori individuali. Questo compromesso ci permette di lavorare con dati reali, spesso incompleti, incoerenti e non strutturati.

Più è meglio. Un esperimento condotto da ricercatori Microsoft ha dimostrato che un algoritmo semplice, ma alimentato da un miliardo di parole, funziona meglio di uno complesso con un milione di parole. Il sistema di traduzione di Google funziona bene proprio perché utilizza un dataset molto più ampio, seppur più disordinato: l’intero Internet globale e oltre.

Il disordine in azione. Il Billion Prices Project, che monitora l’inflazione in tempo reale raccogliendo dati da negozi online, accetta il disordine in cambio di ampiezza e tempestività. Allo stesso modo, i sistemi di tagging su piattaforme come Flickr accettano l’imprecisione per creare un modo più ricco e flessibile di organizzare i contenuti. Accettando il disordine, possiamo scoprire nuove intuizioni e creare servizi preziosi impensabili con metodi tradizionali.

3. La Correlazione Conta Più della Causalità: Spesso Sapere “Cosa” Basta

Nel mondo dei big data non dobbiamo ossessionarci con la causalità; possiamo invece scoprire schemi e correlazioni che ci offrono intuizioni nuove e preziose.

Il potere della previsione. I big data spostano l’attenzione dal capire perché accade qualcosa al prevedere cosa accadrà. Identificando forti correlazioni, possiamo fare previsioni accurate anche senza conoscere le cause profonde. Questo approccio ha rivoluzionato l’e-commerce, la sanità e molti altri settori.

Esempi di previsioni basate sulla correlazione:

• Il sistema di raccomandazioni di Amazon suggerisce prodotti basandosi sulla cronologia degli acquisti, senza capire perché i clienti preferiscono certi articoli.
• Walmart rifornisce Pop-Tarts prima degli uragani basandosi sui dati storici di vendita, non sulle ragioni psicologiche dietro la correlazione.
• Il punteggio FICO per l’aderenza alla terapia prevede se una persona prenderà i farmaci basandosi su fattori come la proprietà della casa o la durata del lavoro, non sulle convinzioni personali riguardo alla salute.

I limiti della causalità. L’essere umano tende naturalmente a cercare spiegazioni causali, ma questo può portare a pregiudizi e conclusioni errate. Al contrario, l’analisi delle correlazioni ci permette di scoprire schemi e relazioni che altrimenti non avremmo considerato. Accogliendo il “cosa” invece del “perché”, possiamo ottenere nuove intuizioni e prendere decisioni più efficaci.

4. Dataficazione: Trasformare l’Intangibile in Dati Quantificabili

La dataficazione consiste nel prendere informazioni su ogni cosa, anche quelle che prima non consideravamo dati, e trasformarle in un formato quantificabile.

Quantificare il mondo. La dataficazione è il processo che trasforma informazioni, anche quelle non tradizionalmente considerate dati, in un formato quantificabile. Questo ci permette di analizzarle e usarle in modi nuovi, come l’analisi predittiva, svelando il valore implicito e latente delle informazioni.

Esempi di dataficazione:

• Il sistema del professor Koshimizu trasforma le posizioni assunte da una persona seduta in dati per identificare ladri d’auto.
• Maury ha trasformato vecchi registri navali in dati per creare carte di navigazione.
• Google trasforma le ricerche online in dati per prevedere epidemie influenzali.

Dataficazione vs. Digitalizzazione. La dataficazione si distingue dalla digitalizzazione, che è solo la conversione di informazioni analogiche in formato digitale. La dataficazione va oltre, trasformando le informazioni in forme strutturate e quantificabili, pronte per essere analizzate e utilizzate in nuovi modi.

5. Il Valore dei Dati Sta nel Riutilizzo e nello Sbloccare il Potenziale Latente

Ogni dataset nasconde un valore intrinseco, nascosto e ancora da scoprire, e la corsa è aperta per individuarlo e sfruttarlo.

Oltre l’uso primario. Il valore dei dati non si esaurisce nel loro scopo originale. Nell’era dei big data, il vero valore risiede nel loro potenziale di riutilizzo e nello sbloccare valore latente. Serve un cambio di mentalità: non più dati come risorsa statica, ma come asset dinamico.

Esempi di riutilizzo dei dati:

• Google riutilizza le ricerche per prevedere epidemie e migliorare la traduzione automatica.
• UPS riutilizza i dati dei sensori dei veicoli per prevedere guasti e ottimizzare i percorsi.
• Aviva riutilizza dati di credito e marketing per valutare rischi sanitari.

Il valore opzionale dei dati. Il vero valore dei dati è la somma di tutti i modi possibili in cui potranno essere usati in futuro. Questo “valore opzionale” si sblocca con analisi innovative, combinazioni con altri dataset e creazione di nuovi servizi. Riconoscendo e sfruttando questo potenziale, le organizzazioni possono generare valore economico significativo e ottenere un vantaggio competitivo.

6. I Big Data Riplasmare le Industrie e Sminuiscono il Valore dell’Esperienza Specifica

In un mondo dominato da probabilità e correlazioni, l’esperienza specifica conta meno.

Dinamiche di potere in evoluzione. I big data stanno trasformando le industrie mettendo in discussione le tradizionali idee di competenza e decisione. In un contesto dove contano probabilità e correlazioni, l’esperienza specifica perde importanza. Questo cambiamento sconvolge gerarchie consolidate e dà spazio a nuovi protagonisti.

L’effetto Moneyball. Il film Moneyball mostra come l’analisi basata sui dati possa superare l’esperienza tradizionale. Gli scout di baseball sono stati sostituiti da statistici che, grazie ai dati, hanno individuato giocatori sottovalutati e costruito squadre vincenti.

L’esperienza specifica conta meno. L’ascesa dei big data impone una revisione delle idee tradizionali su management, decisioni, risorse umane e formazione. Gli specialisti non spariranno, ma dovranno confrontarsi con ciò che dicono le analisi big data.

7. Privacy, Propensione e i Pericoli del Potere Dei Dati Senza Controlli

La maggior parte delle nostre istituzioni è stata fondata sull’idea che le decisioni umane si basino su informazioni limitate, precise e causali.

Il lato oscuro dei dati. Pur offrendo molti vantaggi, i big data comportano rischi significativi per privacy, libertà e giustizia. Un potere dati incontrollato può portare a sorveglianza crescente, punizioni basate su propensioni e a una vera e propria dittatura dei dati.

Dalla privacy alla probabilità. Il pericolo si sposta dalla privacy alla probabilità: algoritmi prevedono la probabilità di infarti, insolvenze o crimini. Ciò solleva questioni etiche sul libero arbitrio contro la dittatura dei dati.

La dittatura dei dati. Rischiamo di cadere vittime di una dittatura dei dati, in cui si idolatrano le informazioni e i risultati delle analisi, finendo per usarli in modo improprio. La società ha millenni di esperienza nel comprendere e regolare il comportamento umano. Ma come si regola un algoritmo?

8. Responsabilità, Agenzia Umana e Audit degli Algoritmi: Governare i Big Data

Servono nuovi principi per l’era dei big data, che esponiamo nel Capitolo Nove.

Nuovi principi per una nuova era. L’era dei big data richiede regole e principi nuovi per tutelare i diritti individuali e garantire equità. Questi principi devono fondarsi sui valori esistenti ma anche riconoscere le sfide uniche dei big data.

Uso responsabile. È fondamentale spostare l’attenzione dal consenso individuale alla responsabilità di chi usa i dati. Gli utilizzatori devono rispondere delle proprie azioni e adottare misure per ridurre i danni potenziali.

Agenzia umana. Dobbiamo garantire che le decisioni si basino su azioni reali, non su previsioni statistiche. Serve una ridefinizione della giustizia per proteggere libertà e responsabilità individuali.

Audit degli algoritmi. Sono necessarie nuove istituzioni e figure professionali per controllare e interpretare algoritmi complessi, assicurando trasparenza e responsabilità. Questi “algoritmisti” avranno un ruolo cruciale nel prevenire abusi dei big data.

Ultimo aggiornamento: February 24, 2025