Coefficiente di correlazione

Metti due misure una accanto all'altra, ore di sonno e tempo di reazione, oppure temperatura e vendite di gelati, e disegna l'una rispetto all'altra. A volte i punti salgono da sinistra a destra, a volte scendono, a volte formano una nuvola senza forma. Il coefficiente di correlazione r trasforma questa impressione in un unico numero tra -1 e 1.

Trascina i punti qui sotto. Le due linee tratteggiate segnano la media di x e la media di y, e ogni punto è colorato in base a dove si trova rispetto a loro. Prova prima le tre configurazioni pronte, poi porta un singolo punto lontano dal resto e guarda cosa fa a r.

Cosa dice il numero

r sta sempre tra -1 e 1, e porta due informazioni distinte.

Il segno è la direzione. Un r positivo significa che quando x è più grande, anche y tende a essere più grande. Un r negativo significa che quando x è più grande, y tende a essere più piccola. Non dice niente su quanto è ripido l'andamento: una retta che sale piano e una che sale di colpo possono avere entrambe r = 1.

La grandezza dice quanto i punti aderiscono a una retta. Con esattamente 1 o -1 tutti i punti stanno su una sola retta. Con 0 non c'è nessun andamento lineare.

Il grafico qui sopra etichetta r con le soglie usate dalla maggior parte dei libri:

Questi confini sono una convenzione, non un teorema. Servono a descrivere un risultato a parole, e ogni campo li sposta: un fisico che misura r = 0.9 tra due grandezze che dovrebbero essere esattamente proporzionali ha un problema, mentre uno psicologo che trova r = 0.4 tra due tratti ha un risultato.

Da dove viene la formula

Ogni punto cade in una delle quattro regioni formate dalle due medie tratteggiate. Un punto in alto a destra del centro ha la x sopra la sua media e la y sopra la sua media. In alto a sinistra, la x è sotto e la y sopra. Tutta la formula è costruita su questa immagine:

r = Σ(x - x̄)(y - ȳ) / √(Σ(x - x̄)² Σ(y - ȳ)²)

Guarda prima il numeratore. Per ogni punto, moltiplica quanto x si allontana dalla sua media per quanto y si allontana dalla sua media. Nelle regioni in alto a destra e in basso a sinistra le due distanze hanno lo stesso segno, quindi il prodotto è positivo. Nelle altre due regioni i segni sono diversi e il prodotto è negativo. Sommando i prodotti ottieni un totale il cui segno è il segno di r, ed è per questo che i colori del grafico ti dicono la direzione prima del numero: i punti blu spingono r in su e quelli arancioni lo tirano giù.

Il denominatore cambia solo la scala. Divide per la dispersione di x e per la dispersione di y, quindi il risultato non dipende più dalle unità di misura e non può superare 1 in nessuna delle due direzioni.

Il calcolo a mano

Prendi cinque punti: x = 1, 2, 3, 4, 5 e y = 2, 4, 5, 4, 5. La media di x è 3 e la media di y è 4.

Quindi r = 6/√60 = √15/5, cioè circa 0.7746: una correlazione positiva forte.

Nota che la risposta esatta è una radice quadrata. Qui r² vale esattamente 3/5, una frazione semplice, e r è la sua radice quadrata con il segno del numeratore. Ecco perché il calcolatore del coefficiente di correlazione scrive r come radicale con il decimale accanto, invece di un decimale arrotondato e basta.

Molti libri danno la stessa formula in una forma che richiede solo somme progressive, senza sottrarre prima le medie:

r = (nΣxy - ΣxΣy) / √((nΣx² - (Σx)²)(nΣy² - (Σy)²))

Per gli stessi cinque punti n = 5, Σx = 15, Σy = 20, Σxy = 66, Σx² = 55 e Σy² = 86. Il numeratore è 5 × 66 meno 15 × 20 = 30, e le due parentesi al denominatore valgono 50 e 30, quindi r = 30 / √1500, lo stesso √15/5.

r e r al quadrato

Eleva r al quadrato e ottieni r², il coefficiente di determinazione. Per i cinque punti qui sopra, r² = 0.6. Si legge come una quota: la retta di regressione di questi punti spiega il 60% della variabilità di y, e il restante 40% è dispersione che la retta non può spiegare.

I due numeri rispondono a domande diverse. r ti dà direzione e forza insieme, ed è ciò che vuoi quando descrivi una relazione. r² perde il segno, quindi r = -0.9 e r = 0.9 danno entrambi 0.81, ed è il numero da citare quando la domanda è quanto spiega una retta. Inoltre è sempre più piccolo di |r| a meno che r non sia 0 o ±1, quindi un r di 0.5 che suona rispettabile diventa un r² di 0.25: la retta spiega un quarto della variabilità.

Correlazione non vuol dire causalità

Un r forte dice che due grandezze si muovono insieme in questi dati. Non dice perché, e ci sono tre motivi comuni che non hanno niente a che fare con l'una che causa l'altra.

• Una terza grandezza le guida entrambe. Le vendite di gelati e gli incidenti in acqua salgono e scendono insieme. Il caldo causa entrambe le cose.
• La causa va nella direzione opposta. I mulini a vento girano più veloci nei giorni di vento più forte. Il vento fa girare i mulini; i mulini non producono il vento.
• Coincidenza. Confronta abbastanza serie senza legami e qualcuna coinciderà per caso, soprattutto su pochi anni.

Dimostrare che x causa y richiede qualcosa che la correlazione non può dare: un esperimento controllato, o un ragionamento sul meccanismo che escluda le alternative.

Cosa r non può vedere

Il numero è un riassunto, e un riassunto nasconde delle cose. Tre vale la pena conoscerle.

Curve. I punti (-2, 4), (-1, 1), (0, 0), (1, 1), (2, 4) stanno esattamente su y = x^2, e il loro coefficiente di correlazione è esattamente 0. La metà sinistra scende, la metà destra sale, e i prodotti si annullano. r misura solo relazioni lineari, quindi una curva perfetta può non valere niente.

Valori anomali. Parti dai cinque punti qui sopra, r ≈ 0.7746, e aggiungi un solo punto in (10, 0). Il nuovo r è circa -0.5529. Un punto ha invertito il segno. Funziona anche al contrario: x da 1 a 5 con y = 3, 1, 4, 1, 5 ha un r debole, r ≈ 0.3536, e aggiungere un punto in (12, 12) lo porta a circa 0.9084 senza cambiare per niente gli altri cinque. Prova entrambe le cose nel grafico: trascina un punto in un angolo e guarda r.

Cosa non conta. Cambiare unità di misura lascia r com'è. Misura x in centimetri invece che in metri, o moltiplica ogni x per 10, e r è sempre √15/5. Anche scambiare quale variabile è x e quale è y lascia r invariato, a differenza della retta di regressione, che cambia quando le scambi.

Quindi guarda il grafico a dispersione prima di citare r, e controlla i residui della retta per cercare uno schema che il numero nasconderebbe.

Provane uno

Due grandezze hanno un coefficiente di correlazione r = -0.9. Quanto vale r al quadrato?

La risposta è positiva anche se r è negativo, ed è più piccola di 0.9. Se ti è venuto -0.81, il segno è finito dentro il quadrato; se ti è venuto 0.9, hai saltato il quadrato. Per trovare r con i tuoi dati, incolla le due colonne nel calcolatore del coefficiente di correlazione, che mostra la tabella delle somme e la formula compilata.