Residui
Un residuo è quanto un punto sta sopra o sotto la retta di regressione. Ognuno è una piccola sottrazione, e tutti insieme ti dicono se la retta vale qualcosa.
Ultimo aggiornamento
Una retta di regressione prevede un valore di y per ogni x. Quasi nessun punto ci cade esattamente sopra, e la differenza tra quanto vale davvero un punto e quanto la retta dice che dovrebbe valere è il residuo di quel punto. È la grandezza più semplice della regressione, una singola sottrazione, e leggere i residui è il modo per distinguere una retta che si adatta ai dati da una che sembra soltanto farlo.
Trascina i punti qui sotto. Ogni segmento verticale è un residuo, blu per i punti sopra la retta e arancione per quelli sotto, e la tabella li elenca tutti insieme alla somma dei loro quadrati.
| x | y | previsto ŷ | residuo y − ŷ |
|---|---|---|---|
| 1 | 4 | 2 | 2 |
| 2 | 2 | 3 | -1 |
| 3 | 2 | 4 | -2 |
| 4 | 5 | 5 | 0 |
| 5 | 6 | 6 | 0 |
| 6 | 8 | 7 | 1 |
| 8 | 9 | 9 | 0 |
Ogni segmento è un residuo: blu sopra la retta, arancione sotto. Trascina un punto e guarda cambiare la somma dei quadrati.
Osservato meno previsto
Per un punto di coordinate (x, y), la retta prevede un valore che si scrive ŷ e si legge "y cappello". Il residuo è
e = y - ŷ
osservato meno previsto, sempre in quest'ordine.
Prendi i cinque punti x = 1, 2, 3, 4, 5 e y = 2, 4, 5, 4, 5. La loro retta di regressione è y = 0.6x + 2.2. In x = 3 la retta prevede 0.6 × 3 + 2.2 = 4, e il punto reale è (3, 5), quindi il residuo è 1. In x = 1 prevede 2.8 e il punto è (1, 2), quindi il residuo è -0.8.
| x | y osservata | ŷ prevista | residuo | residuo² |
|---|---|---|---|---|
| 1 | 2 | 2.8 | -0.8 | 0.64 |
| 2 | 4 | 3.4 | 0.6 | 0.36 |
| 3 | 5 | 4 | 1 | 1 |
| 4 | 4 | 4.6 | -0.6 | 0.36 |
| 5 | 5 | 5.2 | -0.2 | 0.04 |
| totale | 0 | 2.4 |
Cosa ti dice il segno
Un residuo positivo significa che il punto sta sopra la retta: il valore reale era più alto di quello previsto, quindi la retta lo ha sottostimato. Un residuo negativo significa che il punto sta sotto la retta e la retta lo ha sovrastimato. Un residuo pari a zero significa che il punto sta esattamente sulla retta.
La grandezza è espressa nelle unità di y. Se y è il punteggio di una verifica, un residuo di -0.8 significa che lo studente ha preso 0.8 punti in meno di quanto la retta prevedeva per la sua x.
Perché la somma è zero
Guarda la colonna dei residui nella tabella: -0.8, 0.6, 1, -0.6 e -0.2 danno esattamente 0. Non è fortuna. Succede per ogni retta dei minimi quadrati con intercetta.
L'intercetta di quella retta viene scelta come b = ȳ - m x̄. Somma i residui y - (mx + b) su tutti gli n punti: i valori di y danno nȳ, i termini mx danno mnx̄ e i termini b danno nb. Sostituisci la formula di b e le tre parti si annullano fino a zero. A parole: la retta è posizionata in modo che i punti sopra e i punti sotto si bilancino esattamente.
È anche il motivo per cui i residui vanno elevati al quadrato prima di poter misurare qualcosa. La loro somma semplice è sempre 0, sia per una retta buona sia per una pessima.
La somma dei quadrati dei residui
Eleva al quadrato ogni residuo e sommali, e ottieni la somma dei quadrati dei residui, spesso indicata con SSE. Per i cinque punti di sopra è 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.
La retta di regressione è definita come la retta che rende questo numero il più piccolo possibile. Qualsiasi altra retta fa peggio. La retta y = 0.5x + 2.5 passa anche lei per il punto delle medie (3, 4) e sul grafico sembra quasi uguale, ma i suoi residui sono -1, 0.5, 1, -0.5 e 0, e i loro quadrati sommano 2.5. La retta y = x + 1 fa 4. Il minimo, 2.4, appartiene solo a y = 0.6x + 2.2.
Elevare al quadrato ha un effetto collaterale che conviene conoscere. Un residuo di 2 contribuisce 4 alla somma e un residuo di 4 contribuisce 16, quindi un punto lontano dagli altri tira verso di sé tutta la retta. Trascina un solo punto in un angolo del grafico qui sopra e guarda la somma che salta e la retta che si inclina.
Grafici dei residui
Un grafico dei residui mette x sull'asse orizzontale e il residuo di ogni punto su quello verticale. La retta stimata diventa la retta orizzontale a quota zero, e la domanda diventa semplice: resta qualche schema?
Una fascia senza schemi significa che la retta va bene. Residui sparsi sopra e sotto lo zero senza una forma, larghi più o meno uguale per ogni x, dicono che la retta ha catturato l'andamento e che quello che resta è rumore.
Una curva significa che una retta è la forma sbagliata. Adatta una retta ai quadrati 0, 1, 4, 9, 16 e 25 per x da 0 a 5 e ottieni y = 5x - 10/3 con r ≈ 0.9599, che sembra un adattamento eccellente. I residui dicono la verità:
Valgono 10/3, -2/3, -8/3, -8/3, -2/3, 10/3: una U. La retta è troppo alta al centro e troppo bassa agli estremi, ogni volta, ed è l'aspetto che ha sempre una retta adattata a una curva. Una parabola passa esattamente per questi punti, ed è quello che troverebbe il calcolatore di regressione quadratica.
Un ventaglio significa che la dispersione cresce. Se i residui sono piccoli a un'estremità e grandi all'altra, la retta può essere ancora giusta in media, ma le sue previsioni perdono precisione al crescere di x. I dati che crescono in percentuale, come i prezzi o le popolazioni, hanno spesso questo aspetto, e un modello esponenziale è di solito la prossima cosa da provare.
Residui e valori anomali
Un punto con un residuo insolitamente grande, molto sopra o sotto la retta rispetto agli altri, è un valore anomalo in y. Merita un secondo sguardo: può essere un errore di battitura, oppure un caso che è davvero diverso.
Un punto molto a sinistra o a destra rispetto agli altri è un problema di altro tipo. Siccome la retta ruota attorno al punto delle medie, un punto lontano in x ha una leva lunga e può trascinare la retta verso di sé, il che può lasciargli un residuo piccolo anche se è quello che ha cambiato di più la retta. Quindi un residuo piccolo non dimostra che un punto sia normale. Nel grafico qui sopra, trascina verso il basso il punto più a destra e guarda la retta che lo segue.
Provane uno
La retta prevede 4.6 e il punto è a 4, quindi il punto sta 0.6 sotto la retta. Se ti è venuto 0.6, hai fatto la sottrazione al contrario: è sempre osservato meno previsto. Per i tuoi dati, il calcolatore di regressione lineare ti dà la retta e la sua somma dei quadrati dei residui, e la pagina sul coefficiente di correlazione mostra cosa significa la bontà dell'adattamento espressa con un solo numero.
Domande frequenti
- Cos'è un residuo?
- La distanza verticale tra un dato e la retta stimata: la y osservata meno la y che la retta prevede per quella x. Se un punto è (3, 5) e la retta prevede 4 in x = 3, il residuo è 5 meno 4 = 1.
- Come si calcola un residuo?
- Sostituisci la x del punto nell'equazione della retta per ottenere il valore previsto, poi sottrai quella previsione dalla y effettiva del punto. Residuo = osservato meno previsto. L'ordine conta: previsto meno osservato dà la stessa grandezza con il segno sbagliato.
- Cosa significa un residuo negativo?
- Il punto sta sotto la retta, quindi la retta ha previsto un valore più alto di quello osservato: lo ha sovrastimato. Un residuo positivo significa che il punto sta sopra la retta e la retta lo ha sottostimato. Un residuo di 0 significa che il punto sta esattamente sulla retta.
- Perché la somma dei residui è zero?
- Per una retta dei minimi quadrati con intercetta, lo è sempre. L'intercetta viene scelta come b = media di y meno m per la media di x, il che fa passare la retta per il punto delle medie, e sommando y meno (mx + b) su tutti i punti si ottiene n per la media di y, meno m per n per la media di x, meno n per b, che è esattamente 0.
- Come dovrebbe essere un buon grafico dei residui?
- Una fascia orizzontale senza schemi attorno allo zero, larga più o meno uguale a sinistra e a destra. Una curva nei residui (una U o una U capovolta) significa che una retta è la forma sbagliata per quei dati. Un ventaglio che si allarga lungo il grafico significa che le previsioni diventano meno affidabili al crescere di x.
- Cos'è la somma dei quadrati dei residui?
- Elevi al quadrato ogni residuo e li sommi. Misura quanto i punti sono lontani dalla retta nel complesso, ed è la quantità che il metodo dei minimi quadrati rende più piccola possibile. Per x da 1 a 5 e y = 2, 4, 5, 4, 5 la retta dei minimi quadrati ha una somma dei quadrati dei residui di 2.4, e qualsiasi altra retta dà di più.
Vuoi provarlo con i tuoi numeri?
Calcolatrice regressione lineare Apri la calcolatrice