Résidus

Une droite d'ajustement prédit une valeur de y pour chaque x. La plupart des points ne tombent pas exactement dessus, et l'écart entre ce que vaut vraiment un point et ce que la droite dit qu'il devrait valoir est le résidu de ce point. C'est la grandeur la plus simple de la régression, une seule soustraction, et c'est en lisant les résidus qu'on distingue une droite qui s'ajuste d'une droite qui en a seulement l'air.

Déplacez les points ci-dessous. Chaque segment vertical est un résidu, bleu pour les points au-dessus de la droite et orange pour ceux au-dessous, et le tableau les liste tous avec la somme de leurs carrés.

Observé moins prédit

Pour un point de coordonnées (x, y), la droite prédit une valeur notée ŷ, qui se lit « y chapeau ». Le résidu vaut

e = y - ŷ

observé moins prédit, toujours dans cet ordre.

Prenez les cinq points x = 1, 2, 3, 4, 5 et y = 2, 4, 5, 4, 5. Leur droite d'ajustement est y = 0.6x + 2.2. En x = 3, la droite prédit 0,6 × 3 + 2,2 = 4, et le point réel est (3, 5) : le résidu vaut 1. En x = 1, elle prédit 2,8 et le point est (1, 2) : le résidu vaut -0,8.

Ce que dit le signe

Un résidu positif signifie que le point est au-dessus de la droite : la valeur réelle était plus haute que prévu, la droite l'a sous-estimée. Un résidu négatif signifie que le point est sous la droite et que la droite a surestimé. Un résidu nul signifie que le point est exactement sur la droite.

La taille s'exprime dans les unités de y. Si y est une note en points, un résidu de -0,8 signifie que l'élève a obtenu 0,8 point de moins que ce que la droite prédisait pour son x.

Pourquoi leur somme est nulle

Regardez la colonne des résidus du tableau : -0,8 ; 0,6 ; 1 ; -0,6 et -0,2 ont une somme exactement nulle. Ce n'est pas un hasard. Cela arrive pour toute droite des moindres carrés avec ordonnée à l'origine.

L'ordonnée à l'origine de cette droite est choisie égale à b = ȳ - m x̄. Additionnez les résidus y - (mx + b) sur les n points : les valeurs de y ont pour somme nȳ, les termes en mx ont pour somme mnx̄, et les termes en b ont pour somme nb. Remplacez b par sa formule et les trois parties s'annulent. En mots : la droite est placée de sorte que les points au-dessus et les points au-dessous s'équilibrent exactement.

C'est aussi pourquoi il faut élever les résidus au carré avant qu'ils puissent mesurer quoi que ce soit. Leur somme simple vaut toujours 0, pour une bonne droite comme pour une mauvaise.

La somme des carrés des résidus

Élevez chaque résidu au carré et additionnez : vous obtenez la somme des carrés des résidus, souvent notée SCR (SSE en anglais). Pour les cinq points ci-dessus, elle vaut 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.

La droite d'ajustement est définie comme la droite qui rend ce nombre le plus petit possible. Toute autre droite fait moins bien. La droite y = 0.5x + 2.5 passe elle aussi par le point moyen (3, 4) et ressemble presque à la même sur un graphique, mais ses résidus valent -1 ; 0,5 ; 1 ; -0,5 et 0, et la somme de leurs carrés vaut 2,5. La droite y = x + 1 fait 4. Le minimum, 2,4, n'appartient qu'à y = 0.6x + 2.2.

Le carré a un effet secondaire bon à connaître. Un résidu de 2 apporte 4 à la somme et un résidu de 4 apporte 16 : un seul point loin des autres attire toute la droite vers lui. Amenez un seul point dans un coin du graphique ci-dessus et regardez la somme bondir et la droite s'incliner.

Le graphique des résidus

Un graphique des résidus place x sur l'axe horizontal et le résidu de chaque point sur l'axe vertical. La droite ajustée devient la droite horizontale en zéro, et la question devient simple : reste-t-il un motif ?

Une bande sans motif signifie que la droite s'ajuste. Des résidus dispersés au-dessus et au-dessous de zéro sans forme, à peu près de même largeur pour chaque x, disent que la droite a saisi la tendance et que ce qui reste est du bruit.

Une courbe signifie qu'une droite n'a pas la bonne forme. Ajustez une droite aux carrés 0, 1, 4, 9, 16 et 25 en x = 0 à 5 et vous obtenez y = 5x - 10/3 avec r ≈ 0,9599, ce qui ressemble à un excellent ajustement. Les résidus disent la vérité :

Ils valent 10/3 ; -2/3 ; -8/3 ; -8/3 ; -2/3 ; 10/3 : un U. La droite est trop haute au milieu et trop basse aux bouts, à chaque fois, et c'est toujours l'allure d'une droite ajustée à une courbe. Une parabole ajuste ces points exactement, et c'est ce que trouverait la calculatrice de régression quadratique.

Un éventail signifie que la dispersion augmente. Si les résidus sont petits à un bout et grands à l'autre, la droite peut encore être juste en moyenne, mais ses prédictions perdent en précision quand x augmente. Les données qui évoluent en pourcentage, comme les prix ou les populations, ont souvent cette allure, et un modèle exponentiel est alors le prochain essai habituel.

Résidus et valeurs aberrantes

Un point dont le résidu est anormalement grand, loin au-dessus ou au-dessous de la droite par rapport aux autres, est une valeur aberrante en y. Il mérite un second regard : ce peut être une faute de frappe, ou un cas réellement différent.

Un point très à gauche ou très à droite des autres pose un autre problème. Comme la droite pivote autour du point moyen, un point éloigné en x a un grand bras de levier et peut tirer la droite vers lui, ce qui peut lui laisser un petit résidu alors même que c'est lui qui a le plus changé la droite. Un petit résidu ne prouve donc pas qu'un point est ordinaire. Sur le graphique ci-dessus, faites descendre tout droit le point le plus à droite et regardez la droite le suivre.

À vous

La droite d'ajustement est y = 0,6x + 2,2, et l'un des points des données est (4, 4). Quel est le résidu de ce point ?

La droite prédit 4,6 et le point est à 4 : le point se trouve 0,6 sous la droite. Si vous avez trouvé 0,6, la soustraction a été faite dans le mauvais sens : c'est toujours observé moins prédit. Pour vos propres données, la calculatrice de régression linéaire donne la droite et sa somme des carrés des résidus, et la page sur le coefficient de corrélation montre ce que la force de l'ajustement signifie en un seul nombre.