Chapitre 7 — Régression et Moindres Carrés Ordinaires

🎯 Objectifs d'apprentissage

Formaliser un problème de régression : $𝒴 = ℝ$ et prédicteur $f̂$ .
Dériver et appliquer les formules analytiques de la régression linéaire simple ( $â$ et $b̂$ ).
Écrire la régression linéaire multiple sous forme vectorielle/matricielle.
Écrire et utiliser la solution fermée $β̂ = (X T X) -1 X T Y$ .
Comprendre la régression polynomiale comme une régression linéaire sur des variables transformées.

7.1 — Le problème à résoudre

Contrairement à la classification, où la cible est discrète ( $y \in {0, 1}$ ou ${1, \dots, C}$ ), la régression traite d'une cible continue $y \in ℝ$ . L'objectif est de déterminer une fonction $f$ qui représente la relation entre les variables explicatives $X$ et la cible $y$ , en se trompant le moins possible en généralisation. main_4.pdf, p. 4

💡 Intuition

Imaginez qu'on plante des clous sur une planche de bois (les points de données). On tend un élastique droit au milieu de ces clous. L'élastique va naturellement se positionner là où la tension globale (la somme des distances au carré) est la plus faible possible. Cette droite d'équilibre est la droite de régression par les Moindres Carrés Ordinaires (MCO).

7.2 — Formalisation

Étant donné un jeu de données de $n$ observations :

E = {(x_{1}, y_{1}), \dots, (x_{i}, y_{i}), \dots, (x_{n}, y_{n})}

avec $x i \in ℝ p$ et $y i \in ℝ$ . On cherche à exprimer la dépendance entre $x$ et $y$ par une fonction $f$ :

y = f (X) + ε

L'objectif est de déterminer $f$ afin de prédire correctement $ŷ = f(x)$ pour un vecteur $x$ quelconque. On parle également de prédicteur pour la fonction $f̂$ .

🔗 Lien mathématique — hypothèse de bruit gaussien

On fait l'hypothèse que les erreurs (différence entre les étiquettes réelles et les valeurs de $f$ ) sont normalement distribuées, centrées en 0 :

ε \sim 𝒩 (0, σ^{2})

Les observations $x$ sont la réalisation de $p$ variables aléatoires réelles, et les étiquettes $y$ sont la réalisation d'une variable aléatoire réelle $Y$ telle que $P(Y=y | X=x) \sim 𝒩(f(x), σ²)$ .

main_4.pdf, p. 6

7.3 — Classes de fonctions $f$

Type	Forme	Complexité
Régression linéaire simple	$f(x) = ax + b$	Faible (2 paramètres)
Polynôme de degré $d$	$f(x) = a d x d + \dots + a 1 x + a 0$	Croît avec $d$
Autres fonctions	Exponentielles, logarithmes, etc.	Variable

main_4.pdf, p. 5

7.4 — Risque empirique et MCO

📘 Définition à connaître

Le risque empirique $R emp (f)$ de $f$ est la moyenne des carrés des erreurs de prédiction faites par $f$ , calculée sur $E$ :

R_{emp} (f) = \sum_{i = 1}^{n} {(y_{i} - f (x_{i}))}^{2} = \sum_{i = 1}^{n} ε_{i}^{2}

Trouver le bon prédicteur revient à minimiser $R emp (f)$ :

\underset{f_{β}}{argmin} R_{emp} (f_{β})

C'est ce qu'on appelle la Minimisation des Moindres Carrés Ordinaires (MCO), ou Residual Sum of Squares.

main_4.pdf, p. 8

7.5 — Régression linéaire simple

On suppose $f(X) = aX + b$ . On cherche à minimiser :

R_{emp} (a, b) = \sum_{i = 1}^{n} {(y_{i} - (a x_{i} + b))}^{2}

Solution analytique

En annulant les dérivées partielles (points critiques), on obtient :

\hat{a} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}

\hat{b} = \bar{y} - \hat{a} \bar{x}

où les moyennes empiriques sont : $x̄ = (1/n) \sum x i$ et $ȳ = (1/n) \sum y i$ .

main_4.pdf, p. 10

✏️ Exemple guidé — Régression linéaire simple

Soit le jeu de données $E = {(1, 2), (2, 3), (3, 7)}$ avec $n = 3$ .

Étape 1 — Moyennes empiriques :

$x̄ = (1 + 2 + 3) / 3 = 2,0$
$ȳ = (2 + 3 + 7) / 3 = 4,0$

Étape 2 — Tableau de travail :

i	x_i	y_i	x_i − x̄	y_i − ȳ	(x_i − x̄)²	(x_i−x̄)(y_i−ȳ)
1	1	2	−1	−2	1	2
2	2	3	0	−1	0	0
3	3	7	1	3	1	3
Σ					2	5

Étape 3 — Pente : $â = 5 / 2 = 2,5$

Étape 4 — Ordonnée à l'origine : $b̂ = 4,0 - 2,5 \times 2,0 = -1,0$

Étape 5 — Droite finale : $f̂(x) = 2,5x - 1,0$

Interprétation : chaque augmentation d'une unité de $x$ entraîne une hausse estimée de $2,5$ unités de $y$ . Pour $x = 4$ , la prédiction sera $ŷ = 2,5 \times 4 - 1 = 9,0$ .

⚠️ Attention — pièges classiques

Inversion des termes dans la formule de $â$ : mettre les écarts de $y$ au dénominateur au lieu des écarts de $x$ .
Oubli du terme de biais $b̂$ : forcer la droite à passer par l'origine ( $b = 0$ ) fausse les prédictions.

7.6 — Régression linéaire multiple

On suppose que $f$ est un polynôme multivarié sur $X$ (c'est-à-dire $x \in ℝ p$ avec $p > 1$ ). Les paramètres sont : $β 1 = (a 1, \dots, a p) \in ℝ p$ et $β 0 = a p+1 \in ℝ$ . La fonction s'écrit :

f (x) = β_{1}^{T} x + β_{0} = \sum_{j = 1}^{p} a_{j} x_{j} + a_{p + 1}

Formulation matricielle

On ajoute à la matrice de design $X \in ℝ n\timesp$ une colonne de 1 à droite :

X = (\begin{matrix} x_{11} & \dots & x_{1 p} & 1 \\ ⋮ & ⋱ & ⋮ & ⋮ \\ x_{n 1} & \dots & x_{n p} & 1 \end{matrix}), Y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}), β = (\begin{matrix} a_{1} \\ ⋮ \\ a_{p + 1} \end{matrix})

La somme des moindres carrés s'écrit alors :

R_{emp} (β) = {(Y - X β)}^{T} (Y - X β)

📘 Solution analytique matricielle (MCO)

Si le rang de $X$ est égal à son nombre de colonnes, alors la somme des moindres carrés est minimisée pour :

\hat{β} = {(X^{T} X)}^{- 1} X^{T} Y

où $X T$ est la transposée de $X$ . La matrice $X T X$ doit être inversible (pas de colinéarité parfaite entre variables).

main_4.pdf, p. 13

✏️ Exemple guidé — Régression linéaire multiple (matriciel)

Reprenons l'exemple de la section 7.5 avec $n = 3$ , $p = 1$ . Ajoutons la colonne de 1 :

X = (\begin{matrix} 1 & 1 \\ 2 & 1 \\ 3 & 1 \end{matrix}), Y = (\begin{matrix} 2 \\ 3 \\ 7 \end{matrix})

Étape 1 — Transposée :

X^{T} = (\begin{matrix} 1 & 2 & 3 \\ 1 & 1 & 1 \end{matrix})

Étape 2 — Produit $X T X$ :

X^{T} X = (\begin{matrix} 14 & 6 \\ 6 & 3 \end{matrix})

Étape 3 — Inverse : déterminant $det = 14 \times 3 - 6 \times 6 = 42 - 36 = 6$ .

{(X^{T} X)}^{- 1} = \frac{1}{6} (\begin{matrix} 3 & - 6 \\ - 6 & 14 \end{matrix})

Étape 4 — Vecteur $X T Y$ :

X^{T} Y = (\begin{matrix} 29 \\ 12 \end{matrix})

Étape 5 — Estimation :

\hat{β} = \frac{1}{6} (\begin{matrix} 3 & - 6 \\ - 6 & 14 \end{matrix}) (\begin{matrix} 29 \\ 12 \end{matrix}) = (\begin{matrix} 2,5 \\ - 1,0 \end{matrix})

Les résultats sont identiques à ceux obtenus par la méthode scalaire : $â = 2,5$ et $b̂ = -1,0$ .

7.7 — Régression polynomiale

En régression polynomiale de degré $d$ , on cherche une fonction :

f (x) = β_{0} + β_{1}^{T} x + β_{2}^{T} x^{2} + \dots + β_{d}^{T} x^{d}

Il s'agit en fait d'une régression linéaire sur $p \times d$ variables : $x 1, \dots, x p, x 1 ², \dots, x p d$ .

⚠️ Attention — « modèle linéaire » ne signifie pas « fonction linéaire »

On parle de modèle linéaire car $f$ est linéaire en les paramètres $β$ , même si les variables d'entrée sont au carré ou au cube. C'est une nuance cruciale : le modèle reste un modèle linéaire au sens statistique du terme.

7.8 — Liens avec les autres chapitres

La régression réutilise la matrice de design $X$ du chapitre 2 et sert de base linéaire avant la transformation sigmoïde de la régression logistique du chapitre 4. Les métriques d'évaluation (MSE, MAE, RMSE, RMSLE) font l'objet du chapitre 8.

📌 À retenir

Régression : $y = f(x) + ε$ , avec $ε \sim 𝒩(0, σ²)$ .
Risque empirique : $R emp = \sum (y i - f(x i))²$ .
Simple : $â = Cov(x, y) / Var(x)$ , $b̂ = ȳ - âx̄$ .
Multiple : $β̂ = (X T X) -1 X T Y$ (si $X T X$ inversible).
Polynomiale : régression linéaire sur variables transformées.

🎯 À l'examen

Écrivez la formule fermée matricielle de l'estimateur des MCO.
Que se passe-t-il si $X T X$ n'est pas inversible ?
Soit trois erreurs de prédiction $+2, -2, +4$ . Calculez la MAE et la MSE.
Pourquoi utilise-t-on la métrique RMSLE au lieu de la RMSE lorsque les données couvrent plusieurs ordres de grandeur ?
Quelle est l'hypothèse faite sur la distribution des erreurs $ε$ en régression linéaire ?