Fiche des formules

Toutes les formules du cours, avec leur nom, leur expression, leur objectif, la définition des symboles, les conditions d'application, un exemple court, un lien vers le chapitre où elles sont expliquées et la référence source quand elle est vérifiable.

1. Définition formelle du Machine Learning (Mitchell, 1997)

Nom	Condition d'apprentissage formel
Expression	$$P(S_{\text{avant Exp}},T)\le P(S_{\text{après Exp}},T)$$
Objectif	Prouver formellement qu'un système a appris après une expérience.
Symboles	S système, T ensemble de tâches, P performance, Exp expérience.
Conditions	Évaluation sur le même ensemble T avant et après.
Exemple	P(Savant) = 0,70 ≤ P(Saprès) = 0,95
Chapitre	Chapitre 1 §1.4
Source	main_1.pdf, p. 12

2. Matrice de design

Nom	Matrice de design
Expression	$$X\in {ℝ}^{n\times p}$$
Objectif	Représenter n observations décrites par p variables dans un format numérique unifié.
Symboles	n = observations (lignes), p = variables (colonnes), xij = valeur de la j-ième variable pour la i-ième observation.
Conditions	Toutes les variables qualitatives doivent être recodées en valeurs numériques.
Exemple	Iris : X ∈ ℝ150 × 4.
Chapitre	Chapitre 2 §2.4
Source	main_2.pdf, p. 16–17

3. Formalisation de l'apprentissage supervisé

Nom	Formalisation supervisée
Expression	$$f\left(\overrightarrow{x}\right)=y+\epsilon$$
Objectif	Modéliser la relation entre les variables explicatives et la cible, en tolérant un bruit résiduel.
Symboles	f modèle, x⃗ observation, y étiquette, ε bruit.
Conditions	y connue pour l'ensemble d'entraînement.
Chapitre	Chapitre 3 §3.2
Source	main_3.pdf, p. 4

4. Fonction sigmoïde (régression logistique)

Nom	Fonction sigmoïde (logistique)
Expression	$$\sigma \left(z\right)=\frac{1}{1+e^{-z}},z={\overrightarrow{w}}^T\overrightarrow{x}+b$$
Objectif	Transformer un score continu en probabilité dans ]0, 1[.
Symboles	w⃗ poids, b biais, z score.
Conditions	Classification binaire 𝒴 ∈ {0, 1}. Seuil usuel : 0,5.
Exemple	σ(0) = 0,5 ; σ(1) ≈ 0,731.
Chapitre	Chapitre 4 §4.2
Source	main_3.pdf, p. 15–16

5. Distance euclidienne et Manhattan

Nom	Distances entre deux points de ℝp
Expression	$$d_{\text{Euc}}(\overrightarrow{u},\overrightarrow{v})=\sqrt{\sum _{i=1}^p{(u_i-v_i)}^2}$$ $$d_{\text{Man}}(\overrightarrow{u},\overrightarrow{v})=\sum _{i=1}^p|u_i-v_i|$$
Objectif	Mesurer la proximité entre observations (KNN, K-Means, linkage).
Exemple	u⃗ = (1, 2), v⃗ = (4, 6) : dEuc = 5, dMan = 7.
Chapitre	Chapitre 4 §4.3
Source	main_3.pdf, p. 21

6. Règle du vote majoritaire (KNN, classification)

Nom	Vote de majorité dans Nk(X)
Expression	$$f\left(X\right)=\underset{c=1,\dots ,C}{argmax}\left|\right\{X^i\in N_k\left(X\right):y^i=c\left\}\right|$$
Symboles	Nk(X) = k plus proches voisins de X.
Chapitre	Chapitre 4 §4.3
Source	main_3.pdf, p. 17

7. Risque empirique et Moindres Carrés Ordinaires (MCO)

Nom	Risque empirique (MCO)
Expression	$$R_{\text{emp}}\left(f\right)=\sum _{i=1}^n{(y_i-f(x_i\left)\right)}^2$$
Objectif	Mesurer l'erreur globale du modèle sur l'ensemble d'entraînement.
Chapitre	Chapitre 7 §7.4
Source	main_4.pdf, p. 8

8. Régression linéaire simple — solutions analytiques

Nom	Estimateurs MCO de la régression linéaire simple
Expression	$$\hat{a}=\frac{\sum _i(x_i-\overline{x})(y_i-\overline{y})}{\sum _i{(x_i-\overline{x})}^2},\hat{b}=\overline{y}-\hat{a}\overline{x}$$
Exemple	Sur E = {(1,2), (2,3), (3,7)} : â = 2,5, b̂ = −1,0.
Chapitre	Chapitre 7 §7.5
Source	main_4.pdf, p. 10

9. Régression linéaire multiple — solution matricielle

Nom	Estimateur MCO matriciel
Expression	$$\hat{\beta }={\left(X^{T}X\right)}^{-1}{X}^{T}Y$$
Conditions	XTX inversible (pas de colinéarité parfaite).
Chapitre	Chapitre 7 §7.6
Source	main_4.pdf, p. 13

10. Métriques de régression

Nom	MSE, MAE, RMSE, RMSLE
Expression	$$\text{MSE}=\frac{1}{n}\sum _i{\left(f\right(x_i)-y_i)}^2$$ $$\text{MAE}=\frac{1}{n}\sum _i\left|f\right(x_i)-y_i|$$ $$\text{RMSE}=\sqrt{\text{MSE}}$$ $$\text{RMSLE}=\sqrt{\frac{1}{n}\sum _i{\left(\log \right(f\left(x_i\right)+1)-\log (y_i+1\left)\right)}^2}$$
Chapitre	Chapitre 8
Source	main_4.pdf, p. 16–17

11. Matrice de confusion et métriques de classification

Nom	Rappel, Précision, Spécificité, F1, Accuracy
Expression	$$\text{Rappel}=\frac{TP}{TP+FN},\text{Précision}=\frac{TP}{TP+FP}$$ $$\text{Spécificité}=\frac{TN}{FP+TN},F_1=\frac{2\cdot TP}{2\cdot TP+FP+FN}$$ $$\text{Accuracy}=\frac{TP+TN}{n},\text{Erreur}=\frac{FP+FN}{n}$$
Chapitre	Chapitre 5 §5.4
Source	main_3.pdf, p. 54–55

12. Inertie intra-cluster (K-Means)

Nom	Objectif d'inertie intra-cluster
Expression	$$\underset{C_1,\dots ,C_K}{argmin}\sum _{k=1}^K\sum _{x\in C_k}{\Vert x-{\mu }_k\Vert }_2^2$$
Mise à jour	$${\mu }_k=\frac{1}{\left|C_k\right|}\sum _{x_i\in C_k}{x}_i$$
Chapitre	Chapitre 10 §10.2
Source	main_5.pdf, p. 10–11

13. Fonctions de lien (clustering hiérarchique)

Source : main_5.pdf, p. 19–21 · Chapitre 11 §11.5

Lien	Formule
Simple	$$d_{\text{simple}}(C_k,C_l)=\underset{u\in C_k,v\in C_l}{min}d(u,v)$$
Complet	$$d_{\text{complet}}(C_k,C_l)=\underset{u\in C_k,v\in C_l}{max}d(u,v)$$
Moyen (UPGMA)	$$d_{\text{moyen}}(C_k,C_l)=\frac{1}{\left|C_k\right|\cdot \left|C_l\right|}\sum _{u\in C_k}\sum _{v\in C_l}d(u,v)$$
Centroïdal (UPGMC)	$$d_{\text{centroïdal}}(C_k,C_l)=d({\mu }_k,{\mu }_l)$$