Fiche de Révision : Méthodes de Régression Linéaire Multiple

1. Introduction à la régression linéaire multiple

La régression linéaire multiple est un modèle statistique permettant de prédire une variable quantitative [Formule] à partir de plusieurs variables explicatives [Formule]. C’est une extension de la régression linéaire simple.

Modèle général
[Formule mathématique]
où :

[Formule] est la variable à expliquer,

[Formule] sont les coefficients inconnus à estimer,

[Formule] est un terme d’erreur aléatoire.

Hypothèses du modèle linéaire gaussien multiple

Les erreurs [Formule] sont indépendantes, identiquement distribuées selon une loi normale centrée [Formule].
Les erreurs sont indépendantes des variables explicatives.
Il y a [Formule] observations [Formule] avec [Formule].

Formulation matricielle

[Formule mathématique]

avec

[Formule] : vecteur des observations,
[Formule] matrice de dimensions [Formule] incluant la colonne de 1,
[Formule] vecteur des coefficients.

2. Estimation par les moindres carrés ordinaires (OLS)

L’objectif est de trouver [Formule] qui minimise la somme des carrés des écarts entre observations et prédictions :

[Formule mathématique]

où [Formule],
et [Formule] est le résidu.

Solution analytique :
[Formule mathématique]

Estimation des valeurs prédites :
[Formule mathématique]

Le hat matrix [Formule] permet de relier les observations aux prédictions.

3. Intervalles de confiance et tests de significativité

Tests globaux vs tests individuels

Test de Fisher (global) :
Vérifie si au moins une variable explicative a un effet significatif.

Hypothèses :
[Formule mathématique]
[Formule mathématique]
Test de Student (individuel) :
Pour chaque variable [Formule], teste si son coefficient est nul.

Hypothèses :
[Formule mathématique]

Les tests reposent sur les hypothèses classiques du modèle (normalité, indépendance, homogénéité des variances).

4. Exemple d’application pratique

Jeu de données fictif

Variables :

[Formule] variables explicatives,
[Formule] variable réponse.

Observations extraites (extrait des 10 premiers individus) :

Indice	x1	x2	x3	y
1	1	1	0.41	11.24
2	1	2	-0.11	12.18
…
10	2	5	-1.90	27.05

Analyse des corrélations

	x1	x2	x3	y
x1	1.0	0.0	-0.083	0.69
x2	0.0	1.0	-0.13	0.64
x3	-0.083	-0.13	1.0	-0.16
y	0.69	0.64	-0.16	1.0

[Formule] et [Formule] ont une corrélation positive notable avec [Formule].
[Formule] présente une faible corrélation négative.

Modèle estimé

Après ajustement par lm(y ~ x1 + x2 + x3) :

Coefficient	Estimate	Std. Error	t value	p-value
(Intercept)	1.38	2.10	0.656	0.519
x1	4.43	0.47	9.46	< 0.001 ***
x2	4.11	0.47	8.73	< 0.001 ***
x3	-0.04	0.14	-0.26	0.794

[Formule] et [Formule] sont significatifs (***).
[Formule] n'est pas significatif.

Qualité du modèle

[Formule] ajusté : 0.8735 → 87,35% de la variance expliquée.
Test global très significatif (F-statistic p-value ≈ 0).

5. Validation du modèle

Avant d’interpréter les résultats, on vérifie les hypothèses :

Indépendance des résidus : via graphiques des résidus.
Normalité des résidus : test de Shapiro-Wilk (valeurs proches de 1 et p-value > 0.05 indiquent normalité).
Homoscedasticité : dispersion constante des résidus selon les valeurs ajustées.

Exemple d’outil R :

plot(mlr, 1) : Résidus vs valeurs ajustées (pour homogénéité).

plot(mlr, 2) : QQ-plot pour normalité.

`shapiro.test(mlr[Formule]Y = X\beta + \varepsilon[Formule]\hat{\beta} = (X^T X)^{-1} X^T Y[Formule]\hat{Y} = X \hat{\beta}[Formule]R^2$ ajusté.

Cette fiche vous offre une base solide pour comprendre, calculer, tester et valider un modèle de régression linéaire multiple. Utilisez les outils statistiques et graphiques pour une analyse complète et outil d’aide à la décision.

Méthodes de régression linéaires