\documentclass{pbsheet}

\TITRE{Feuille de TP n°5 \\ Espérance conditionnelle en modélisation}
\FORMATION{Épreuve de modélisation - Agrégation Externe de Mathématiques}
\ETABLISSEMENT{Université Paul Sabatier Toulouse III}
\ANNEE{2005}
\MEL{chafai@math.ups-tlse.fr}
\AUTEUR{B. Bercu \& D. Chafaï}
\WEB{http://www.lsp.ups-tlse.fr/Chafai/agregation.html}
\DATE{Octobre 2004}

\begin{document}

%%
\section{Espérance conditionnelle.}
%%

Soit $(\Om, \cA, \dP)$ un espace de probabilité. Pour $p \geq 1$, on note
$\bL^p(\cA)$ l'espace des variables aléatoires $X$ définies sur $(\Om, \cA,
\bP)$ et telles que $\NRM{X}_p^p=\dE(|X|^p)$ soit finie. $\bL^2(\cA)$ est un
espace de Hilbert pour le produit scalaire $\DP{X,Y}=\dE(XY)$. Si $\cB$ est
une sous-tribu de $\cA$, $\bL^2(\cB)$ est un sous-espace de Hilbert de
$\bL^2(\cA)$. Pour $X \in \bL^2(\cA)$, l'espérance conditionnelle de $X$
sachant $\cB$ est la projection orthogonale de $X$ sur $\bL^2(\cB)$. Elle
correspond à la v.a. de $\bL^2(\cB)$ la plus proche de $X$ au sens des
moindres carrés, que l'on note $\dE(X\,|\,\cB)$. On a
$%
\dE((X-\dE(X\,|\,\cB))^2) =\inf\BRA{\dE((X-Y)^2)\text{ avec }Y\in\bL^2(\cB)}.
$
L'espérance conditionnelle est une v.a. définie p.s. et toutes les
relations où elle figure sont des relations entre classes d'équivalence de
variables aléatoires. Toutefois, on ne précisera plus dans la suite le terme
p.s.

\noindent\textbf{Propriété 1.} Pour tout $Y\in\bL^2(\cB)$, on a
$%
\dE(XY) = \dE(\dE(X\,|\,\cB)Y)% 
\text{ et } \dE(\dE(X\,|\,\cB))^2) \leq \dE(X^2).%
$

\noindent\textbf{Propriété 2.} L'espérance conditionnelle est un opérateur
linéaire croissant de $\bL^2(\cA)$ dans $\bL^2(\cB)$. En particulier, si $X
\in \bL^2(\cA)$ avec $X\geq 0$, alors $\dE(X\,|\,\cB)\geq 0$.

\noindent\textbf{Propriété 3.} Si $X$ est $\cB$-mesurable,
$\dE(X\,|\,\cB) = X$. Si $X$ est indépendante de $\cB$, $\dE(X\,|\,\cB) =
\dE(X)$. Si $X$ et $XY \in \bL^1(\cA)$ et si $Y$ est $\cB$-mesurable, on a la
factorisation $\dE(XY\,|\,\cB) = Y\dE(X\,|\,\cB)$.

\noindent\textbf{Propriété 4.} Si $\cC$ est une sous-tribu de $\cB$, on
a $\dE(\dE(X\,|\,\cB)\,|\,\cC)=\dE(X\,|\,\cC)$.  En particulier,
$%
\dE(\dE(X\,|\,\cB))=\dE(X).%
$

Soit $X$ une v.a. définie sur $(\Om, \cA, \dP)$ et $Y \in \bL^2(\cA)$.
L'espérance conditionnelle de $Y$ sachant $X$, notée $\dE(Y\,|\,X)$,
correspond à l'espérance conditionnelle de $Y$ sachant $\si(X)$. Soit $f$ la
fonction mesurable définie par $f(X)=\bE(Y\,|\,X)$. Pour toute fonction
borélienne bornée $g$, on a
$$
\bE(Yg(X)) = \bE(f(X)g(X)) %
\text{ et } %
\bE(f(X)^2) \leq \bE(Y^2).
$$

%%
\section{Utilisation en modélisation.}
%%

\begin{exo}[Régression linéaire] Soit $X=(X_1,\cdots,X_p)$ un vecteur
  aléatoire défini sur $(\Om, \cA, \dP)$ de matrice de covariance inversible
  $\Ga$ et soit $Y \in\bL^2(\cA)$. Montrer que la meilleure approximation de
  $Y$ par une fonction affine de $X$ au sens des moindres carrés est donnée
  par $f(X)=a+ b^tX$ avec $a=\dE(Y)-b^t\dE(X)$ et $b=\Ga^{-1}\cov{}{X}{Y}$. On
  a toujours $ \dE((Y-\dE(Y|X))^2) \leq \dE((Y-f(X))^2)$ avec égalité dans le
  cadre gaussien. Vérifier que si $(X,Y)$ est un vecteur gaussien, alors
  $f(X)$ correspond à $\dE(Y|X)$, $Y-f(X)$ est indépendante de $X$ et $$
  \dE(Y|X)=a+b_1X_1+\cdots+b_pX_p=\dE(Y)+\DP{b,X-\dE(X)}. $$
  On pourra
  consulter par exemple \cite[Chapitre 5]{dacunha-castelle-duflo} et
  \cite[Chapitres 16 et 17]{saporta}.
  
\end{exo}

\begin{exo}[Modèle linéaire gaussien - Tests de Student et de Fisher]
  On considère la régression linéaire gaussienne simple définie, pour $n>2$,
  par 
  \begin{equation*}
    Y_i = a + bx_i + \veps_i; \; i = 1,\ldots,n, 
  \end{equation*}
  où $(x_i)_i$ est une suite de nombres réels connus non tous égaux et où
  $(\veps_i)_i$ est une suite i.i.d. de loi $\cN(0,\si^2)$. Déterminer les
  estimateurs de moindres carrés $\WH{\te}=(\WH{a},\WH{b})$ et $\WH{\si}^2$ de
  $\te=(a,b)$ et $\si^2$. Montrer que, si $X = (x_1,\ldots,x_n)^T$, alors
  $\WH{\te}\sim\cN(\te,\si^2(X X^T)^{-1})$ donc 
  \begin{equation*}
    \WH{a}\sim\cN\PAR{a,\frac{\si^2\OL{x^2}}{n\var{}{x}}} 
    \text{\quad et \quad} 
    \WH{b}\sim\cN\PAR{b,\frac{\si^2}{n\var{}{x}}}. 
  \end{equation*}
  Montrer que les estimateurs
  $\WH{\te}$ et $\WH{\si^2}$ sont indépendants et $(n-2)\WH{\si^2}\sim
  \si^2\chi^2(n-2)$. En déduire que 
  \begin{equation*}
    \sqrt{\frac{n\mbox{Var}(x)}{\OL{x^2}}}
    \PAR{\frac{\WH{a}-a}{\WH{\si}}}\sim t(n-2) %
    \text{\quad et \quad} \sqrt{n\var{}{x}}
    \PAR{\frac{\WH{b}-b}{\WH{\si}}}\sim t(n-2).
  \end{equation*}
  On peut ainsi effectuer des tests sur les valeurs $a$ et $b$ et obtenir
  des intervalles de confiance pour $a$ et $b$.  Montrer que, si $a=0$,
  $\sum_{i=1}^n (\WH{a}+\WH{b}x_i-\tilde{b}x_i)^2/\WH{\si}^2 \sim F(1,n-2)$
  avec $\tilde{b}:=\OL{xY}/\OL{x^2}$ et, si $b=0$, $\sum_{i=1}^n (\WH{a}
  +\WH{b}x_i -\OL{Y})^2/\WH{\si}^2\sim F(1,n-2)$.  On peut ainsi tester
  $\rH_0$ : «$a=0$» contre $\rH_1$ : «$a\neq0$» ou bien encore $\rH_0$ :
  «$b=0$» contre $\rH_1$ : «$b\neq0$». 
\end{exo}

\begin{exo}[Régression linéaire]
  Créer un code Matlab permettant de générer une régression linéaire
  gaussienne simple où les valeurs $n$, $a$, $b$ et $\si^2$ sont affectées par
  l'utilisateur et où $(x_i)_i$ est une réalisation d'un $n$-échantillon de
  loi uniforme sur $[0,1]$. Calculer les estimateurs des moindres carrés
  $\WH{\te}=(\WH{a},\WH{b})$ et $\WH{\si}^2$.  Représenter graphiquement le
  nuage de points formé par les couples $(x_i,y_i)_i$ et tracer la droite des
  moindres carrés $y=\WH{a}+\WH{b}x$.  Donner pour chaque paramètre $a$, $b$
  et $\si^2$ un intervalle de confiance de risque $\alpha=5\%$.  Reprendre cet
  exercice en faisant varier $n$, $a$, $b$ et $\si^2$ ainsi que la loi
  associée à $(x_i)_i$.
\end{exo}

\begin{exo}[Régression linéaire]
  Un particulier cherche à acquérir un appartement aux alentours immédiats de
  la place du Capitole à Toulouse. Il a sélectionné les 24 offres de vente
  suivantes où $x$ représente la surface en mètres carrés et $Y$ correspond au
  prix en milliers d'Euros : \par\medskip
  \begin{tabular}{|c|cccccccccccc|}\hline
    x &  28 &  50 & 196 &  55 & 190 & 110 &  60 &  48 &  90 &  35 &  86 &  65\\
    Y & 130 & 280 & 800 & 268 & 790 & 500 & 320 & 250 & 378 & 250 & 350 & 300\\
    \hline\hline
    x &  32 &  52 &  40 &  70 &  28 &  30 & 105 &  52 &  80 &  60 &  20 & 100\\
    Y & 155 & 245 & 200 & 325 &  85 &  78 & 375 & 200 & 270 & 295 &  85 & 495\\
    \hline
  \end{tabular} \par\medskip
  Étudier la régression linéaire simple du prix en fonction de la surface
  grâce à \texttt{linreg} de Matlab.
\end{exo}

\begin{exo}[Processus de Galton-Watson sur la taille d'une population]
  On considère le processus de Galton-Watson 
  $$
  X_{n+1} = \sum_{k=1}^{X_{n}}Y_{n,k}
  $$
  avec $X_0=1$. La v.a. $X_n$ représente le nombre d'individus à la
  $n\ieme$ génération et pour $1\leq k \leq X_n$, $Y_{n,k}$ correspond au
  nombre de descendants du $k^{e}$ individu de la $n^{e}$ génération. On
  suppose que $(Y_{n,k})$ est i.i.d. à valeurs dans $\dN$, de moyenne $m$ et
  de variance $\si^2$.  Montrer que ce processus peut s'ecrire sous la forme
  $X_{n+1}=mX_{n}+\veps_{n+1}$ où $(\veps_n)$ satisfait
  $\dE(\veps_{n+1}|\cF_n]=0$ et $\dE(\veps_{n+1}^2|\cF_n)=\si^2 X_n$. On note
  $q$ la probabilité d'extinction de la population. On a la trichotomie
  suivante :
  \begin{enumerate}
  \item Cas \emph{sous-critique} : $m<1$, $q=1$, $(X_n)_n$ tend vers $0$ p.s.
  \item Cas \emph{critique} : $m=1$, $q=1$, $(X_n)_n$ tend vers $0$ p.s. et
    $n\dP(X_n>0)\rightarrow 2/\si^2$.
  \item Cas \emph{sur-critique} : $m>1$, $q$ est l'unique point fixe de la
    fonction génératrice associée à la loi de $(Y_{n,k})$ et $(X_n/m^n)$
    converge p.s.  vers une v.a. finie $L$ avec $\dE(L)=1$,
    $\var{}{L}=\si^2/(m^2-m)$ et $\dP(L=0)=q$.  Vérifier par simulation ces
    résultats lorsque $(Y_{n,k})$ est associée à la loi Binomiale $\cB(a,1/2)$
    avec $a=1, 2, 4$. Essayer d'autres lois.
  \end{enumerate}
\end{exo} 

\begin{rem}
  On pourra consulter avec profit \cite{bouleau2bis}, qui contient de
  nombreuses situations de modélisation faisant intervenir l'espérence
  conditionnelle de manière cruciale, en particulier, le filtrage. Pour le
  modèle linéaire, on pourra consulter par exemple \cite{guyon},
  \cite{scheffe}, \cite{saporta}.
\end{rem}

{\tiny
\bibliographystyle{smfplain}
\bibliography{biblio}
}


\end{document}