\documentclass{pbsheet}

\TITRE{Feuille de TP n°3 \\ 
 Loi des Grand Nombres et Théorème de la Limite Centrale}
\FORMATION{Épreuve de modélisation - Agrégation Externe de Mathématiques}
\ETABLISSEMENT{Université Paul Sabatier Toulouse III}
\ANNEE{2004}
\MEL{chafai@math.ups-tlse.fr}
\AUTEUR{B. Bercu \& D. Chafaï}
\WEB{http://www.lsp.ups-tlse.fr/Chafai/agregation.html}
\DATE{Novembre 2004}

\begin{document}

%%
\section{Loi des Grands Nombres}
%%

La loi des grands nombres (LGN) est un résultat fondamental en Probabilités.
Elle affirme que si $(X_n)_n$ est une suite de variables aléatoires
indépendantes et de même loi que $X$ et si $S_n = \sum_{k=1}^nX_k$, alors
$\lim_{n\to+\infty}S_n/n = \dE(X) \text{ p.s.}$ si et seulement si $X$ est
intégrable. On peut trouver divers raffinements de la LGN. Etemadi a montré
qu'elle reste encore vraie si $(X_n)_n$ est une suite de v.a. deux à deux
indépendantes et de même loi. Elle est également vraie si $(X_n)_n$ n'est pas
constituée de v.a. de même loi. Kolmogorov a établi que si $(X_n)_n$ est une
suite de v.a. indépendantes, centrées, de carré intégrable et satisfaisant
$\sum_{n=1}^\infty n^{-2}\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$ p.s.
Finalement, Rademacher et Menchov ont montré que, sans l'hypothèse
d'indépendance, si $(X_n)_n$ est une suite de v.a. centrées, de carré
intégrable, non corrélées et satisfaisant $\sum_{n=1}^\infty (n^{-1}\log
n)^2\,\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$ p.s.

\begin{exo}[Glivenko-Cantelli]  \label{ex:gv} %
  Soit $(X_n)_n$ une suite de v.a. indépendantes et de même loi, de fonction
  de répartition $F$. Soit $F_n$ la fonction de répartition empirique de
  $(X_1,\ldots,X_n)$, définie $\forall x\in \dR$ par
  $$
  F_n(x) = \frac{1}{n}\sum_{k=1}^n\rI_{\BRA{X_k\leq x}}.
  $$
  On a par le Théorème de Glivenko-Cantelli que $\forall x\in \dR$,
  $F_n(x) \rightarrow F(x)$ p.s. et
  $$
  \sup_{x\in \dR}|F_n(x)-F(x)| \limPS{n} 0
  $$
  Créer un code Matlab illustrant ce résultat sur $N$ réalisations i.i.d.
  de loi binomiale $\cB(n,p)$, de loi exponentielle $\cE(\la)$ et de loi
  géométrique $\cG(p)$ où les paramètres de ces lois sont affectés par
  l'utilisateur.  Pour $N$ assez grand, vérifier la LGN sur les estimateurs
  empiriques des deux premiers moments associés à ces lois.
\end{exo}

\begin{exo}[Taille du support d'une loi uniforme] Soit $(X_n)_n$ une suite de
  variables aléatoires i.i.d.  de loi uniforme sur $\BRA{1,\ldots,\te}$.
  Montrer que $\WH{\te}_n = 2\OL{X}_n -1$ est un estimateur sans biais et
  fortement consistant de $\te$. Vérifier-le par simulation.
\end{exo}

\begin{exo}[Processus auto-régressif] On considère le processus autorégressif
  stable $X_n=\te X_{n-1}+\veps_n$ avec $|\te |<1$, $X_0=0$ et $(\veps_n)$
  i.i.d. centrée, de variance $\si^2$.  On estime $\te$ par l'estimateur des
  moindres carrés $\WH{\te}_n =
  (\sum_{k=1}^nX_kX_{k-1})/(\sum_{k=0}^{n-1}X_k^2)$. Si
  $S_n=\sum_{k=0}^nX_k^2$, montrer que $S_n/n \rightarrow \si^2/(1-\te^2)$
  p.s. En déduire que $\WH{\te}_n\rightarrow \te$ p.s.  Vérifier-le par
  simulation pour divers choix de $(\veps_n)_n$.  Montrer également que
  $\sqrt{n}(\widehat{\te}_n- \te)$ converge en loi vers une loi $\cN(0,
  1-\te^2)$ et vérifier-le par simulation.
\end{exo}

\begin{exo}[Processus de Galton-Watson explosif] On considère le processus de
  Galton-Watson explosif
  $$
  X_n=\sum_{k=1}^{X_{n-1}}Y_{n,k}
  $$
  avec $X_0=1$. La suite $(X_n)_n$ représente le nombre d'individus à la
  $n\ieme$ génération.  La suite $(Y_{n,k})$, qui représente les descendants,
  est i.i.d. à valeurs dans $\dN$, de moyenne $m>1$ et de variance $\si^2>0$.
  Montrer que $X_n/m^n$ converge p.s. vers une v.a.  $L$. En déduire que
  $\tilde{m}_n=X_n/X_{n-1}$ et $\WH{m}_n=\sum_{k=2}^nX_k/\sum_{k=1}^{n-1}X_k$
  sont deux estimateurs fortement consistants de $m$.  Proposer un estimateur
  fortement consistant $\WH{\si}^2_n$ de $\si^2$.  Vérifier par simulation la
  consistance de ces estimateurs lorsque $(Y_{n,k})$ est associée à la loi
  binomiale $\cB(4,1/2)$. Essayer d'autres lois.
\end{exo}

%%
\section{Théorème Limite Centrale} 
%%

Le théorème de la limite centrale (TLC) est le second résultat fondamental en
Probabilités. Le premier TLC, dû à De Moivre et connu sous le nom de Théorème
de Moivre-Laplace, concerne les v.a. de Bernoulli. Il affirme que si $(X_n)_n$
est une suite de variables aléatoires i.i.d. de loi de Bernoulli $\cB(p)$ avec
$0<p<1$, alors $\forall a,b \in \dR$ avec $a<b$
$$
\lim_{n\rightarrow+\infty}%
\dP\Bigl(a\leq \frac{S_n -np}{\sqrt{npq}} \leq b\Bigr) %
= \frac{1}{\sqrt{2\pi}}\int_a^b\exp\PAR{-\frac{x^2}{2}}\,dx
$$
où $S_n=\sum_{k=1}^nX_k$ et $q=1-p$. Plus généralement, si $(X_n)_n$ est
une suite de variables aléatoires i.i.d. de carré intégrable, d'espérance $m$
et de variance $\si^2>0$, alors
$$
\frac{S_n -nm}{\si \sqrt{n}} \limL{n} \cN(0,1).
$$

\begin{exo}
  Créer un code Matlab permettant d'illustrer le TLC pour un $N$-échantillon
  de loi Uniforme $\cU([0,1])$.
\end{exo}

\begin{exo}[Test de Kolmogorov-Smirnov]
  On se place dans le cadre de l'exercice \ref{ex:gv}. Si $F$ est continue, on
  a
  $$
  \sqrt{n}\sup_{x\in\dR}|F_n(x)-F(x)| \limL{n} L_F
  $$
  où $L_F$ est une v.a. de fonction de répartition $\Phi_F(x) =
  1+2\sum_{k=1}^\infty(-1)^k\exp(-2k^2x^2)$ si $x>0$ et $\Phi_F(x) = 0$ sinon.
  La bibliothèque Stixbox fournit la fonction Matlab \texttt{pks} qui permet
  de calculer $\Phi_F$. Grace à cette convergence, on peut construire un test
  d'adéquation sur $F$, appelé test de Kolmogorov-Smirnov.  Créer un code
  Matlab permettant d'illustrer le test de Kolmogorov-Smirnov pour un
  $N$-échantillon de loi normale $\cN(0,1)$.
\end{exo}

%\begin{exo}[Test du $\chi^2$]
% FIXME: le mettre ici. Sous H0 on utilise le TLC, sous H1 la LGN.
%\end{exo}

\begin{exo}[Estimateur à noyau d'une densité]
  Soit $(X_n)_n$ une suite de v.a. indépendantes et de même loi, de densité de
  probabilité $f$. A partir de $F_n$, on estime $f$ par $\WH{f}_n$ définie
  $\forall x \in\dR$ par $\WH{f}_n(x)=(F_n(x+h_n)-F_n(x-h_n))/2h_n$ où
  $(h_n)_n$ est une suite positive décroissante avec $h_n\rightarrow 0$ et
  $nh_n\rightarrow \infty$.  On peut par exemple choisir $h_n=n^{-\al}$ avec
  $0<\al <1$. Montrer que $\WH{f}_n$ converge en probabilité vers $f$ et que
  $\forall x \in\dR$,
  $$
  \sqrt{2nh_n}\;\frac{(\WH{f}_n(x)-\dE(\WH{f}_n(x)))} {\sqrt{\WH{f}_n(x)}}
  \limL{n} \cN(0,1).
  $$
  Créer un code Matlab permettant de vérifier ce résultat pour la loi
  normale $\cN(0,1)$ et la loi exponentielle $\cE(1)$.
\end{exo}

\begin{exo}[Sommes partielles de la série exponentielle et loi de Poisson]
  Pour tout $x,\la>0$, soit $L_n(x) =
  \exp(-n\la)\sum_{k=0}^{[nx]}(n\la)^k/k!$.  Montrer à l'aide de la LGN et du
  TLC que $L_n(x)$ tend vers $0$ si $x<\la$, $1/2$ si $x=\la$ et $1$ sinon.
  Vérifier-le par simulation.
\end{exo}

\end{document}