\documentclass{pbsheet}

\TITRE{Feuille de TP n°3 \\ 
 Loi des Grands Nombres et Théorème de la Limite Centrale}
\FORMATION{Épreuve de modélisation - Agrégation Externe de Mathématiques}
\ETABLISSEMENT{Université Paul Sabatier Toulouse III}
\ANNEE{2005}
\MEL{chafai@math.ups-tlse.fr}
\AUTEUR{B. Bercu \& D. Chafaï}
\WEB{http://www.lsp.ups-tlse.fr/Chafai/agregation.html}
\DATE{Septembre 2004}

\begin{document}

%%
\section{Loi des Grands Nombres}
%%

La loi des grands nombres (LGN) est un résultat fondamental en Probabilités
\footnote{Sous des hypothèses adéquates, la LGN peut se démontrer en quelques
  lignes, on peut même simplifier la preuve déjà très courte qui se trouve
  dans \cite[Exercice 5.5]{cottrell-duhamel}. L'affaiblissement des hypothèses
  de la LGN conduisent à divers raffinements. Etemadi a montré qu'elle reste
  encore vraie si $(X_n)_n$ est une suite de v.a. deux à deux indépendantes et
  de même loi. Elle est également vraie si $(X_n)_n$ n'est pas constituée de
  v.a. de même loi. Kolmogorov a établi que si $(X_n)_n$ est une suite de v.a.
  indépendantes, centrées, de carré intégrable et satisfaisant
  $\sum_{n=1}^\infty n^{-2}\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$
  p.s. Finalement, Rademacher et Menchov ont montré que, sans l'hypothèse
  d'indépendance, si $(X_n)_n$ est une suite de v.a. centrées, de carré
  intégrable, non corrélées et satisfaisant $\sum_{n=1}^\infty (n^{-1}\log
  n)^2\,\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$ p.s.}. Elle affirme
que si $(X_n)_n$ est une suite de v.a.r. indépendantes et de même loi que $X$
et si $S_n = \sum_{k=1}^nX_k$, alors $$\frac{S_n}{n} \limPS{n} \dE(X)$$
si et
seulement si $X$ est intégrable. La version multidimensionnelle s'en déduit
aisément.


\begin{exo}[Glivenko-Cantelli] \label{ex:gv} %
  Soit $(X_n)_n$ une suite de v.a. indépendantes et de même loi, de fonction
  de répartition $F$. Soit $F_n$ la fonction de répartition empirique de
  $(X_1,\ldots,X_n)$, définie $\forall x\in \dR$ par $$
  F_n(x) =
  \frac{1}{n}\sum_{k=1}^n\rI_{\BRA{X_k\leq x}}. $$
  La LGN entraîne que
  $\forall x\in \dR$, $F_n(x) \rightarrow F(x)$ p.s. Le théorème de
  Glivenko-Cantelli renforce cela en une convergence uniforme :
  $$\sup_{x\in\dR}|F_n(x)-F(x)| \limPS{n} 0.$$
  On trouvera une preuve dans
  \cite[Théorème 4.4.25]{dacunha-castelle-duflo}. Créer un programme
  illustrant ce résultat sur $N$ réalisations i.i.d. de loi binomiale
  $\cB(n,p)$, de loi exponentielle $\cE(\la)$ et de loi géométrique $\cG(p)$.
  Pour $N$ assez grand, vérifier la LGN sur les estimateurs empiriques des
  deux premiers moments associés à ces lois.
\end{exo}

\begin{exo}[Taille du support d'une loi uniforme] Soit $(X_n)_n$ une suite de
  v.a. i.i.d. de loi uniforme sur $\BRA{1,\ldots,\te}$. Montrer que
  $\WH{\te}_n = 2\OL{X}_n -1$ est un estimateur sans biais et fortement
  consistant de $\te$. Simulation !
\end{exo}

\begin{exo}[Processus auto-régressif] On considère le processus autorégressif
  stable $X_n=\te X_{n-1}+\veps_n$ avec $|\te |<1$, $X_0=0$ et $(\veps_n)$
  i.i.d. centrée, de variance $\si^2$. On estime $\te$ par l'estimateur des
  moindres carrés $\WH{\te}_n =
  (\sum_{k=1}^nX_kX_{k-1})/(\sum_{k=0}^{n-1}X_k^2)$. Si
  $S_n=\sum_{k=0}^nX_k^2$, montrer que $S_n/n \rightarrow \si^2/(1-\te^2)$
  p.s. En déduire que $\WH{\te}_n\rightarrow \te$ p.s. Vérifier-le par
  simulation pour divers choix de $(\veps_n)_n$. Montrer également que
  $\sqrt{n}(\widehat{\te}_n- \te)$ converge en loi vers une loi $\cN(0,
  1-\te^2)$ et vérifier-le par simulation. On pourra consulter \cite[Section
  4.4.4]{dacunha-castelle-duflo-2}.
\end{exo}

\begin{exo}[Processus de Galton-Watson explosif] On considère le processus de
  Galton-Watson explosif $$
  Y_n=\sum_{k=1}^{Y_{n-1}}X_{n,k} $$
  avec $Y_0=1$.
  La suite $(X_n)_n$ représente le nombre d'individus à la $n\ieme$
  génération. La suite $(X_{n,k})_{n,k}$, qui représente les descendants, est
  i.i.d. à valeurs dans $\dN$, de moyenne $m>1$ et de variance $\si^2>0$.
  Montrer que $Y_n/m^n$ converge p.s. vers une v.a. $L$. En déduire que
  $\tilde{m}_n=Y_n/Y_{n-1}$ et $\WH{m}_n=\sum_{k=2}^n Y_k/\sum_{k=1}^{n-1}
  Y_k$ sont deux estimateurs fortement consistants de $m$. Proposer un
  estimateur fortement consistant $\WH{\si}^2_n$ de $\si^2$. Vérifier par
  simulation la consistance de ces estimateurs lorsque les $(X_{n,k})_{n,k}$
  suivent la loi binomiale $\cB(4,1/2)$. Essayer d'autres lois. On pourra
  consulter \cite[Section 12.1]{foata-fushs},
\end{exo}

%%
\section{Théorème de la Limite Centrale} 
%%

Le théorème de la limite centrale (TLC) est le second résultat fondamental en
Probabilités\footnote{On trouvera une preuve dans \cite[Chapitre
  5]{barbe-ledoux} par exemple. Le premier TLC, dû à De Moivre et connu sous
  le nom de Théorème de Moivre-Laplace, concerne les v.a. de Bernoulli. Il
  affirme que si $(X_n)_n$ est une suite de v.a. i.i.d. de loi de Bernoulli
  $\cB(p)$ avec $0<p<1$, alors $\forall a,b \in \dR$ avec $a<b$ $$
  \lim_{n\rightarrow+\infty}%
  \dP\PAR{a\leq \frac{X_1+\cdots+X_n -np}{\sqrt{np(1-p)}} \leq b} %
  = \frac{1}{\sqrt{2\pi}}\int_a^b\exp\PAR{-\frac{x^2}{2}}\,dx.$$
}. Si
$(X_n)_n$ est une suite de v.a. i.i.d. de carré intégrable, d'espérance $m$ et
de variance $\si^2>0$, alors $$\frac{S_n -nm}{\si \sqrt{n}} \limL{n}
\cN(0,1).$$
Ici encore, une version multidimensionnelle s'en déduit aisément.

\begin{exo}
  Créer un programme illustrant le TLC pour un $N$-échantillon de loi Uniforme
  $\cU([0,1])$.
\end{exo}

\begin{exo}[Franchissement de barrières]
  Soit $a<b$ et soit $(X_n)_n$ une suite de v.a.r. i.i.d. de variance finie.
  Montrer en utilisant le TLC que
  $\inf\BRA{n\geq1;X_1+\cdots+X_n\not\in[a,b]}$ est fini p.s., cf.
  \cite[Exercice 8.8]{cottrell-duhamel}. Simulations !
\end{exo}

\begin{exo}[Test du $\chi^2$]
  Soit $(X_n)_n$ une suite de v.a.r. i.i.d. de loi $p$, ne prenant que $k$
  valeurs distinctes. Si $p_n:=\sum_{i=1}^n \de_{X_i}/n$ est la loi empirique,
  alors le TLC entraîne que la pseudo-distance $\chi^2(p,p_n):=\sum_{i=1}^k
  (p_n(i)-p(i))^2/p(i)$ converge en loi vers la loi $\chi^2(k-1)$ quand $n$
  tend vers $+\infty$ (donne un test d'adéquation à $p$). Illustrer cela par
  un programme sur des données trouvées par exemple dans \cite[Chapitre
  15]{saporta} où \cite[Sections 5.4]{dacunha-castelle-duflo}.
\end{exo}

\begin{exo}[Test de Kolmogorov-Smirnov]
  Dans le cadre de l'exercice \ref{ex:gv}. Si $F$ est \emph{continue}, on a $$
  \sqrt{n}\sup_{x\in\dR}|F_n(x)-F(x)| \limL{n} L_F $$
  où $L_F$ est une v.a. de
  fonction de répartition $\Phi_F(x) =
  1+2\sum_{k=1}^\infty(-1)^k\exp(-2k^2x^2)$ si $x>0$ et $\Phi_F(x) = 0$ sinon.
  Ce résultat permet la construction d'un test d'adéquation sur $F$, appelé
  test de Kolmogorov-Smirnov\footnote{Pour les tests de Kolmogorov-Smirnov et
    du $\chi^2$, le TLC donne le niveau asymptotique tandis que la LGN assure
    que la puissance converge vers $1$.}. La bibliothèque Stixbox fournit la
  fonction \texttt{pks} qui permet de calculer $\Phi_F$. Créer un programme
  illustrant ce test pour un $N$-échantillon de loi normale $\cN(0,1)$. Cf.
  par exemple \cite[Section 15.4]{saporta} et \cite[Sections
  4.5]{dacunha-castelle-duflo}.
\end{exo}

%\begin{exo}[Estimateur à noyau d'une densité]
%  Soit $(X_n)_n$ une suite de v.a. indépendantes et de même loi, de densité de
%  probabilité $f$. A partir de $F_n$, on estime $f$ par $\WH{f}_n$ définie
%  $\forall x \in\dR$ par $\WH{f}_n(x)=(F_n(x+h_n)-F_n(x-h_n))/2h_n$ où
%  $(h_n)_n$ est une suite positive décroissante avec $h_n\rightarrow 0$ et
%  $nh_n\rightarrow \infty$. On peut par exemple choisir $h_n=n^{-\al}$ avec
%  $0<\al <1$. Montrer que $\WH{f}_n$ converge en probabilité vers $f$ et que
%  $\forall x \in\dR$, $$
%  \sqrt{2nh_n}\;\frac{(\WH{f}_n(x)-\dE(\WH{f}_n(x)))}
%  {\sqrt{\WH{f}_n(x)}} \limL{n} \cN(0,1). $$
%  Créer un programme permettant
%  de vérifier ce résultat pour la loi normale $\cN(0,1)$ et la loi
%  exponentielle $\cE(1)$.
%\end{exo}

\begin{exo}[Application amusante en analyse]
  Pour tout $x,\la>0$, soit $L_n(x) =
  \exp(-n\la)\sum_{k=0}^{[nx]}(n\la)^k/k!$. Montrer à l'aide de la LGN et du
  TLC que $L_n(x)$ tend vers $0$ si $x<\la$, $1/2$ si $x=\la$ et $1$ sinon.
  Vérifier-le par simulation. Cf. \cite[Exercice 4.15]{cottrell-duhamel}, et
  aussi \cite[Exercice 5.12]{cottrell-duhamel} dans le même esprit.
\end{exo}

 \begin{rem}[Autres théorèmes limites du type LGN ou TLC]
   Ils sont très nombreux et les exercices de cette feuille n'en donnent qu'un
   maigre apperçu. Cependant, les principaux concernent les martingales et les
   chaînes de Markov, comme nous le allons le voir au fil des feuilles.
 \end{rem}

{\tiny
\bibliographystyle{smfplain}
\bibliography{biblio}
}

\end{document}