\documentclass{pbsheet}

\TITRE{Feuille de TP n�3 \\ 
 Loi des Grand Nombres et Th�or�me de la Limite Centrale}
\FORMATION{�preuve de mod�lisation - Agr�gation Externe de Math�matiques}
\ETABLISSEMENT{Universit� Paul Sabatier Toulouse III}
\ANNEE{2004}
\MEL{chafai@math.ups-tlse.fr}
\AUTEUR{B. Bercu \& D. Chafa�}
\WEB{http://www.lsp.ups-tlse.fr/Chafai/agregation.html}
\DATE{Novembre 2004}

\begin{document}

%%
\section{Loi des Grands Nombres}
%%

La loi des grands nombres (LGN) est un r�sultat fondamental en Probabilit�s.
Elle affirme que si $(X_n)_n$ est une suite de variables al�atoires
ind�pendantes et de m�me loi que $X$ et si $S_n = \sum_{k=1}^nX_k$, alors
$\lim_{n\to+\infty}S_n/n = \dE(X) \text{ p.s.}$ si et seulement si $X$ est
int�grable. On peut trouver divers raffinements de la LGN. Etemadi a montr�
qu'elle reste encore vraie si $(X_n)_n$ est une suite de v.a. deux � deux
ind�pendantes et de m�me loi. Elle est �galement vraie si $(X_n)_n$ n'est pas
constitu�e de v.a. de m�me loi. Kolmogorov a �tabli que si $(X_n)_n$ est une
suite de v.a. ind�pendantes, centr�es, de carr� int�grable et satisfaisant
$\sum_{n=1}^\infty n^{-2}\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$ p.s.
Finalement, Rademacher et Menchov ont montr� que, sans l'hypoth�se
d'ind�pendance, si $(X_n)_n$ est une suite de v.a. centr�es, de carr�
int�grable, non corr�l�es et satisfaisant $\sum_{n=1}^\infty (n^{-1}\log
n)^2\,\dE(X_n^2) < \infty$ alors, $S_n/n\rightarrow 0$ p.s.

\begin{exo}[Glivenko-Cantelli]  \label{ex:gv} %
  Soit $(X_n)_n$ une suite de v.a. ind�pendantes et de m�me loi, de fonction
  de r�partition $F$. Soit $F_n$ la fonction de r�partition empirique de
  $(X_1,\ldots,X_n)$, d�finie $\forall x\in \dR$ par
  $$
  F_n(x) = \frac{1}{n}\sum_{k=1}^n\rI_{\BRA{X_k\leq x}}.
  $$
  On a par le Th�or�me de Glivenko-Cantelli que $\forall x\in \dR$,
  $F_n(x) \rightarrow F(x)$ p.s. et
  $$
  \sup_{x\in \dR}|F_n(x)-F(x)| \limPS{n} 0
  $$
  Cr�er un code Matlab illustrant ce r�sultat sur $N$ r�alisations i.i.d.
  de loi binomiale $\cB(n,p)$, de loi exponentielle $\cE(\la)$ et de loi
  g�om�trique $\cG(p)$ o� les param�tres de ces lois sont affect�s par
  l'utilisateur.  Pour $N$ assez grand, v�rifier la LGN sur les estimateurs
  empiriques des deux premiers moments associ�s � ces lois.
\end{exo}

\begin{exo}[Taille du support d'une loi uniforme] Soit $(X_n)_n$ une suite de
  variables al�atoires i.i.d.  de loi uniforme sur $\BRA{1,\ldots,\te}$.
  Montrer que $\WH{\te}_n = 2\OL{X}_n -1$ est un estimateur sans biais et
  fortement consistant de $\te$. V�rifier-le par simulation.
\end{exo}

\begin{exo}[Processus auto-r�gressif] On consid�re le processus autor�gressif
  stable $X_n=\te X_{n-1}+\veps_n$ avec $|\te |<1$, $X_0=0$ et $(\veps_n)$
  i.i.d. centr�e, de variance $\si^2$.  On estime $\te$ par l'estimateur des
  moindres carr�s $\WH{\te}_n =
  (\sum_{k=1}^nX_kX_{k-1})/(\sum_{k=0}^{n-1}X_k^2)$. Si
  $S_n=\sum_{k=0}^nX_k^2$, montrer que $S_n/n \rightarrow \si^2/(1-\te^2)$
  p.s. En d�duire que $\WH{\te}_n\rightarrow \te$ p.s.  V�rifier-le par
  simulation pour divers choix de $(\veps_n)_n$.  Montrer �galement que
  $\sqrt{n}(\widehat{\te}_n- \te)$ converge en loi vers une loi $\cN(0,
  1-\te^2)$ et v�rifier-le par simulation.
\end{exo}

\begin{exo}[Processus de Galton-Watson explosif] On consid�re le processus de
  Galton-Watson explosif
  $$
  X_n=\sum_{k=1}^{X_{n-1}}Y_{n,k}
  $$
  avec $X_0=1$. La suite $(X_n)_n$ repr�sente le nombre d'individus � la
  $n\ieme$ g�n�ration.  La suite $(Y_{n,k})$, qui repr�sente les descendants,
  est i.i.d. � valeurs dans $\dN$, de moyenne $m>1$ et de variance $\si^2>0$.
  Montrer que $X_n/m^n$ converge p.s. vers une v.a.  $L$. En d�duire que
  $\tilde{m}_n=X_n/X_{n-1}$ et $\WH{m}_n=\sum_{k=2}^nX_k/\sum_{k=1}^{n-1}X_k$
  sont deux estimateurs fortement consistants de $m$.  Proposer un estimateur
  fortement consistant $\WH{\si}^2_n$ de $\si^2$.  V�rifier par simulation la
  consistance de ces estimateurs lorsque $(Y_{n,k})$ est associ�e � la loi
  binomiale $\cB(4,1/2)$. Essayer d'autres lois.
\end{exo}

%%
\section{Th�or�me Limite Centrale} 
%%

Le th�or�me de la limite centrale (TLC) est le second r�sultat fondamental en
Probabilit�s. Le premier TLC, d� � De Moivre et connu sous le nom de Th�or�me
de Moivre-Laplace, concerne les v.a. de Bernoulli. Il affirme que si $(X_n)_n$
est une suite de variables al�atoires i.i.d. de loi de Bernoulli $\cB(p)$ avec
$0<p<1$, alors $\forall a,b \in \dR$ avec $a<b$
$$
\lim_{n\rightarrow+\infty}%
\dP\Bigl(a\leq \frac{S_n -np}{\sqrt{npq}} \leq b\Bigr) %
= \frac{1}{\sqrt{2\pi}}\int_a^b\exp\PAR{-\frac{x^2}{2}}\,dx
$$
o� $S_n=\sum_{k=1}^nX_k$ et $q=1-p$. Plus g�n�ralement, si $(X_n)_n$ est
une suite de variables al�atoires i.i.d. de carr� int�grable, d'esp�rance $m$
et de variance $\si^2>0$, alors
$$
\frac{S_n -nm}{\si \sqrt{n}} \limL{n} \cN(0,1).
$$

\begin{exo}
  Cr�er un code Matlab permettant d'illustrer le TLC pour un $N$-�chantillon
  de loi Uniforme $\cU([0,1])$.
\end{exo}

\begin{exo}[Test de Kolmogorov-Smirnov]
  On se place dans le cadre de l'exercice \ref{ex:gv}. Si $F$ est continue, on
  a
  $$
  \sqrt{n}\sup_{x\in\dR}|F_n(x)-F(x)| \limL{n} L_F
  $$
  o� $L_F$ est une v.a. de fonction de r�partition $\Phi_F(x) =
  1+2\sum_{k=1}^\infty(-1)^k\exp(-2k^2x^2)$ si $x>0$ et $\Phi_F(x) = 0$ sinon.
  La biblioth�que Stixbox fournit la fonction Matlab \texttt{pks} qui permet
  de calculer $\Phi_F$. Grace � cette convergence, on peut construire un test
  d'ad�quation sur $F$, appel� test de Kolmogorov-Smirnov.  Cr�er un code
  Matlab permettant d'illustrer le test de Kolmogorov-Smirnov pour un
  $N$-�chantillon de loi normale $\cN(0,1)$.
\end{exo}

%\begin{exo}[Test du $\chi^2$]
% FIXME: le mettre ici. Sous H0 on utilise le TLC, sous H1 la LGN.
%\end{exo}

\begin{exo}[Estimateur � noyau d'une densit�]
  Soit $(X_n)_n$ une suite de v.a. ind�pendantes et de m�me loi, de densit� de
  probabilit� $f$. A partir de $F_n$, on estime $f$ par $\WH{f}_n$ d�finie
  $\forall x \in\dR$ par $\WH{f}_n(x)=(F_n(x+h_n)-F_n(x-h_n))/2h_n$ o�
  $(h_n)_n$ est une suite positive d�croissante avec $h_n\rightarrow 0$ et
  $nh_n\rightarrow \infty$.  On peut par exemple choisir $h_n=n^{-\al}$ avec
  $0<\al <1$. Montrer que $\WH{f}_n$ converge en probabilit� vers $f$ et que
  $\forall x \in\dR$,
  $$
  \sqrt{2nh_n}\;\frac{(\WH{f}_n(x)-\dE(\WH{f}_n(x)))} {\sqrt{\WH{f}_n(x)}}
  \limL{n} \cN(0,1).
  $$
  Cr�er un code Matlab permettant de v�rifier ce r�sultat pour la loi
  normale $\cN(0,1)$ et la loi exponentielle $\cE(1)$.
\end{exo}

\begin{exo}[Sommes partielles de la s�rie exponentielle et loi de Poisson]
  Pour tout $x,\la>0$, soit $L_n(x) =
  \exp(-n\la)\sum_{k=0}^{[nx]}(n\la)^k/k!$.  Montrer � l'aide de la LGN et du
  TLC que $L_n(x)$ tend vers $0$ si $x<\la$, $1/2$ si $x=\la$ et $1$ sinon.
  V�rifier-le par simulation.
\end{exo}

\end{document}

