Journée algorithmes stochastiques

Paris-Dauphine - vendredi 1^er décembre 2017

Principe : Cinq exposés accessibles autour de l'actualité des algorithmes stochastiques.
Lieu : Université Paris-Dauphine Amphi A5 (2ème étage sur la gauche puis sur la droite en sortant des ascenseurs).
Public : chercheurs et doctorants en analyse/probabilités/statistique
Orateurs :

• Rémi Bardenet - CNRS Lille / CRISTAL
• Nicolas Chopin - ENSAE / CREST
• Aymeric Dieuleveut - EPFL / MLO
• Aude Genevay - Dauphine / CEREMADE & INRIA
• Pierre Monmarché - UPMC / LJLL

• 09:30-10:00 Accueil et café/thé
• 10:00-10:45 Rémi Bardenet (CNRS Lille)
  On Markov chain Monte Carlo and tall data PDF
  Markov chain Monte Carlo methods (MCMC) are numerical integration algorithms that leverage Markov chain theory. They are popular in applications of Bayesian inference, since a Bayesian's answer to most statistical questions is the numerical computation of an integral. However, MCMC for Bayesian inference is typically a loop, with each iteration requiring a sweep over the whole dataset. When the dataset contains a huge number of individual data points, say the number of images of cats on the internet (>10^8 as of tonight, September 25th 2017), MCMC becomes extremely costly. Frequentists have overcome tall datasets using versatile techniques such as stochastic gradient, but will Bayesians survive this era of tall data? This talk is based on joint work with Arnaud Doucet and Chris Holmes arXiv:1505.02827
• 11:00-11:45 Nicolas Chopin (ENSAE)
  Sequential Monte Carlo algorithms: an overview PDF
  This talk will be a gentle introduction to SMC (Sequential Monte Carlo) algorithms: 1) what practical problems are they used for; e.g. filtering; 2) the general (Feynman-Kac) formulation of the sequence of distributions we wish to approximate; 3) how SMC may be interpreted as a sequence of importance sampling steps. If time permits, I'll mention briefly some recent extensions such as SQMC (Sequential quasi-Monte Carlo).
• 12:00-14:00 Pause déjeuner (buffet)
• 14:00-14:45 Aymeric Dieuleveut (EPFL)
  Stochastic algorithms for machine learning PDF
  This talk presents an overview of some stochastic algorithms used in large scale machine learning, especially first order methods. In the first two parts, we describe the most useful methods, together with classical convergence rates, for the minimization of the empirical risk then for the generalisation risk. In the last part, we focus on constant step size stochastic gradient descent, which is analysed as a Markov chain.
• 15:00-15:45 Pierre Monmarché (UPMC)
  Processus irréversibles pour l'échantillonnage PDF
  Un algorithme MCMC vise à calculer, à l'aide d'un processus de Markov, des intégrales contre une mesure de probabilité donnée. Cette cible étant fixée, un grand nombre de processus différents peuvent être utilisés. Les plus simples sont souvent réversibles (inverser le temps donne la même dynamique). Les tentatives d'accélérer la convergence des processus (et donc les algorithmes), ces dernières années, ont amené à considérer des processus irréversibles (et, plus généralement, dégénérés : hypoelliptiques, hypocoercifs, non-diffusifs…), pour l'étude desquels un certain nombre d'outils et de techniques classiques ne sont plus disponibles, du moins tels quels. On propose de passer en revue un certain nombre des questions et résultats récents sur ce sujet.
• 16:00-16:30 Pause café/thé
• 16:30-17:15 Aude Genevay (Dauphine INRIA)
  Optimisation Stochastique pour le problème de Transport Optimal PDF
  Le transport optimal permet de définir une distance géométriquement censée entre des mesures de probabilités, problème fondamental en machine learning. Même si elle présente de nombreux avantages par rapport à la divergence de Kullback-Leibler, la distance de transport est encore peu répandue en pratique car son calcul représente un coût numérique important et croissant avec la taille des données. Cet exposé s’articule autour de l’idée que le problème de transport peut se réécrire comme un problème de maximisation d’espérance, ce qui permet d’utiliser des méthodes de gradient stochastiques en ligne pour le résoudre. Nous présenterons les algorithmes et résultats numériques dans trois cas distincts : 1°) transport discret (entre deux mesures discrètes) 2°) transport semi-discret (entre une mesure discrète et une continue) 3°)(si le temps le permet) transport continu (entre deux mesures continues) pour lequel on se placera dans le cadre des RKHS.

Les inscriptions sont closes car la salle A5 a une capacité limitée.

Néanmoins, si vous tenez absolument à venir, écrivez à mailto:chafai@ceremade.dauphine.fr.

• Journée scientifique parrainée par la SMAI.
• Sponsors : CEREMADE Paris-Dauphine IUF
• Organisateurs : Djalil Chafaï Joseph Lehec Christian Robert Robin Ryder