| Both sides previous revision Previous revision Next revision | Previous revision |
| dauphine2017algosto:start [2017/11/28 19:24] – djalilchafai | dauphine2017algosto:start [2026/11/19 16:56] (current) – external edit 127.0.0.1 |
|---|
| * [[http://rbardenet.github.io/|Rémi Bardenet]] - CNRS Lille / CRISTAL | * [[http://rbardenet.github.io/|Rémi Bardenet]] - CNRS Lille / CRISTAL |
| * [[https://sites.google.com/site/nicolaschopinstatistician/|Nicolas Chopin]] - ENSAE / CREST | * [[https://sites.google.com/site/nicolaschopinstatistician/|Nicolas Chopin]] - ENSAE / CREST |
| * [[http://www.di.ens.fr/~dieuleveut/|Aymeric Dieuleveut]] - ÉPFL / MLO | * [[http://www.di.ens.fr/~dieuleveut/|Aymeric Dieuleveut]] - EPFL / MLO |
| * [[https://audeg.github.io/|Aude Genevay]] - Dauphine / CEREMADE & INRIA | * [[https://audeg.github.io/|Aude Genevay]] - Dauphine / CEREMADE & INRIA |
| * [[https://team.inria.fr/matherials/team-members/pierre-monmarche/|Pierre Monmarché]] - UPMC / LJLL | * [[https://team.inria.fr/matherials/team-members/pierre-monmarche/|Pierre Monmarché]] - UPMC / LJLL |
| |
| * **09:30-10:00** Accueil et café/thé | * **09:30-10:00** Accueil et café/thé |
| * **10:00-10:45** **[[http://rbardenet.github.io/|Rémi Bardenet]]** (CNRS Lille)\\ **<color darkred>On Markov chain Monte Carlo and tall data</color>** /* {{:dauphine2017algosto:NOTYET.pdf|PDF}} */ \\ //Markov chain Monte Carlo methods (MCMC) are numerical integration algorithms that leverage Markov chain theory. They are popular in applications of Bayesian inference, since a Bayesian's answer to most statistical questions is the numerical computation of an integral. However, MCMC for Bayesian inference is typically a loop, with each iteration requiring a sweep over the whole dataset. When the dataset contains a huge number of individual data points, say the number of images of cats on the internet (>10^8 as of tonight, September 25th 2017), MCMC becomes extremely costly. Frequentists have overcome tall datasets using versatile techniques such as stochastic gradient, but will Bayesians survive this era of tall data? | * **10:00-10:45** **[[http://rbardenet.github.io/|Rémi Bardenet]]** (CNRS Lille)\\ **<color darkred>On Markov chain Monte Carlo and tall data</color>** {{:dauphine2017algosto:bardenet.pdf|PDF}} \\ //Markov chain Monte Carlo methods (MCMC) are numerical integration algorithms that leverage Markov chain theory. They are popular in applications of Bayesian inference, since a Bayesian's answer to most statistical questions is the numerical computation of an integral. However, MCMC for Bayesian inference is typically a loop, with each iteration requiring a sweep over the whole dataset. When the dataset contains a huge number of individual data points, say the number of images of cats on the internet (>10^8 as of tonight, September 25th 2017), MCMC becomes extremely costly. Frequentists have overcome tall datasets using versatile techniques such as stochastic gradient, but will Bayesians survive this era of tall data? |
| This talk is based on joint work with Arnaud Doucet and Chris Holmes | This talk is based on joint work with Arnaud Doucet and Chris Holmes |
| [[https://arxiv.org/abs/1505.02827|arXiv:1505.02827]] | [[https://arxiv.org/abs/1505.02827|arXiv:1505.02827]] |
| // | // |
| * **11:00-11:45** **[[https://sites.google.com/site/nicolaschopinstatistician/|Nicolas Chopin]]** (Affiliation)\\ **<color darkred>Sequential Monte Carlo algorithms: an overview </color>** /* {{:dauphine2017algosto:NOTYET.pdf|PDF}} */ \\ //This talk will be a gentle introduction to SMC (Sequential Monte Carlo) algorithms: | * **11:00-11:45** **[[https://sites.google.com/site/nicolaschopinstatistician/|Nicolas Chopin]]** (ENSAE)\\ **<color darkred>Sequential Monte Carlo algorithms: an overview </color>** {{:dauphine2017algosto:chopin.pdf|PDF}} \\ //This talk will be a gentle introduction to SMC (Sequential Monte Carlo) algorithms: |
| 1) what practical problems are they used for; e.g. filtering; | 1) what practical problems are they used for; e.g. filtering; |
| 2) the general (Feynman-Kac) formulation of the sequence of distributions we wish to approximate; | 2) the general (Feynman-Kac) formulation of the sequence of distributions we wish to approximate; |
| If time permits, I'll mention briefly some recent extensions such as SQMC (Sequential quasi-Monte Carlo). // | If time permits, I'll mention briefly some recent extensions such as SQMC (Sequential quasi-Monte Carlo). // |
| * **12:00-14:00** Pause déjeuner (buffet) | * **12:00-14:00** Pause déjeuner (buffet) |
| * **14:00-14:45** **[[http://www.di.ens.fr/~dieuleveut/|Aymeric Dieuleveut]]** (ÉPFL)\\ **<color darkred>Stochastic algorithms for machine learning</color>** /* {{:dauphine2014hawkes:20140319-dauphine-hawkes-reynaud-bouret.pdf|PDF}}*/ \\ //This talk presents an overview of some stochastic algorithms used in large scale machine learning, especially first order methods. In the first two parts, we describe the most useful methods, together with classical convergence rates, for the minimization of the empirical risk then for the generalisation risk. In the last part, we focus on constant step size stochastic gradient descent, which is analysed as a Markov chain.// | * **14:00-14:45** **[[http://www.di.ens.fr/~dieuleveut/|Aymeric Dieuleveut]]** (EPFL)\\ **<color darkred>Stochastic algorithms for machine learning</color>** {{:dauphine2017algosto:dieuleveut.pdf|PDF}} \\ //This talk presents an overview of some stochastic algorithms used in large scale machine learning, especially first order methods. In the first two parts, we describe the most useful methods, together with classical convergence rates, for the minimization of the empirical risk then for the generalisation risk. In the last part, we focus on constant step size stochastic gradient descent, which is analysed as a Markov chain.// |
| * **15:00-15:45** **[[https://www.ljll.math.upmc.fr/~monmarche/|Pierre Monmarché]]** (UPMC)\\ **<color darkred>Processus irréversibles pour l'échantillonnage</color>** /* {{:dauphine2017algosto:NOTYET.pdf|PDF}} */ \\ //Un algorithme MCMC vise à calculer, à l'aide d'un processus de Markov, des intégrales contre une mesure de probabilité donnée. Cette cible étant fixée, un grand nombre de processus différents peuvent être utilisés. Les plus simples sont souvent réversibles (inverser le temps donne la même dynamique). Les tentatives d'accélérer la convergence des processus (et donc les algorithmes), ces dernières années, ont amené à considérer des processus irréversibles (et, plus généralement, dégénérés : hypoelliptiques, hypocoercifs, non-diffusifs...), pour l'étude desquels un certain nombre d'outils et de techniques classiques ne sont plus disponibles, du moins tels quels. On propose de passer en revue un certain nombre des questions et résultats récents sur ce sujet.// | * **15:00-15:45** **[[https://www.ljll.math.upmc.fr/~monmarche/|Pierre Monmarché]]** (UPMC)\\ **<color darkred>Processus irréversibles pour l'échantillonnage</color>** {{:dauphine2017algosto:monmarche.pdf|PDF}} \\ //Un algorithme MCMC vise à calculer, à l'aide d'un processus de Markov, des intégrales contre une mesure de probabilité donnée. Cette cible étant fixée, un grand nombre de processus différents peuvent être utilisés. Les plus simples sont souvent réversibles (inverser le temps donne la même dynamique). Les tentatives d'accélérer la convergence des processus (et donc les algorithmes), ces dernières années, ont amené à considérer des processus irréversibles (et, plus généralement, dégénérés : hypoelliptiques, hypocoercifs, non-diffusifs...), pour l'étude desquels un certain nombre d'outils et de techniques classiques ne sont plus disponibles, du moins tels quels. On propose de passer en revue un certain nombre des questions et résultats récents sur ce sujet.// |
| * **16:00-16:30** Pause café/thé | * **16:00-16:30** Pause café/thé |
| * **16:30-17:15** **[[https://audeg.github.io/|Aude Genevay]]** (Dauphine INRIA)\\ **<color darkred>Optimisation Stochastique pour le problème de Transport Optimal</color>** /* {{:dauphine2017algosto:NOTYET.pdf|PDF}} */ \\ //Le transport optimal permet de définir une distance géométriquement censée entre des mesures de probabilités, problème fondamental en machine learning. Même si elle présente de nombreux avantages par rapport à la divergence de Kullback-Leibler, la distance de transport est encore peu répandue en pratique car son calcul représente un coût numérique important et croissant avec la taille des données. Cet exposé s’articule autour de l’idée que le problème de transport peut se réécrire comme un problème de maximisation d’espérance, ce qui permet d’utiliser des méthodes de gradient stochastiques en ligne pour le résoudre. Nous présenterons les algorithmes et résultats numériques dans trois cas distincts : | * **16:30-17:15** **[[https://audeg.github.io/|Aude Genevay]]** (Dauphine INRIA)\\ **<color darkred>Optimisation Stochastique pour le problème de Transport Optimal</color>** {{:dauphine2017algosto:genevay.pdf|PDF}} \\ //Le transport optimal permet de définir une distance géométriquement censée entre des mesures de probabilités, problème fondamental en machine learning. Même si elle présente de nombreux avantages par rapport à la divergence de Kullback-Leibler, la distance de transport est encore peu répandue en pratique car son calcul représente un coût numérique important et croissant avec la taille des données. Cet exposé s’articule autour de l’idée que le problème de transport peut se réécrire comme un problème de maximisation d’espérance, ce qui permet d’utiliser des méthodes de gradient stochastiques en ligne pour le résoudre. Nous présenterons les algorithmes et résultats numériques dans trois cas distincts : |
| 1°) transport discret (entre deux mesures discrètes) | 1°) transport discret (entre deux mesures discrètes) |
| 2°) transport semi-discret (entre une mesure discrète et une continue) | 2°) transport semi-discret (entre une mesure discrète et une continue) |
| 3°)(si le temps le permet) transport continu (entre deux mesures continues) pour lequel on se placera dans le cadre des RKHS.// | 3°)(si le temps le permet) transport continu (entre deux mesures continues) pour lequel on se placera dans le cadre des RKHS.// |
| * **17:30-18:00** Discussion ! | |
| | |
| ===== Participants / Inscription ===== | ===== Participants / Inscription ===== |
| | [[http://djalil.chafai.net/scripts/search.php?q=Gontier+David|Gontier, David]] | Université Paris-Dauphine | | | [[http://djalil.chafai.net/scripts/search.php?q=Gontier+David|Gontier, David]] | Université Paris-Dauphine | |
| | [[http://djalil.chafai.net/scripts/search.php?q=Romary+Thomas|Romary, Thomas]] | Mines ParisTech | | | [[http://djalil.chafai.net/scripts/search.php?q=Romary+Thomas|Romary, Thomas]] | Mines ParisTech | |
| | [[http://djalil.chafai.net/scripts/search.php?q=Frouvelle+Amic|Frouvelle, Amic]] | Ceremade | | |
| | [[http://djalil.chafai.net/scripts/search.php?q=Lopes+Wilder|Lopes, Wilder]] | UCit | | | [[http://djalil.chafai.net/scripts/search.php?q=Lopes+Wilder|Lopes, Wilder]] | UCit | |
| | [[http://djalil.chafai.net/scripts/search.php?q=Hu+Shell|Hu, Shell]] | ENPC | | | [[http://djalil.chafai.net/scripts/search.php?q=Hu+Shell|Hu, Shell]] | ENPC | |
| | Gontier, David | gontier@ceremade.dauphine.fr | MCF | Université Paris-Dauphine | | | Gontier, David | gontier@ceremade.dauphine.fr | MCF | Université Paris-Dauphine | |
| | Romary, Thomas | thomas.romary@mines-paristech.fr | Enseignant chercheur | Mines ParisTech | | | Romary, Thomas | thomas.romary@mines-paristech.fr | Enseignant chercheur | Mines ParisTech | |
| | Frouvelle, Amic | frouvelle@ceremade.dauphine.fr | MCF | Ceremade | | |
| | Lopes, Wilder | wilder.lopes@ucit.fr | Algorithms Research Engineer | UCit | | | Lopes, Wilder | wilder.lopes@ucit.fr | Algorithms Research Engineer | UCit | |
| | Hu, Shell | hus@imagine.enpc.fr | PhD | ENPC | | | Hu, Shell | hus@imagine.enpc.fr | PhD | ENPC | |
| |
| /* | /* |
| | /* Formulaire désactivé (événement terminé) |
| <form> | <form> |
| Action pagemod _self pagemod_id_is_1 | Action pagemod _self pagemod_id_is_1 |
| submit "Submit Query" | submit "Submit Query" |
| </form> | </form> |
| | */ |
| */ | */ |
| |