La lecture par hasard d’un article de Yoshua Bengio intitulé La révolution de l’apprentissage profond paru dans le numéro 465 de juillet 2016 du magazine Pour la Science m’a laissé sur ma faim et m’a finalement conduit à suivre les exposés filmés de Yann LeCun au Collège de France. La simplicité et la clarté d’esprit de YLC sont plutôt séduisantes ! Saviez-vous au passage qu’il a reçu sa formation initiale à l’ESIEE, à Marne-la-Vallée ? Je conseille sans réserve de prendre le temps d’écouter sa leçon inaugurale, qui permet de mieux cerner le thème, ses ingrédients, son histoire, son actualité, et certaines de ses perspectives. Il serait dommage d’en rester à la simple évocation d’AlphaGo !
L’apprentissage automatique et la reconnaissance des images et de la parole sont des thèmes phares de l’intelligence artificielle (ce terme fait rire certains esprits mal tournés). Bien que leur histoire remonte aux origines de l’informatique et de la robotique et aux travaux d’Alan Turing, le perceptron de Franck Rosenblatt est souvent présenté comme un ancêtre. La jonction entre informatique, robotique, et biologie fascine les esprits depuis longtemps.
L’apprentissage automatique vit actuellement un renouveau en liaison avec l’engouement scientifique mais aussi mercantile pour les données massives et de grande dimension. L’apprentissage profond est le nom donné aujourd’hui à une méthode d’apprentissage basée sur des réseaux de neurones artificiels multicouches, c’est-à-dire en quelque sorte une régression non-linéaire hiérarchique. L’idée de base de l’apprentissage profond n’est donc pas vraiment nouvelle. Ses succès récents tiennent à une volonté collective et à des moyens durables, à la puissance des processeurs notamment graphiques, à des bases de données structurées d’apprentissage de très grande taille, au développement d‘algorithmes d’optimisation stochastiques performants, et enfin à plusieurs astuces techniques et technologiques.
Au delà de l’utilitarisme ambiant et du phénomène de mode, le thème est passionnant et donne envie de s’y intéresser. Il y a sans doute beaucoup à faire pour les mathématiciens.
Notes : L’apprentissage automatique est naturellement connecté à l’informatique et aux mathématiques – notamment à l’optimisation, aux probabilités, et à la statistique – mais aussi à la robotique, à la biologie, et aux sciences humaines et sociales. Il n’y a pas de prix Nobel en mathématiques, en informatique, et en robotique. La chaire Informatique et Sciences Numériques du Collège de France qu’occupe Yan LeCun cette année a été créée en 2009.
Passionnant oui. Yann Lecun fait des exposés remarquables..pourtant sa leçon inaugurale n’a été que moyennement reçue par les cadres du collège, de ce que l’on m’en a dit. La flamme des réseaux de neurones s’est maintenue dans un petit nombre de foyers en apprentissage machine, sciences cognitives et neurosciences computationnelles, même pendant le grand hiver marqué par les travaux de Minsky & Papert. L’un de ces foyers était Yann Lecun..
De mon point de vue, son groupe, et plus généralement les chercheurs en apprentissage machine, ont sans conteste été ceux qui ont su le mieux formaliser les problèmes liés à ces réseaux de neurones. L’attitude des chercheurs dans d’autres domaines était soit “les réseaux de neurones sont des boîtes noires” (beaucoup de ça en sciences cognitives), soit de se vautrer dans une prolifération d’articles qui sous un vernis mathématique, avaient en fait peu de profondeur réelle. Lecun et ses collègues ont identifié et attaqué les vrais problèmes avec un mélange de formalisme (optimisation convexe surtout) et de feintes techniques (ReLu, weight sharing), comme vous l’avez bien noté. C’est une belle histoire, et aujourd’hui ils récoltent les fruits de leurs efforts (mais nous en profitons tous).