MILA

Présentation

Mission:

  • Rassembler les chercheurs dans le domaine de l’apprentissage profond,
  • Proposer une plate-forme de collaboration et de codirection
  • Partager les ressources humaines autant que ses grappes de calculs
  • Être un pont de transfert technologique pour les compagnies désirant profiter des opportunités d’affaires découlant de l’utilisation des algorithmes d’apprentissage machine.

Mission scientifique:

  • Apprentissage supervisé et reconnaissance des formes
  • Apprentissage non-supervisé et semi-supervisé
  • Apprentissage de représentations et de représentations profondes
  • Applications à la vision par ordinateur
  • Applications au traitement du langage naturel
  • Applications à la modélisation de signaux tels que les sons et la musique
  • Applications aux données à grande échelle (big data)

Expertise

Les chercheurs du MILA ont développés une expertise en réseaux profonds (autant discriminants que génératifs) et leurs applications en vision, parole, langage. Le MILA est reconnu mondialement pour ses nombreuses percées dans le développement de nouveaux algorithmes d’apprentissage des réseaux profonds et leurs applications à de nombreux domaines. Ces domaines sont entre autres, la modélisation du langage, la traduction automatique, la reconnaissance d’objets, la modélisation de modèles génératifs avec sorties structurées et la reconnaissance du langage naturel.

Chercheurs

L’institut des algorithmes d’apprentissage de Montréal est composé de sept professeurs: Prof. Yoshua Bengio, Prof. Aaron Courville, Prof. Pascal Vincent, Prof. Roland Memisevic, Prof. Christopher Pal, Prof. Laurent Charlin, et Prof. Simon Lacoste-Julien, tous ayant une réputation d’experts internationaux dans le domaine de l’apprentissage profond.

Le MILA regroupe un grand nombre de chercheurs en plus de l’équipe de professeurs. Au début de l’année 2016, on comptait 6 post-doctorants, 42 doctorants, 22 étudiants à la maîtrise et 6 employés à temps plein dont une directrice exécutive, un chef du développement logiciel et quatre spécialistes programmeurs en apprentissage profond, faisant de cet institut le plus grand laboratoire académique dédié à l’étude de l’apprentissage profond et à ses applications (voir notre équipe ici).

Innovations et publications

De nombreuses innovations ayant conduites à la très grande vague de popularité de l’apprentissage profond dans les médias ont été inventées ou co-inventées au MILA. Citons notamment des contributions importantes au pré-entraînement de réseaux non supervisés couche par couche, aux réseaux rectifieurs profonds supervisés, aux réseaux neuronaux génératifs, à la théorie et aux avancées sur les réseaux récurrents, à l’ajustement automatique d’hyper-paramètres, à la traduction automatique et à l’analyse théorique des réseaux neuronaux. Voir notre répertoire de publications pour une liste plus exhaustive.

Fondateur du laboratoire: Yoshua Bengio

Yoshua Bengio3Yoshua Bengio est le fondateur de ce laboratoire. En poursuivant ses recherches en apprentissage profond, il a pour ambition de comprendre les mécanismes de l’intelligence en développant des algorithmes d’apprentissage automatique. Ses travaux de recherche sont largement cités (plus de 22000 citations et un H-index de 59 d’après Google Scholar en 2015). Il est actuellement l’éditeur du Journal of Machine Learning Research, éditeur associé de Neural Computation, éditeur de Foundations and Trends in Machine Learning. Il a également été éditeur associé de The Machine Learing Journal et de IEEE Transactions on Neural Networks. Yoshua Bengio a été le responsable de la programmation de NIPS’2008 et le directeur de la programmation de NIPS’2009 (NIPS est la conférence phare dans le domaine des algorithmes d’apprentissage et des réseaux neuronaux). Depuis 1999, il a été co-organisateur avec Yann Le Cun du Learning Workshop. Il a également créé avec lui the International Conference on Representation Learning (ICLR). Depuis 2007, il est également l’organisateur ou le co-organisateur de plusieurs événements tels que les ateliers d’apprentissage profonds à ICLM et NIPS.

Nos publications importantes récentes

  1. Y. Bengio, I. Goodfellow, A. Courville. (2015) Deep Learning. MIT Press (under preparation)
  2. Y. Bengio, A. Courville, P. Vincent. (2013) Unsupervised feature learning and deep learning: A review and new perspectives. IEEE Trans. Pattern Analysis and Machine Intelligence.
  3. I. Goodfellow, D. Warde-Farley, M. Mirza, A. Courville and Y. Bengio (2013). Maxout Networks. Proc. ICML’2013.
  4. K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio. (2014) Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP.
  5. Y. Bengio, E. Thibodeau-Laufer, G. Alain, J. Yosinski. (2014) Deep Generative Stochastic Networks Trainable by Backprop. In Proceedings of NIPS.