I am currently a student in the "École Normale Supérieure" in Paris, in the mathematics department. I am finishing my master degree (in fundamental mathematics) and starting a PhD program with Yann Ollivier (CNRS), in collaboration with Stéphane Mallat (ENS Paris).

While having a theoretical background (topology, geometry, probability theory, algebra, ...) I am fascinated by the unbelievable recent achievements in Artificial Intelligence. What I want to study is the mathematical aspects of these methods, in order to understand why it works, and how we can go futher.
My Curriculum

What am I doing these days ?

Master Thesis (to be continued into a PhD Thesis) with Yann Ollivier : Deep Learning and Universal Compression Bounds

This work was done to conclude my Master Degree, it it will be continued into a PhD.

Solomonoff's theory of induction, based on Kolmogorov complexity theory, is a general theory of inductive inference. It could be seen as a formalisation of the well-known Ockham razor principle, which states that we should always choose the simplest model that explains the data. In this work we presented this theory, and see how statistics and machine learning can be interpreted with this theory. More precisely, we will see how deep neural networks can be seen as simple models, even if they have more parameters than there are data samples. We presented different ways to compute universal compression bounds with deep learning, with variational methods and online methods. We showed that variational methods are outperformed by online methods for compression. Finally, we presented the \emph{self-switch}, a way to improve compression bounds for models learned by gradient descent algorithm.

This memoire can be found here Universal Compression Bounds and Deep Learning

Research project with Stéphane Mallat : Hybrid Scattering-Neural networks for sound representation and classification

I am working on a research project on sound classification with Stéphane Mallat and Carmine Emanuele Cella. We are trying to make some good sound representations for classification tasks (mostly environmental sounds). The difficulty for sound representation is that there are not datasets as large as image datasets. Different methods have been developped in this context : Scattering Networks (without any learning), Convolutional Networks (with supervised learning), or more recently the Soundnet approach (with unsupervised learning).

Our approach is to build some hybrid networks using both the powerful non-learned scattering representation and a deep convolutional network. This will be completed soon.

Master degree in Fundamental Mathematics

I am finishing my Master degree between the Ecole Normale Supérieure and the Université Pierre et Marie Curie (UPMC). This year, I mainly studied Geometry, Algebraic Topology, Homotopy Theory, Dynamical Systems, but also some probability (Markov models, limit theorem, ...) and more data-oriented courses (Wavelet representation, Convex optimisation, ...). To finish this program, I will work on a Master Thesis on mathematical tools for Deep Learning (see above).

"Teaching Assistant" in Lycée Louis le Grand

I have been giving oral interrogations to undergraduate students for three years (2 hours a week). Here are some of my exercices (in French, to be updated). Exercices

And before that ...

Deep Learning internship in Heuritech (Jan 2016 - Dec 2016)


I have done a six-month internship in Heuritech, where I discovered and practiced Deep Learning. It is a french start-up specialized in Machine Learning and Deep Learning, applied in projects of "Social Media Intelligence". The aim is to give to some brands (mostly in the luxury field) a service able to analyze and summarize the way the brand and its products are seen by analyzing social network contents. This task is highly difficult, since we have to understand both short texts (twitter, facebook), longer texts (blogs, forums), but also pictures (instagram, flickr), very important for luxury companies.
During this internship, I am working on different Deep Learning methods :


This work is both a research work (trying to design some special models for our data and our technical constraints, inspired by litterature) and technical : I am working on a Theano/Keras framework, extending Keras for our purposes and implementing all the models we need in this framework.

I am also part of the organization of the Paris Deep Learning Meetup, which is organizing 3 or 4 times a year evenings of conferences, including research talks, start-up presentations and technical talks, presenting the last packages/library/hardware ... During the last session, we hosted Yann LeCun, and there were more than 300 attending people.

I am also contributing to Heuritech's technical blog. Here are some of my contributions :
Some of the code I developped during this internship is already available on my GitHub, and will be open-sourced on Heuritech's repository when it will be "finished".

I have also done some nice neural art for our offices. It is not so usefull, but it's fun !

Stage de recherche à l'INRIA Saclay (Sept 2015 - Dec 2015)


Stage réalisé sous la direction de Gaël Varoquaux, dans l'équipe PARIETAL de l'INRIA à Neurospin. Le projet était de construire des outils statistiques permettant de valider des hypothèses sur les zones du cerveau impliquées lorsqu'il est en activité, identifiées sur des données d'IRM fonctionnel.

Sujet de recherche

Pour être plus précis, l'IRM fonctionnel est une mesure de l'activité cérebrale d'un individu pendant qu'il réalise une certaine activité (lecture, reconnaissance d'images, ...). L'enjeu est de déterminer les zones du cerveau impliquées pour une activité en particulier. Le problème est particulièrement complexe, car les données sont en très haute dimension (50,000 pixels), extrêmement bruitées (à cause de la mesure, mais surtout du fait que la mesure repère tout un tas d'autres activités non liées au phénomène étudié), fortmenet correlées spatialement, et avec très peu de points (quelques patients tout au plus). Mon travail consiste à tenter de construire tous les outils statistiques (tests, p-valeurs, intervalles de confiance) pouvant être utilisés par des neuroscientifiques pour savoir si leurs hypothèses sont pertinentes ou non. Pour cela, j'utilise notamment les travaux de Jonathan Taylor, Will Finthian, ... en selective inference, mais aussi d'autres méthodes comme celles de Peter Bühlmann, autour de Stability Selection.

Stage de recherche à Stanford University

Stage de L3 (mathématiques et informatique) réalisé sous la direction de Jonathan Taylor, autour des recherches sur la selective inference, permettant de faire de l'inférence statistique après selection de modèle (LASSO, PCA, ...). Ma contribution a consisté à appliquer ces théories à \emph{k-means} et à participer au développement du projet Python, et a abouti à un exposé et à la rédaction (en cours) d'un article.

Sur l'algorithme NMF

J'ai réalisé dans le cadre du TIPE (sorte de mini-mémoire à préparer pour les concours des grandes écoles) un travail sur l'algorithme NMF, Non-Negative Matrix Factorisation. Cela a été mon premier contact avec le machine learning, et depuis je n'ai pas laché cette voie. On peut trouver ici mon mémoire pour les ENS, et les slides faits pour mon exposé dans le cadre du "Séminaire mathématique des élèves" du lycée Louis le Grand.

L'association Les Ernest

Les Ernest, c'est une association d'étudiants de l'ENS, pour laquelle je me suis beaucoup investi au cours des années 2013-2014 et 2014-2015, et dont j'ai été le Président. Les Ernest organisent des grandes journées de conférences grand public regroupant des grands chercheurs de toutes les disciplines (histoire, physique, littérature, mathématique, économie, ...), mais aussi des juristes, des chefs d'entreprise, ou encore des journalistes. Leur objectif à tous : ils ont "15 minutes pour changer notre vision du monde !".
Les conférences sont filmées par une équipe de professionnelle (OHNK), puis diffusées sur le site internet, et sur ceux de nos partenaires.