2011 - 2012
Ressources
Web sites
Option 2: Apprentissage Statistique, Optimisation et Applications
- Cours 30 nov. 2011
- Document Metric Learning, slides K. Weinberger Weinberger.pdf
- Cours 4 jan. 2012
- Cours 11 jan. 2012
- Fichier joint inexistant sur cette page
TC2
- Cours Introduction 3 octobre 2011
- Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
- Cours Bayesien Naif transparents
- Cours Apprentissage non supervisé transparents
- Cours Modeles de Markov transparents 1, transparents 2
- Cours Représentations 27 octobre
- Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
- Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre
Voir aussi
http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO
Articles
- Latent Dirichlet Allocation
- Feature selection, L1 vs. L2 regularization, and rotational invariance
- Error Limiting Reductions between Classification Tasks
- Learning to rank using gradient descent
Projets
Les projets 3, 4 et 9 peuvent être pris par un binome.
- Projet 1 : Classification Réseaux Neuronaux Antoine Sylvain; Abdulhafiz ALKHOULI
- Données MNIST; algorithme rétro-propagation du gradient.
- Etude de l'influence de l'initialisation des poids et du pas d'apprentissage
- Projet 2 : Auto-encodeur. Bryan Brancotte
- Donnees IMAGES
- voir http://www.stanford.edu/class/cs294a si besoin d'information pour ouvrir les donnees.
- Prendre des imagettes (8x8) tirees aleatoirement dans les images.
- Definir un NN avec 64 sorties, et l'entrainer pour que l'output soit egal à l'input (c'est ce qu'on appelle un auto-encodeur).
- Afficher pour chacun des neurones de la couche cachée l'imagette de norme 1 qui l'excite le plus (i.e. pour lequel la valeur est maximale).
- Projet 3 : Machine à Vecteurs Supports (linéaire et sans variables ressorts)
- Le principe : http://en.wikipedia.org/wiki/Support_vector_machine
- L'algorithme : libSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
- Donnees: probleme URL sur la page http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
- Projet 4 : Recursive Feature Elimination
- Donnees: ARCENE, http://www.nipsfsc.ecs.soton.ac.uk/datasets/
- Ajouter des features aleatoires
- Prendre des sous-ensembles de donnees de petite taille
- Sur chaque sous-ensemble, apprendre une hypothèse linéaire
- Définir l'importance d'un feature en fonction de son poids dans les différentes hypothèses linéaires
- Ordonner les features selon ce score d'importance
- Voir le nombre de features plus importantes que les features aléatoires.
- Projet 5 : Adaboost Khrystyna Kyrgyzova
- Données MNIST, classes 4 et 9
- Principe : http://en.wikipedia.org/wiki/AdaBoost
- Espace des hypotheses: choix d'un pixel; apprendre la valeur v telle que l'hypothese pixel > v est le meilleur classifieur (au sens de la distribution courante) utilisant ce pixel.
- Projet 6 : Résolution d'un problème de packing "Circles in a square"(A. Auger) Ouassim Ait Elhara; Hassan Ibrahim
- Considérer le problème d'empilements de cercles de rayons identiques dans un carré (voir http://www.packomania.com/ - problème 1)
- Formuler le problème sous forme d'un problème d'optimisation
- Utiliser l'algorithme CMA-ES pour résoudre le problème (on récupérera le code ici: http://www.lri.fr/~hansen/cmaes_inmatlab.html )
- On pourra traiter les contraintes par méthode de pénalisation
- Comparer les résultats obtenus aux meilleures solutions connues (http://www.packomania.com/ )
- Projet 7: Résolution d'un problème de packing "Circles in a circle" (A. Auger) Adrien Maudet; Alexandre Destannes
- Considerer le problème d'empilement de cercles dans un cercle (voir http://www.packomania.com/ - problème 2)
- suivre les points 2/3/4/5 projet 6
- Projet 8 : Deviner la langue d'un fragment de texte (Allauzen + Yvon) Pho Van Minh; Yong Xu
- Principe: "Naive bayes" avec des modèles de Markov de lettres
- Données: dictionnaires, pages web, etc (mailto:yvon@limsi.fr)
- Projet 9: les HMMs en MatLab (pour deux personnes) (Allauzen + Yvon)
- programmer la résolution des 4 algorithmes de base
- application à l'étiquetage de de séquences supervisé et semi-supervisé
- Projet 10: apprendre des HMM par échantillonnage de Gibbs (Allauzen + Yvon) Nawel Sakhraoui
- application à l'étiquetage de de séquences non-supervisé et/ou semi-supervisé
- Données: étiquetage en entité nommées (mailto:yvon@limsi.fr)
- Projet 11: Les dépendances dans les séquences (Allauzen + Yvon)
- Principe: comparer trois approches pour faire de la classification supervisée
- pas de prise en compte des dépendances
- stacking
- HMM
- Données: prononciation automatique (mailto:yvon@limsi.fr)
- Projet 12: Mélange de multinomiale, extension bilingues (Allauzen + Yvon) Anne-Laure Daquo
- Principe: étendre le mélange de multinomiale pour des données bilingues alignées
- Données: extrait des débat du parlement européen (par exemple)
- Projet 13: génératif ou discriminant ? (Allauzen + Yvon)
- Principe: implémenter l'apprentissage et l'inférence pour un classifieur Maxent multiclasse
- Comparer avec un classifieur Naive Bayes
- Données: filtrage de spam, analyse de critiques de films etc.
Questionnaire
- Vos formations sont très diverses : aurait-il fallu à votre avis une mise à niveau avant le cours (quels sujets : proba-stats, optimisation, Matlab, autres) ?
- Que pensez-vous de l'équilibre entre le cours et les TP ?
- Auriez-vous souhaité plus de théorie ? plus d'applications ? des exos ?
- Avez-vous des remarques sur la cohérence des cours, et des cours avec les TP ? (redondance ; articulation ; difficultés différentes)
- A combien estimez-vous votre temps de travail personnel hors des scéances ? S'il a été non-nul, à quoi a-t-il été consacré (réviser les bases ; réviser les cours ; finir les TPs ; lire des livres ; regarder des videolectures ; etc) ?
- Le fait d'avoir les cours en anglais aurait été : mieux, pareil, moins bien, beaucoup moins bien ?
- Certains liens (sites, videos) étaient signalés dans le cours ; avez-vous eu le temps de les regarder ? Nous avons pensé à une forme de cours qui consiste à discuter/expliquer un cours vidéo que tout le monde aurait regardé avant. Est-ce réaliste ? Que faudrait-il pour que ca soit utile ?
- Quelle forme de partage d'infos/documents avez-vous utilisée ? comment les enseignants peuvent-ils aider ?
- Vos suggestions pour l'an prochain : y a-t-il des thèmes qu'on aurait pu/du traiter plus vite ? moins vite ? des thèmes non traités que vous auriez aimés ?
TP
- Matlab/Octave (introduction à Octave)
- Perceptron
- Licence Cachan 2012
2010 - 2011
Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation
Courses
- Introduction: slides
- Bayes: slides
- Neurons: slides
- Non supervisé: slides
- Neurones, suite slides + representation: slides
- Markov: slides
- Markov suite + regression logistique slides
- Optimisation: slides (21 premiers slides traités en cours).
TP
- Matlab/Octave (introduction à Octave)
- multinomiales
- mélanges de multinomiales
- Markov
- regression logistique
- TP optimisation
Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation, & Applications
Courses
- 1er cours, slides
- Intro to classification + boosting
- Support vector machines
- Bayesian estimation, Gaussian processes, Monte-Carlo Markov chains
- Apprentissage par renforcement (cours 7 et 8).
Annonces internes de stages
Annonces externes de stages
2009-2010
2011 Master
2008-2009