Departement Informatique, Université Paris-Sud

Ressources

• Conseils pour faire un exposé
• Recommendations for giving a talk
• Writing a paper: Tips

Web sites

• Andrew Ng: http://openclassroom.stanford.edu/MainFolder/VideoPage.php?course=MachineLearning
• A bit of algebra:
  • http://en.wikipedia.org/wiki/Matrix_theory
  • http://math.mit.edu/linearalgebra/

Option 2: Apprentissage Statistique, Optimisation et Applications

1. Cours 30 nov. 2011
2. Document Metric Learning, slides K. Weinberger Weinberger.pdf
3. Cours 4 jan. 2012
4. Cours 11 jan. 2012

TC2

1. Cours Introduction 3 octobre 2011
2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
3. Cours Bayesien Naif transparents
4. Cours Apprentissage non supervisé transparents
5. Cours Modeles de Markov transparents 1, transparents 2
6. Cours Représentations 27 octobre
7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre

Articles

• Latent Dirichlet Allocation
  • Analyses de textes : une mixture de concepts cachés.
  • http://www.lri.fr/~sebag/COURS/BleiNgJordan2003.pdf
• Feature selection, L1 vs. L2 regularization, and rotational invariance
  • Pour eviter le sur-apprentissage, on rajoute des termes de regularisation. Font-ils autre chose que de regulariser ?
  • http://ai.stanford.edu/~ang/papers/icml04-l1l2.pdf
• Error Limiting Reductions between Classification Tasks
  • Classification binaire et multi-classe; comment se ramener au probleme simple ?
  • http://www.machinelearning.org/proceedings/icml2005/papers/007_Error_BeygelzimerEtAl.pdf
• Learning to rank using gradient descent
  • Tout n'est pas blanc ou noir; on peut vouloir apprendre les préférences de l'expert.
  • http://www.machinelearning.org/proceedings/icml2005/papers/012_LearningToRank_BurgesEtAl.pdf

Projets

1. Projet 1 : Classification Réseaux Neuronaux Antoine Sylvain; Abdulhafiz ALKHOULI
   1. Données MNIST; algorithme rétro-propagation du gradient.
   2. Etude de l'influence de l'initialisation des poids et du pas d'apprentissage
2. Projet 2 : Auto-encodeur. Bryan Brancotte
   1. Donnees IMAGES
   2. voir http://www.stanford.edu/class/cs294a si besoin d'information pour ouvrir les donnees.
   3. Prendre des imagettes (8x8) tirees aleatoirement dans les images.
   4. Definir un NN avec 64 sorties, et l'entrainer pour que l'output soit egal à l'input (c'est ce qu'on appelle un auto-encodeur).
   5. Afficher pour chacun des neurones de la couche cachée l'imagette de norme 1 qui l'excite le plus (i.e. pour lequel la valeur est maximale).
3. Projet 3 : Machine à Vecteurs Supports (linéaire et sans variables ressorts)
   1. Le principe : http://en.wikipedia.org/wiki/Support_vector_machine
   2. L'algorithme : libSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
   3. Donnees: probleme URL sur la page http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
4. Projet 4 : Recursive Feature Elimination
   1. Donnees: ARCENE, http://www.nipsfsc.ecs.soton.ac.uk/datasets/
   2. Ajouter des features aleatoires
   3. Prendre des sous-ensembles de donnees de petite taille
   4. Sur chaque sous-ensemble, apprendre une hypothèse linéaire
   5. Définir l'importance d'un feature en fonction de son poids dans les différentes hypothèses linéaires
   6. Ordonner les features selon ce score d'importance
   7. Voir le nombre de features plus importantes que les features aléatoires.
5. Projet 5 : Adaboost Khrystyna Kyrgyzova
   1. Données MNIST, classes 4 et 9
   2. Principe : http://en.wikipedia.org/wiki/AdaBoost
   3. Espace des hypotheses: choix d'un pixel; apprendre la valeur v telle que l'hypothese pixel > v est le meilleur classifieur (au sens de la distribution courante) utilisant ce pixel.
6. Projet 6 : Résolution d'un problème de packing "Circles in a square"(A. Auger) Ouassim Ait Elhara; Hassan Ibrahim
   1. Considérer le problème d'empilements de cercles de rayons identiques dans un carré (voir http://www.packomania.com/ - problème 1)
   2. Formuler le problème sous forme d'un problème d'optimisation
   3. Utiliser l'algorithme CMA-ES pour résoudre le problème (on récupérera le code ici: http://www.lri.fr/~hansen/cmaes_inmatlab.html )
   4. On pourra traiter les contraintes par méthode de pénalisation
   5. Comparer les résultats obtenus aux meilleures solutions connues (http://www.packomania.com/ )
7. Projet 7: Résolution d'un problème de packing "Circles in a circle" (A. Auger) Adrien Maudet; Alexandre Destannes
   1. Considerer le problème d'empilement de cercles dans un cercle (voir http://www.packomania.com/ - problème 2)
   2. suivre les points 2/3/4/5 projet 6
8. Projet 8 : Deviner la langue d'un fragment de texte (Allauzen + Yvon) Pho Van Minh; Yong Xu
   1. Principe: "Naive bayes" avec des modèles de Markov de lettres
   2. Données: dictionnaires, pages web, etc (mailto:yvon@limsi.fr)
9. Projet 9: les HMMs en MatLab (pour deux personnes) (Allauzen + Yvon)
   1. programmer la résolution des 4 algorithmes de base
   2. application à l'étiquetage de de séquences supervisé et semi-supervisé
10. Projet 10: apprendre des HMM par échantillonnage de Gibbs (Allauzen + Yvon) Nawel Sakhraoui
    1. application à l'étiquetage de de séquences non-supervisé et/ou semi-supervisé
    2. Données: étiquetage en entité nommées (mailto:yvon@limsi.fr)
11. Projet 11: Les dépendances dans les séquences (Allauzen + Yvon)
    1. Principe: comparer trois approches pour faire de la classification supervisée
       1. pas de prise en compte des dépendances
       2. stacking
       3. HMM
    2. Données: prononciation automatique (mailto:yvon@limsi.fr)
12. Projet 12: Mélange de multinomiale, extension bilingues (Allauzen + Yvon) Anne-Laure Daquo
    1. Principe: étendre le mélange de multinomiale pour des données bilingues alignées
    2. Données: extrait des débat du parlement européen (par exemple)
13. Projet 13: génératif ou discriminant ? (Allauzen + Yvon)
    1. Principe: implémenter l'apprentissage et l'inférence pour un classifieur Maxent multiclasse
    2. Comparer avec un classifieur Naive Bayes
    3. Données: filtrage de spam, analyse de critiques de films etc.

Questionnaire

• Vos formations sont très diverses : aurait-il fallu à votre avis une mise à niveau avant le cours (quels sujets : proba-stats, optimisation, Matlab, autres) ?
• Que pensez-vous de l'équilibre entre le cours et les TP ?
• Auriez-vous souhaité plus de théorie ? plus d'applications ? des exos ?
• Avez-vous des remarques sur la cohérence des cours, et des cours avec les TP ? (redondance ; articulation ; difficultés différentes)
• A combien estimez-vous votre temps de travail personnel hors des scéances ? S'il a été non-nul, à quoi a-t-il été consacré (réviser les bases ; réviser les cours ; finir les TPs ; lire des livres ; regarder des videolectures ; etc) ?
• Le fait d'avoir les cours en anglais aurait été : mieux, pareil, moins bien, beaucoup moins bien ?
• Certains liens (sites, videos) étaient signalés dans le cours ; avez-vous eu le temps de les regarder ? Nous avons pensé à une forme de cours qui consiste à discuter/expliquer un cours vidéo que tout le monde aurait regardé avant. Est-ce réaliste ? Que faudrait-il pour que ca soit utile ?
• Quelle forme de partage d'infos/documents avez-vous utilisée ? comment les enseignants peuvent-ils aider ?
• Vos suggestions pour l'an prochain : y a-t-il des thèmes qu'on aurait pu/du traiter plus vite ? moins vite ? des thèmes non traités que vous auriez aimés ?

TP

1. Matlab/Octave (introduction à Octave)
2. Perceptron

1. Licence Cachan 2012

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation

Courses

1. Introduction: slides
2. Bayes: slides
3. Neurons: slides
4. Non supervisé: slides
5. Neurones, suite slides + representation: slides
6. Markov: slides
7. Markov suite + regression logistique slides
8. Optimisation: slides (21 premiers slides traités en cours).

TP

1. Matlab/Octave (introduction à Octave)
2. multinomiales
3. mélanges de multinomiales
4. Markov
5. regression logistique
6. TP optimisation

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation, & Applications

Courses

1. 1er cours, slides
2. Intro to classification + boosting
3. Support vector machines
4. Bayesian estimation, Gaussian processes, Monte-Carlo Markov chains
5. Apprentissage par renforcement (cours 7 et 8).

Annonces internes de stages

• Michele Sebag: les sujets 2010 vont arriver; les sujets de l'an dernier sont à http://www.lri.fr/~sebag/Stages

Annonces externes de stages

• Onera

• Apprentissage et Fouille de Données, Machine Learning and Data Mining, Michèle Sebag & Balázs Kégl.
• Evolution Artificielle et Robotique, Evolutionary Computation and Robotics, Marc Schoenauer, Anne Auger et Nicolas Bredèche.

Module Apprentissage, Optimisation et Applications

• Apprentissage et Fouille de Données 2008, Machine Learning and Data Mining, Michèle Sebag, Antoine Cornuéjols et Balázs Kégl.