Module Apprentissage et Fouille de Données

Michèle Sebag, Balázs Kégl, Antoine Cornuéjols

1. 1/10/08 (MS) Introduction, arbres de décision, (illustration sur Skicat et Darpa Challenge 2005).
   • Transparents
2. 8/10/08 (BK) Boosting (illustration sur les caractères manuscrits), classification.
   • Lextures conseillées :
     • boosting tutorial, multiclass boosting, face detection
   • slides: classification
3. 15/10/08 (BK) Boosting (suite), réseaux de neurones
   • slides: réseaux de neurones
4. 22/10/08 (BK) Filtrage collaboratif (challenge Netflix); régression et ranking
5. 29/10/08 (MS) Représentation, sélection d'attributs et réduction de dimensionalité, application aux systèmes computationels autonomes (Autonomic Computing).
   • Transparents; une erreur de méthologie, analyse par Hastie
6. 5/11/08 (AC) Apprentissage actif et apprentissage en ligne
7. 12/11/08 (AC) Apprentissage à partir d'exemples positifs seuls ; Apprentissage et Transition de Phase
8. 19/11/08 (MS) Apprentissage non supervisé et data streaming; application à l'autonomic computing.
9. 26/11/09 vacances
10. 3/12/09 exam ecrit questions de cours.
11. Semaine 15 - 19 /12/09 : exposé d'article ou de projet.

Projets

• Classification de points ds les textes (point de fin de phrase vs point d'abbréviation).
  • A confirmer.
• Large Scale Learning: strategies naives de selection des vecteurs supports.
  • Données Challenges
• Bases de données visage
  • ORL, Olivetti Research Lab; 400 visages
  • NIST, 6000 visages ; accord necessaire.
  • Balazs, 5000 visages vierges, 1935-2000. (age, genre, année). Photos bruitées, assez bien centrées. Serait bien pour multi-task; tâche difficile. Contacter BK.
• Collaborative filtering Netflix + base données semi-privées LastFM.
• Logs robotique, réduction de dimensionalité.
  • Données : contacter MS.
  • Algorithme : Information bottleneck et/ou deep learning.
• Active learning: identification de pages de cours en Computer Science;
  • Constitution de training (donner chacun trois exemples positifs). Interet, etudiant peut etre l'expert.
  • Algorithme Filterboost décrit ds Nips 2007, Schapire et al. (code décrit ds l'article; réputé efficace).
• Apprentissage par renforcement
  • Deplacement d'un robot dans un monde 2D.
  • Illustration des difficultés de passage à l'echelle et résolution du pb de généralisation.
  • Projet guidé par AC. Demande forte motivation pour l'apprentissage par renforcement.
• Apprentissage de séries temporelles
  • Algorithme: Echo State Network
  • Reproduire l'expérience ds le XX.

les cours de l'an dernier.

Articles à exposer (10 minutes) pour les volontaires

• C. Elkan. Magical Thinking in Data Mining: Lessons From CoIL Challenge 2000 (pdf). In Proceedings of the Seventh International Conference on Knowledge Discovery and Data Mining (KDD'01), pp. 426-431.
• P. Domingos. MetaCost: A General Method for Making Classifiers Cost-Sensitive (pdf). In Proceedings of the Fifth International Conference on Knowledge Discovery and Data Mining (KDD-99).
• Rifkin - Klautau: In Defense of One-Vs-All Classification)
• Fast Maximum Margin Matrix Factorization for Collaborative Prediction, Jason Rennie and Nathan Srebro, 22nd International Conference on Machine Learning (ICML'05)