Module Apprentissage et Fouille de Données

Michèle Sebag, Balázs Kégl, Antoine Cornuéjols

1. 1/10/08 (MS) Introduction, arbres de décision, (illustration sur Skicat et Darpa Challenge 2005).
   • Transparents
2. 8/10/08 (BK) Boosting (illustration sur les caractères manuscrits), classification.
   • Lextures conseillées :
     • boosting tutorial, multiclass boosting, face detection
   • slides: classification
3. 15/10/08 (BK) Boosting (suite), réseaux de neurones
   • slides: réseaux de neurones
4. 22/10/08 (BK) Filtrage collaboratif (challenge Netflix); régression et ranking
5. 29/10/08 (MS) Représentation, sélection d'attributs et réduction de dimensionalité, application aux systèmes computationels autonomes (Autonomic Computing).
   • Transparents; une erreur de méthologie, analyse par Hastie
6. 5/11/08 (AC) Généralités sur l'apprentissage inductif supervisé. Transition de phase. Apprentissage actif.
7. 12/11/08 (AC) Apprentissage en-ligne. Apprentissage par renforcement (Transparents, Chapitre).
8. 19/11/08 (MS) Apprentissage non supervisé et data streaming; application à l'autonomic computing.
9. 26/11/09 vacances
10. 3/12/09 exam ecrit questions de cours. Voir pour un exemple : texte de l'examen de 2005. (NB: la partie 3 n'est plus au programme du module).
11. Semaine Vendredi 19 /12/09, matin et apres-midi : exposé d'article ou de projet.

Projets

• Classification de points ds les textes (point de fin de phrase vs point d'abbréviation) (BK)
  • A confirmer.
• Large Scale Learning: strategies naives de selection des vecteurs supports. (MS)
  • Données Challenges
• Bases de données visage (AC et BK)
  • Base de données ORL, Olivetti Research Lab; 400 visages
  • Balazs, 5000 visages vierges, 1935-2000. (age, genre, année). Photos bruitées, assez bien centrées. Serait bien pour multi-task; tâche difficile.
  • Methode Viola-Jones (BK) ou SVM (AC).
• Collaborative filtering (BK)
  • Netflix + base données semi-privées LastFM.
• Logs robotique, réduction de dimensionalité (MS).
  • Données : contacter MS.
  • Algorithme : Information bottleneck et/ou deep learning.
• Active learning: identification de pages de cours en Computer Science (AC, BK et MS).
  • Constitution de training (donner chacun trois exemples positifs). Interet, etudiant peut etre l'expert.
  • Algorithme Filterboost décrit ds Nips 2007, Schapire et al. (code décrit ds l'article; réputé efficace).
• Apprentissage par renforcement (AC)
  • Deplacement d'un robot dans un monde 2D.
  • Illustration des difficultés de passage à l'echelle et résolution du pb de généralisation.
  • Projet guidé par AC. Demande forte motivation pour l'apprentissage par renforcement.
• Apprentissage de séries temporelles (MS + AC)
  • Algorithme: Echo State Network
  • Reproduire l'expérience ds le XX.

Articles.

• Spectral Domain-Transfer Learning. Xiao Ling, Wenyuan Dai, Gui-Rong Xue, Qiang Yang, Yong Yu. (KDD-08)
• Structured Metric Learning for High Dimensional Problems. Jason V. Davis, Inderjit S. Dhillon. (KDD-08)
• Get Another Label? Improving Data Quality and Data Mining Using Multiple, Noisy Labelers. Victor Sheng, Foster Provost, Panagiotis G. Ipeirotis. (KDD-08)

les cours de l'an dernier.

Articles à exposer (10 minutes) pour les volontaires

• C. Elkan. Magical Thinking in Data Mining: Lessons From CoIL Challenge 2000 (pdf). In Proceedings of the Seventh International Conference on Knowledge Discovery and Data Mining (KDD'01), pp. 426-431.
• P. Domingos. MetaCost: A General Method for Making Classifiers Cost-Sensitive (pdf). In Proceedings of the Fifth International Conference on Knowledge Discovery and Data Mining (KDD-99).
• Rifkin - Klautau: In Defense of One-Vs-All Classification)
• Fast Maximum Margin Matrix Factorization for Collaborative Prediction, Jason Rennie and Nathan Srebro, 22nd International Conference on Machine Learning (ICML'05)