Module Apprentissage et Fouille de Données

Notes: sous reserve des homogénéisations possibles entre modules.

New Lectures, Readings: Chapitres, Additional Material

Projets

• Ludovic Arnold Large Scale Learning: strategies naives de selection des vecteurs supports. (MS)
  • Données Challenges
• Bases de données visage (AC et BK)
  • Base de données ORL, Olivetti Research Lab; 400 visages
  • Balazs, 5000 visages vierges, 1935-2000. (age, genre, année). Photos bruitées, assez bien centrées. Serait bien pour multi-task; tâche difficile.
  • Methode Viola-Jones (BK) ou SVM (AC).
• Amir Seyedi Collaborative filtering (BK)
  • Netflix + base données semi-privées LastFM.
• Logs robotique, réduction de dimensionalité (MS).
  • Données : contacter MS.
  • Algorithme : Information bottleneck et/ou deep learning.
• Clément de Groc Active learning: identification de pages de cours en Computer Science (AC, BK et MS).
  • Constitution de training (donner chacun trois exemples positifs). Interet, etudiant peut etre l'expert.
  • Algorithme Filterboost décrit ds Nips 2007, Schapire et al. (code décrit ds l'article; réputé efficace).
• Apprentissage par renforcement (AC)
  • Deplacement d'un robot dans un monde 2D.
  • Illustration des difficultés de passage à l'echelle et résolution du pb de généralisation.
  • Projet guidé par AC. Demande forte motivation pour l'apprentissage par renforcement.
• Apprentissage de séries temporelles (MS + AC)
  • Algorithme: Echo State Network
  • Reproduire l'expérience ds le XX.

Articles.

• Pierre Delarboulas Spectral Domain-Transfer Learning. Xiao Ling, Wenyuan Dai, Gui-Rong Xue, Qiang Yang, Yong Yu. (KDD-08)
• Jana Hlavacikova Structured Metric Learning for High Dimensional Problems. Jason V. Davis, Inderjit S. Dhillon. (KDD-08)
• Souhir GAHBICHE : Get Another Label? Improving Data Quality and Data Mining Using Multiple, Noisy Labelers. Victor Sheng, Foster Provost, Panagiotis G. Ipeirotis. (KDD-08)
• Dhafer LAHBIB Mining High Speed Data Streams, Pedro Domingos, Geoffrey Hulten, KDD-00
  • Extending decision trees to Data streaming
• Adeel ANJUM Group and Topic Discovery from Relations and Their Attributes Xuerui Wang, Natasha Mohanty and Andrew McCallum. NIPS 06
  • Applied to the voting records from the U.S. Senate, showing that different groupings of legislators emerge from different topics...
• Sameh HAROUNI Multi-Task Learning for HIV Therapy Screening Steffen Bickel, Jasmina Bogojeska, Thomas Lengauer, and Tobias Scheffer, ICML 08
  • Using data from different distributions; how ?
• Micheline ELIAS Topic and Role Discovery in Social Networks Andrew McCallum, Andres Corrada-Emmanuel and Xuerui Wang. IJCAI, 2005.
  • Discover roles by social network analysis with a Bayesian network; Experiments with Enron email and academic email.
• Ahmed MOHAMED Learning Classifiers from Only Positive and Unlabeled Data, C. Elkan and K. Noto, KDD08
• Distance Metric Learning for Large Margin Nearest Neighbor Classification Kilian Weinberger, John Blitzer, Lawrence Saul, NIPS 2005
• Recognition and Reproduction of Gestures using a Probabilistic Framework combining PCA, ICA and HMM

les cours de l'an dernier.

Articles à exposer (10 minutes) pour les volontaires

• C. Elkan. Magical Thinking in Data Mining: Lessons From CoIL Challenge 2000 (pdf). In Proceedings of the Seventh International Conference on Knowledge Discovery and Data Mining (KDD'01), pp. 426-431.
• P. Domingos. MetaCost: A General Method for Making Classifiers Cost-Sensitive (pdf). In Proceedings of the Fifth International Conference on Knowledge Discovery and Data Mining (KDD-99).
• Rifkin - Klautau: In Defense of One-Vs-All Classification)
• Fast Maximum Margin Matrix Factorization for Collaborative Prediction, Jason Rennie and Nathan Srebro, 22nd International Conference on Machine Learning (ICML'05)