Module Apprentissage et Fouille de Données

Michèle Sebag, Balázs Kégl, Antoine Cornuéjols.

Horaires Examen 19 Decembre / Schedule Exam Friday December 19th

12h15 - 12h35	Adeel Anjum	Article McCallum

New Lectures, Readings: Chapitres, Additional Material

1/10	(MS)	Introduction, arbres de décision, (illustration sur Skicat et Darpa Challenge 2005)	arbres de décision
8/10	(BK)	Boosting (illustration sur les caractères manuscrits), classification	classification
			Lectures: boosting tutorial multiclass boosting face detection
15/10	(BK)	Boosting (suite), réseaux de neurones	réseaux de neurones
22/10	(BK)	Filtrage collaboratif (challenge Netflix); régression et ranking
29/10	(MS)	Représentation, sélection d'attributs et réduction de dimensionalité, application aux systèmes computationels autonomes (Autonomic Computing)	Representation, une erreur de méthologie, analyse par Hastie
5/11	(AC)	Généralités sur l'apprentissage inductif supervisé, Apprentissage actif	Transition de phase
12/11	(AC)	Apprentissage en-ligne. Apprentissage par renforcement	Transparents, Chapitre).
19/11	(MS)	Apprentissage non supervisé et data streaming	Clustering,Streaming
26/11		Vacances
3/12		Exam ecrit questions de cours. Voir pour un exemple : texte de l'examen de 2005. (NB: la partie 3 n'est plus au programme du module).
19 /12		Exposé d'article ou de projet

Large Scale Learning: strategies naives de selection des vecteurs supports. (MS)
- Données Challenges
Bases de données visage (AC et BK)
- Base de données ORL, Olivetti Research Lab; 400 visages
- Balazs, 5000 visages vierges, 1935-2000. (age, genre, année). Photos bruitées, assez bien centrées. Serait bien pour multi-task; tâche difficile.
- Methode Viola-Jones (BK) ou SVM (AC).
Collaborative filtering (BK)
- Netflix + base données semi-privées LastFM.
Logs robotique, réduction de dimensionalité (MS).
- Données : contacter MS.
- Algorithme : Information bottleneck et/ou deep learning.
Clément de Groc Active learning: identification de pages de cours en Computer Science (AC, BK et MS).
- Constitution de training (donner chacun trois exemples positifs). Interet, etudiant peut etre l'expert.
- Algorithme Filterboost décrit ds Nips 2007, Schapire et al. (code décrit ds l'article; réputé efficace).
Apprentissage par renforcement (AC)
- Deplacement d'un robot dans un monde 2D.
- Illustration des difficultés de passage à l'echelle et résolution du pb de généralisation.
- Projet guidé par AC. Demande forte motivation pour l'apprentissage par renforcement.
Apprentissage de séries temporelles (MS + AC)
- Algorithme: Echo State Network
- Reproduire l'expérience ds le XX.

Spectral Domain-Transfer Learning. Xiao Ling, Wenyuan Dai, Gui-Rong Xue, Qiang Yang, Yong Yu. (KDD-08)
Structured Metric Learning for High Dimensional Problems. Jason V. Davis, Inderjit S. Dhillon. (KDD-08)
Souhir GAHBICHE : Get Another Label? Improving Data Quality and Data Mining Using Multiple, Noisy Labelers. Victor Sheng, Foster Provost, Panagiotis G. Ipeirotis. (KDD-08)
Dhafer LAHBIB Mining High Speed Data Streams, Pedro Domingos, Geoffrey Hulten, KDD-00
- Extending decision trees to Data streaming
Adeel Anjum Group and Topic Discovery from Relations and Their Attributes Xuerui Wang, Natasha Mohanty and Andrew McCallum. NIPS 06
- Applied to the voting records from the U.S. Senate, showing that different groupings of legislators emerge from different topics...
Multi-Task Learning for HIV Therapy Screening Steffen Bickel, Jasmina Bogojeska, Thomas Lengauer, and Tobias Scheffer, ICML 08
- Using data from different distributions; how ?

C. Elkan. Magical Thinking in Data Mining: Lessons From CoIL Challenge 2000 (pdf). In Proceedings of the Seventh International Conference on Knowledge Discovery and Data Mining (KDD'01), pp. 426-431.
P. Domingos. MetaCost: A General Method for Making Classifiers Cost-Sensitive (pdf). In Proceedings of the Fifth International Conference on Knowledge Discovery and Data Mining (KDD-99).
Rifkin - Klautau: In Defense of One-Vs-All Classification)
Fast Maximum Margin Matrix Factorization for Collaborative Prediction, Jason Rennie and Nathan Srebro, 22nd International Conference on Machine Learning (ICML'05)