Master: Organisation

Module Reinforcement Learning, Freek Stulp and Michele Sebag

Materiel online: http://perso.ensta-paristech.fr/~stulp/aic/

Module Deep Learning, Alexandre Allauzen, Gaetan Marceau-Caron, Yann Olliver, Michele Sebag

Module Apprentissage, Michele Sebag and Alexandre Allauzen. TP: Thomas Schmitt

nouveau 

1. Projets Apprentissage
2. Discussion Apprentissage 2015

Introduction - decision trees (23 sept. 2015)

• Slides main_2015.pdf
• TD TD1 Introduction Python.ipynb. (version html : TD1 Introduction Python.html)
• Correction TD1 : TD1 Python (Solutions) 30 sept.ipynb. (version html : TD1 Python (Solutions) 30 sept.html)

Validation - linear discriminant analysis (30 sept. 2015)

• Slides Second_Cours.pdf
• TD2 TD2 wiki.rar (version html : TD2 - Decision Tree.html)
• Solution TD2 TD2 Python (Solutions).ipynb

Support Vector Machines (7 oct. 2015)

• Slides main_15_3.pdf
• Suppl. material on convex optimization under constraintsfrag_opt_contrainte.pdf
• TD2 - Titanic (solutions).ipynb (version html : TD2 -Titanic (solutions).html)
• TP3 SVM.ipynb (version html : TP3 SVM.html)
• TP3 SVM (solution).ipynb (version HTML : TP3 SVM (solution).html)

Décision Bayésienne (14/10)

Cours uniquement / TP sur les SVM

Bayesien Naif et données continues (28/10)

Cours et TP sur MNIST: TC1-tp-BN.html
TC1-tp-BN.html

Clustering (03/11)

Cours, suite du TP sur MNIST démarrage du devoir à rendre, voir
https://perso.limsi.fr/Individu/allauzen/webpages/pmwiki.php?n=Cours.AIC-TC-Assignments


PLANNING_EDT M2R IAC 2014-2015.pdf

Oral ASO 2014 2 février 2015

Examens 2014

1. Examen Module 2 (Apprentissage et Optimisation) Exam_Opt2_2014.pdf
2. Examen Module 6 (Robotique et Agents Autonomes) Exam_OptRAA_2014.pdf

Wednesday, 9-12am, room 213, PUIO: Apprentissage Statistique, Optimisation & Applications

• Neural Nets
  • Cours_ASOA_NN_2014.pdf
• Deep Nets
  • http://www.iro.umontreal.ca/~bengioy/talks/icml2012-YB-tutorial.pdf
  • Cours_ASOA_Deep_2014.pdf
• Monte Carlo slides
  • Cours_Monte_Carlo.pdf
• Ensemble learning
  • revised,Cours_Ensemble_2015.pdf
• Optimization (by A. Auger)
  • As announced during the class, the optimization slides are available here: https://www.lri.fr/~auger/enseignement/

Friday, 9-12am, room 213, PUIO: Robotics and Autonomous Agents

• Introduction
  • Cours_RAA_Intro_2014.pdf
  • Video, Darpa 2005 challenge
• SLAM, Simultaneous Localization and Mapping, Emanuel Aldea
  • cours1-eleves-gs.pdf
  • cours2-eleves-gs.pdf
• Multi-armed Bandits, Odalric-Ambrym Maillard
  • Cours_Bandit.pdf
  • Cours_Bandit2.pdf
• Robotique et Neurosciences, Mehdi Khamassi
  • Slides ppt
  • Slides pdf
• Evolutionary Robotics
  • Slides

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Anne Auger, Michele Sebag

1. Cours 1: Introduction, Arbres de décision, Validation
   1. Slides, révisés:main_revised.pdf
2. Cours SVM
   1. Slides Cours_SVM_14.pdf

Quelques liens

1. 13 janvier 2014 http://www.forbes.com/sites/85broads/2014/01/06/six-novel-machine-learning-applications/
2. 13 janvier 2014. http://passeurdesciences.blog.lemonde.fr/2014/01/12/teleportez-vos-bras-pour-manipuler-des-objets-a-distance/
3. 9 dec. 2013. http://perso-etis.ensea.fr/alexpitt/LaRobotiqueEtLeVivant_en.html

L2 Vie Artificielle : Alexandre Allauzen et Michele Sebag

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Michele Sebag, Marc Schoenauer

M2R: Apprentissage Statistique & Optimisation Avancés: Michele Sebag, Anne Auger, Balazs Kégl

1. Cours 1: Neural Nets
   1. pdf, 4 dec. Orsay, 9h-12h.
2. Cours 2 et 3: Optimisation numérique par algorithmes stochastiques adaptatifs (Stratégies d'Evolutions, CMA-ES)
   1. Transparents de cours, 11 & 18 dec. 2013
3. Cours 4: Deep Learning
   1. Presentation Yoshua Bengio AAAI 2013
   2. Conference part 1
   3. Conference part 2
4. Cours 5: Boosting
   1. slides
   2. intro chapter
   3. multiclass (in Appendix)
   4. multiboost code
5. Cours 6: Multiclass, ensembles, calibration, model compression
   1. John Platt's original paper on model compression, Niculescu-Mizil&Caruana's paper on the same subject
   2. Rich Caruana's slides on model compression from ICML13 budgeted learning
6. Cours 7: Monte-Carlo Markov chains
   1. Rémi Bardenet's slides on MCMC from IN2P3's School of Statistics ( proceedings)
7. Cours 8: Apprentissage non supervisé
   1. pdf,

M2R: Robotique et agents autonomes: Michele Sebag et Jamal Atif

1. Cours 1: Introduction
   1. pdf, 6 dec. Orsay, 14h-17h.
2. Cours 2: Apprentissage par renforcement
   1. pdf, 13 dec. Orsay, 14h-17h.
3. Cours 8: Changement de représentations
   1. pdf, 7 dec. Orsay, 9h-12h.

M1 MPRI: Apprentissage Michele Sebag & Benoit Barbot

1. Cours 1, 16 sept. Paris, 16h-19h.
2. Cours 2, 30 sept.
3. Cours 3, 14 oct.
   • Complement bags of little bootstrap, Ariel Kleiner, Ameet Talwalkar, Purnamrita Sarkar and Michael I. Jordan
4. Cours 4, 28 oct.
5. Cours 5, 18 nov. Revisé 21 nov.
6. Cours 6: Deep Learning.
   1. Slides: Tutorial Yoshua Bengio, ICML 2012
7. Cours 7: Ensemble learning
   1. Cours 7, 13 jan.
8. Cours 8: Unsupervised learning
   1. Cours 8, 27 jan.
9. Cours 9: Changes of representation
   1. Cours 9, 10 fev.
10. Cours 10: Reinforcement learning
    1. Cours 10, 24 fev. 2014.

Tronc commun: Apprentissage Statistique et Optimisation

introductory course on machine learning and optimization. To get a first flavor of it: read the slides on decision trees & validation (first course) and on support vector machines (6th course).

Module Apprentissage Statistique, Optimisation et Applications - Option 2

follow-on: advanced course on machine learning and optimization

Module Robotique - Option 6

L3 ENS-Cachan, Cours d'apprentissage

Retour des étudiants, 2012-2013

Departement Informatique, Université Paris-Sud

Ressources

• General recommendations
• Conseils pour faire un exposé
• Recommendations for giving a talk
• Writing a paper: Tips

Web sites

• Andrew Ng: http://openclassroom.stanford.edu/MainFolder/VideoPage.php?course=MachineLearning
• A bit of algebra:
  • http://en.wikipedia.org/wiki/Matrix_theory
  • http://math.mit.edu/linearalgebra/

Cours 2011-2012

L3 ENS-Cachan, Cours d'apprentissage

Tronc commun Master 2R IAC, Information, Apprentissage, Cognition, TC2

Sondage des étudiants

Horaire de passage des projets

5 mars 2012. 10 mn d'exposé, 10 mn de questions. Envoyez l'horaire choisi à sebag at lri dot fr : premier arrivé premier servi.

1. 10h
2. 10h 20
3. 10h 40
4. 11h

...

Liste des cours

1. Cours Introduction 3 octobre 2011
2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
3. Cours Bayesien Naif transparents
4. Cours Apprentissage non supervisé transparents
5. Cours Modeles de Markov transparents 1, transparents 2
6. Cours Représentations 27 octobre
7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre

Voir aussi http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO

Option 2: Apprentissage Statistique, Optimisation et Applications

1. Cours 30 nov. 2011
2. Document Metric Learning, slides K. Weinberger Weinberger.pdf
3. Cours du 7/14 Décembre 2011 - Optimisation par algorithmes stochastiques adaptatifs
4. Cours du 14 Décembre - Evaluation des performances
5. Cours 4 jan. 2012
6. Cours 11 jan. 2012
7. Cours 18 janvier 2012, Apprentissage par renforcement, Part I, Part II, Part III
8. Cours 3 février, Monte-Carlo Tree Search COURS_RL.pdf

Articles

• Latent Dirichlet Allocation
  • Analyses de textes : une mixture de concepts cachés.
  • http://www.lri.fr/~sebag/COURS/BleiNgJordan2003.pdf
• Feature selection, L1 vs. L2 regularization, and rotational invariance
  • Pour eviter le sur-apprentissage, on rajoute des termes de regularisation. Font-ils autre chose que de regulariser ?
  • http://ai.stanford.edu/~ang/papers/icml04-l1l2.pdf
• Error Limiting Reductions between