Cours_ML_UPSud

Machine Learning, Michèle Sebag et Francois Landes

Deep Learning, Caio Corro and Michele Sebag-

Reinforcement Learning, Michele Sebag and Heri Rakotoarison

Nouveauté 2018-2019:

• Le module Deep Learning commence le 3 octobre 2018. Pourquoi ?
  • Tout le monde le prend, donc pourquoi ne pas le rendre obligatoire
  • Le mettre au premier semestre permet d'équilibrer la pression sur les projets.

Module Apprentissage, Alexandre Allauzen, Michèle Sebag et Francois Landes

Module Deep Learning, Alexandre Allauzen, Michèle Sebag

Module Reinforcement Learning, Michele Sebag et Herilalaina Rakotoarison

Echéancier 2018 9

2017-2018 Module Apprentissage

Module Deep Learning, Alexandre Allauzen et Michele Sebag

2017 Module Reinforcement Learning, Michele Sebag, Diviyan Kalainathan, Laurent Cetinsoy

Module Apprentissage, Michele Sebag and Alexandre Allauzen. TP: Thomas Schmitt

Ressources Module AIC 2016-2017

Module Deep Learning, Alexandre Allauzen, Michèle Sebag and Thomas Schmitt

2016 Module Reinforcement Learning, Michele Sebag, Diviyan Kalainathan

ThisisaNewPage12346543

Master: Organisation

Projets, Isabelle Guyon

Module Reinforcement Learning, Freek Stulp and Michele Sebag

Module Deep Learning, Alexandre Allauzen, Gaetan Marceau-Caron, Yann Olliver, Michele Sebag

Module Apprentissage, Michele Sebag and Alexandre Allauzen. TP: Thomas Schmitt

Matérial

1. Projets Apprentissage
2. Discussion Apprentissage 2015

Introduction - decision trees (23 sept. 2015)

• Slides main_2015.pdf
• TD TD1 Introduction Python.ipynb. (version html : TD1 Introduction Python.html)
• Correction TD1 : TD1 Python (Solutions) 30 sept.ipynb. (version html : TD1 Python (Solutions) 30 sept.html)

Validation - linear discriminant analysis (30 sept. 2015)

• Slides Second_Cours.pdf
• TD2 TD2 wiki.rar (version html : TD2 - Decision Tree.html)
• Solution TD2 TD2 Python (Solutions).ipynb

Support Vector Machines (7 oct. 2015)

• Slides main_15_3.pdf
• Suppl. material on convex optimization under constraintsfrag_opt_contrainte.pdf
• TD2 - Titanic (solutions).ipynb (version html : TD2 -Titanic (solutions).html)
• TP3 SVM.ipynb (version html : TP3 SVM.html)
• TP3 SVM (solution).ipynb (version HTML : TP3 SVM (solution).html)

Décision Bayésienne (14/10)

Cours uniquement / TP sur les SVM

Bayesien Naif et données continues (28/10)

Cours et TP sur MNIST: TC1-tp-BN.html
TC1-tp-BN.html

Clustering (03/11)

Cours, suite du TP sur MNIST démarrage du devoir à rendre, voir
https://perso.limsi.fr/Individu/allauzen/webpages/pmwiki.php?n=Cours.AIC-TC-Assignments


PLANNING_EDT M2R IAC 2014-2015.pdf

Oral ASO 2014 2 février 2015

Examens 2014

1. Examen Module 6 (Robotique et Agents Autonomes) Exam_OptRAA_2014.pdf

Wednesday, 9-12am, room 213, PUIO: Apprentissage Statistique, Optimisation & Applications

• Neural Nets
  • Cours_ASOA_NN_2014.pdf
• Deep Nets
  • http://www.iro.umontreal.ca/~bengioy/talks/icml2012-YB-tutorial.pdf
  • Cours_ASOA_Deep_2014.pdf
• Monte Carlo slides
  • Cours_Monte_Carlo.pdf
• Ensemble learning
  • revised,Cours_Ensemble_2015.pdf
• Optimization (by A. Auger)
  • As announced during the class, the optimization slides are available here: https://www.lri.fr/~auger/enseignement/

Friday, 9-12am, room 213, PUIO: Robotics and Autonomous Agents

• Introduction
  • Cours_RAA_Intro_2014.pdf
  • Video, Darpa 2005 challenge
• SLAM, Simultaneous Localization and Mapping, Emanuel Aldea
  • cours1-eleves-gs.pdf
  • cours2-eleves-gs.pdf
• Multi-armed Bandits, Odalric-Ambrym Maillard
  • Cours_Bandit.pdf
  • Cours_Bandit2.pdf
• Robotique et Neurosciences, Mehdi Khamassi
  • Slides ppt
  • Slides pdf
• Evolutionary Robotics
  • Slides

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Anne Auger, Michele Sebag

1. Cours 1: Introduction, Arbres de décision, Validation
   1. Slides, révisés:main_revised.pdf
2. Cours SVM
   1. Slides Cours_SVM_14.pdf

Quelques liens

1. 13 janvier 2014 http://www.forbes.com/sites/85broads/2014/01/06/six-novel-machine-learning-applications/
2. 13 janvier 2014. http://passeurdesciences.blog.lemonde.fr/2014/01/12/teleportez-vos-bras-pour-manipuler-des-objets-a-distance/
3. 9 dec. 2013. http://perso-etis.ensea.fr/alexpitt/LaRobotiqueEtLeVivant_en.html

L2 Vie Artificielle : Alexandre Allauzen et Michele Sebag

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Michele Sebag, Marc Schoenauer

M2R: Apprentissage Statistique & Optimisation Avancés: Michele Sebag, Anne Auger, Balazs Kégl

1. Cours 1: Neural Nets
   1. pdf, 4 dec. Orsay, 9h-12h.
2. Cours 2 et 3: Optimisation numérique par algorithmes stochastiques adaptatifs (Stratégies d'Evolutions, CMA-ES)
   1. Transparents de cours, 11 & 18 dec. 2013
3. Cours 4: Deep Learning
   1. Presentation Yoshua Bengio AAAI 2013
   2. Conference part 1
   3. Conference part 2
4. Cours 5: Boosting
   1. slides
   2. intro chapter
   3. multiclass (in Appendix)
   4. multiboost code
5. Cours 6: Multiclass, ensembles, calibration, model compression
   1. John Platt's original paper on model compression, Niculescu-Mizil&Caruana's paper on the same subject
   2. Rich Caruana's slides on model compression from ICML13 budgeted learning
6. Cours 7: Monte-Carlo Markov chains
   1. Rémi Bardenet's slides on MCMC from IN2P3's School of Statistics ( proceedings)
7. Cours 8: Apprentissage non supervisé
   1. pdf,

M2R: Robotique et agents autonomes: Michele Sebag et Jamal Atif

1. Cours 1: Introduction
   1. pdf, 6 dec. Orsay, 14h-17h.
2. Cours 2: Apprentissage par renforcement
   1. pdf, 13 dec. Orsay, 14h-17h.
3. Cours 8: Changement de représentations
   1. pdf, 7 dec. Orsay, 9h-12h.

M1 MPRI: Apprentissage Michele Sebag & Benoit Barbot

1. Cours 1, 16 sept. Paris, 16h-19h.
2. Cours 2, 30 sept.
3. Cours 3, 14 oct.
   • Complement bags of little bootstrap, Ariel Kleiner, Ameet Talwalkar, Purnamrita Sarkar and Michael I. Jordan
4. Cours 4, 28 oct.
5. Cours 5, 18 nov. Revisé 21 nov.
6. Cours 6: Deep Learning.
   1. Slides: Tutorial Yoshua Bengio, ICML 2012
7. Cours 7: Ensemble learning
   1. Cours 7, 13 jan.
8. Cours 8: Unsupervised learning
   1. Cours 8, 27 jan.
9. Cours 9: Changes of representation
   1. Cours 9, 10 fev.
10. Cours 10: Reinforcement learning
    1. Cours 10, 24 fev. 2014.

Tronc commun: Apprentissage Statistique et Optimisation

introductory course on machine learning and optimization. To get a first flavor of it: read the slides on decision trees & validation (first course) and on support vector machines (6th course).

Module Apprentissage Statistique, Optimisation et Applications - Option 2

follow-on: advanced course on machine learning and optimization

Module Robotique - Option 6

L3 ENS-Cachan, Cours d'apprentissage

Retour des étudiants, 2012-2013

Departement Informatique, Université Paris-Sud

Ressources

• General recommendations
• Conseils pour faire un exposé
• Recommendations for giving a talk
• Writing a paper: Tips

Web sites

• Andrew Ng: http://openclassroom.stanford.edu/MainFolder/VideoPage.php?course=MachineLearning
• A bit of algebra:
  • http://en.wikipedia.org/wiki/Matrix_theory
  • http://math.mit.edu/linearalgebra/

Cours 2011-2012

L3 ENS-Cachan, Cours d'apprentissage

Tronc commun Master 2R IAC, Information, Apprentissage, Cognition, TC2

Sondage des étudiants

Horaire de passage des projets

5 mars 2012. 10 mn d'exposé, 10 mn de questions. Envoyez l'horaire choisi à sebag at lri dot fr : premier arrivé premier servi.

1. 10h
2. 10h 20
3. 10h 40
4. 11h

...

Liste des cours

1. Cours Introduction 3 octobre 2011
2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
3. Cours Bayesien Naif transparents
4. Cours Apprentissage non supervisé transparents
5. Cours Modeles de Markov transparents 1, transparents 2
6. Cours Représentations 27 octobre
7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre

Voir aussi http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO

Option 2: Apprentissage Statistique, Optimisation et Applications

1. Cours 30 nov. 2011
2. Document Metric Learning, slides K. Weinberger Weinberger.pdf
3. Cours du 7/14 Décembre 2011 - Optimisation par algorithmes stochastiques adaptatifs
4. Cours du 14 Décembre - Evaluation des performances
5. Cours 4 jan. 2012
6. Cours 11 jan. 2012
7. Cours 18 janvier 2012, Apprentissage par renforcement, Part I, Part II, Part III
8. Cours 3 février, Monte-Carlo Tree Search COURS_RL.pdf

Articles

• Latent Dirichlet Allocation
  • Analyses de textes : une mixture de concepts cachés.
  • http://www.lri.fr/~sebag/COURS/BleiNgJordan2003.pdf
• Feature selection, L1 vs. L2 regularization, and rotational invariance
  • Pour eviter le sur-apprentissage, on rajoute des termes de regularisation. Font-ils autre chose que de regulariser ?
  • http://ai.stanford.edu/~ang/papers/icml04-l1l2.pdf
• Error Limiting Reductions between