Cours_ASOA_NN_2014.pdf

Wednesday, 9-12am, room 213, PUIO: Apprentissage Statistique, Optimisation & Applications

• Neural Nets
  • Cours_ASOA_NN_2014.pdf
• Deep Nets
  • http://www.iro.umontreal.ca/~bengioy/talks/icml2012-YB-tutorial.pdf

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Anne Auger, Michele Sebag

1. Cours 1: Introduction, Arbres de décision, Validation
   1. Slides, révisés:main_revised.pdf
2. Cours SVM
   1. Slides Cours_SVM_14.pdf

Quelques liens

1. 13 janvier 2014 http://www.forbes.com/sites/85broads/2014/01/06/six-novel-machine-learning-applications/
2. 13 janvier 2014. http://passeurdesciences.blog.lemonde.fr/2014/01/12/teleportez-vos-bras-pour-manipuler-des-objets-a-distance/
3. 9 dec. 2013. http://perso-etis.ensea.fr/alexpitt/LaRobotiqueEtLeVivant_en.html

L2 Vie Artificielle : Alexandre Allauzen et Michele Sebag

M2R: Apprentissage Statistique et Optimisation : Alexandre Allauzen, Michele Sebag, Marc Schoenauer

Oral ASO 2014

M2R: Apprentissage Statistique & Optimisation Avancés: Michele Sebag, Anne Auger, Balazs Kégl

1. Cours 1: Neural Nets
   1. pdf, 4 dec. Orsay, 9h-12h.
2. Cours 2 et 3: Optimisation numérique par algorithmes stochastiques adaptatifs (Stratégies d'Evolutions, CMA-ES)
   1. Transparents de cours, 11 & 18 dec. 2013
3. Cours 4: Deep Learning
   1. Presentation Yoshua Bengio AAAI 2013
   2. Conference part 1
   3. Conference part 2
4. Cours 5: Boosting
   1. slides
   2. intro chapter
   3. multiclass (in Appendix)
   4. multiboost code
5. Cours 6: Multiclass, ensembles, calibration, model compression
   1. John Platt's original paper on model compression, Niculescu-Mizil&Caruana's paper on the same subject
   2. Rich Caruana's slides on model compression from ICML13 budgeted learning
6. Cours 7: Monte-Carlo Markov chains
   1. Rémi Bardenet's slides on MCMC from IN2P3's School of Statistics ( proceedings)
7. Cours 8: Apprentissage non supervisé
   1. pdf,

M2R: Robotique et agents autonomes: Michele Sebag et Jamal Atif

1. Cours 1: Introduction
   1. pdf, 6 dec. Orsay, 14h-17h.
2. Cours 2: Apprentissage par renforcement
   1. pdf, 13 dec. Orsay, 14h-17h.
3. Cours 8: Changement de représentations
   1. pdf, 7 dec. Orsay, 9h-12h.

M1 MPRI: Apprentissage Michele Sebag & Benoit Barbot

1. Cours 1, 16 sept. Paris, 16h-19h.
2. Cours 2, 30 sept.
3. Cours 3, 14 oct.
   • Complement bags of little bootstrap, Ariel Kleiner, Ameet Talwalkar, Purnamrita Sarkar and Michael I. Jordan
4. Cours 4, 28 oct.
5. Cours 5, 18 nov. Revisé 21 nov.
6. Cours 6: Deep Learning.
   1. Slides: Tutorial Yoshua Bengio, ICML 2012
7. Cours 7: Ensemble learning
   1. Cours 7, 13 jan.
8. Cours 8: Unsupervised learning
   1. Cours 8, 27 jan.
9. Cours 9: Changes of representation
   1. Cours 9, 10 fev.
10. Cours 10: Reinforcement learning
    1. Cours 10, 24 fev. 2014.

Tronc commun: Apprentissage Statistique et Optimisation

introductory course on machine learning and optimization. To get a first flavor of it: read the slides on decision trees & validation (first course) and on support vector machines (6th course).

Module Apprentissage Statistique, Optimisation et Applications - Option 2

follow-on: advanced course on machine learning and optimization

Module Robotique - Option 6

L3 ENS-Cachan, Cours d'apprentissage

Retour des étudiants, 2012-2013

Departement Informatique, Université Paris-Sud

Ressources

• General recommendations
• Conseils pour faire un exposé
• Recommendations for giving a talk
• Writing a paper: Tips

Web sites

• Andrew Ng: http://openclassroom.stanford.edu/MainFolder/VideoPage.php?course=MachineLearning
• A bit of algebra:
  • http://en.wikipedia.org/wiki/Matrix_theory
  • http://math.mit.edu/linearalgebra/

Cours 2011-2012

L3 ENS-Cachan, Cours d'apprentissage

Tronc commun Master 2R IAC, Information, Apprentissage, Cognition, TC2

Sondage des étudiants

Horaire de passage des projets

5 mars 2012. 10 mn d'exposé, 10 mn de questions. Envoyez l'horaire choisi à sebag at lri dot fr : premier arrivé premier servi.

1. 10h
2. 10h 20
3. 10h 40
4. 11h

...

Liste des cours

1. Cours Introduction 3 octobre 2011
2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
3. Cours Bayesien Naif transparents
4. Cours Apprentissage non supervisé transparents
5. Cours Modeles de Markov transparents 1, transparents 2
6. Cours Représentations 27 octobre
7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre

Voir aussi http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO

Option 2: Apprentissage Statistique, Optimisation et Applications

1. Cours 30 nov. 2011
2. Document Metric Learning, slides K. Weinberger Weinberger.pdf
3. Cours du 7/14 Décembre 2011 - Optimisation par algorithmes stochastiques adaptatifs
4. Cours du 14 Décembre - Evaluation des performances
5. Cours 4 jan. 2012
6. Cours 11 jan. 2012
7. Cours 18 janvier 2012, Apprentissage par renforcement, Part I, Part II, Part III
8. Cours 3 février, Monte-Carlo Tree Search COURS_RL.pdf

Articles

• Latent Dirichlet Allocation
  • Analyses de textes : une mixture de concepts cachés.
  • http://www.lri.fr/~sebag/COURS/BleiNgJordan2003.pdf
• Feature selection, L1 vs. L2 regularization, and rotational invariance
  • Pour eviter le sur-apprentissage, on rajoute des termes de regularisation. Font-ils autre chose que de regulariser ?
  • http://ai.stanford.edu/~ang/papers/icml04-l1l2.pdf
• Error Limiting Reductions between