Historique: Courses

Departement Informatique, Université Paris-Sud

Ressources

• Conseils pour faire un exposé
• Recommendations for giving a talk
• Writing a paper: Tips

Web sites

• Andrew Ng: http://openclassroom.stanford.edu/MainFolder/VideoPage.php?course=MachineLearning
• A bit of algebra:
  • http://en.wikipedia.org/wiki/Matrix_theory
  • http://math.mit.edu/linearalgebra/

TC2

1. Cours Introduction 3 octobre 2011
2. Cours Réseaux Neuronaux 6 octobre 2011
3. Cours Représentations 27 octobre
4. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
5. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre

Projets

1. Projet 1 : Classification Réseaux Neuronaux
   1. Données MNIST; algorithme rétro-propagation du gradient.
   2. Etude de l'influence de l'initialisation des poids et du pas d'apprentissage
2. Projet 2 : Auto-encodeur
   1. Donnees IMAGES
   2. voir http://www.stanford.edu/class/cs294a si besoin d'information pour ouvrir les donnees.
   3. Prendre des imagettes (8x8) tirees aleatoirement dans les images.
   4. Definir un NN avec 64 sorties, et l'entrainer pour que l'output soit egal à l'input (c'est ce qu'on appelle un auto-encodeur).
   5. Afficher pour chacun des neurones de la couche cachée l'imagette de norme 1 qui l'excite le plus (i.e. pour lequel la valeur est maximale).
3. Projet 3 : Machine à Vecteurs Supports (linéaire et sans variables ressorts)
   1. Le principe : http://en.wikipedia.org/wiki/Support_vector_machine
   2. L'algorithme : libSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
   3. Donnees: probleme URL sur la page http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
4. Projet 4 : Recursive Feature Elimination
   1. Donnees: ARCENE, http://www.nipsfsc.ecs.soton.ac.uk/datasets/
   2. Ajouter des features aleatoires
   3. Prendre des sous-ensembles de donnees de petite taille
   4. Sur chaque sous-ensemble, apprendre une hypothèse linéaire
   5. Définir l'importance d'un feature en fonction de son poids dans les différentes hypothèses linéaires
   6. Ordonner les features selon ce score d'importance
   7. Voir le nombre de features plus importantes que les features aléatoires.
5. Projet 5 : Adaboost
   1. Données MNIST, classes 4 et 9
   2. Principe : http://en.wikipedia.org/wiki/AdaBoost
   3. Espace des hypotheses: choix d'un pixel; apprendre la valeur v telle que l'hypothese pixel > v est le meilleur classifieur (au sens de la distribution courante) utilisant ce pixel.
6. Projet 6 : Estimation de distribution pour l'optimisation

TP

1. Matlab/Octave (introduction à Octave)
2. Perceptron

1. Licence Cachan 2012

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation

Courses

1. Introduction: slides
2. Bayes: slides
3. Neurons: slides
4. Non supervisé: slides
5. Neurones, suite slides + representation: slides
6. Markov: slides
7. Markov suite + regression logistique slides
8. Optimisation: slides (21 premiers slides traités en cours).

TP

1. Matlab/Octave (introduction à Octave)
2. multinomiales
3. mélanges de multinomiales
4. Markov
5. regression logistique
6. TP optimisation

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation, & Applications

Courses

1. 1er cours, slides
2. Intro to classification + boosting
3. Support vector machines
4. Bayesian estimation, Gaussian processes, Monte-Carlo Markov chains
5. Apprentissage par renforcement (cours 7 et 8).

Annonces internes de stages

• Michele Sebag: les sujets 2010 vont arriver; les sujets de l'an dernier sont à http://www.lri.fr/~sebag/Stages

Annonces externes de stages

• Onera

• Apprentissage et Fouille de Données, Machine Learning and Data Mining, Michèle Sebag & Balázs Kégl.
• Evolution Artificielle et Robotique, Evolutionary Computation and Robotics, Marc Schoenauer, Anne Auger et Nicolas Bredèche.

Module Apprentissage, Optimisation et Applications

• Apprentissage et Fouille de Données 2008, Machine Learning and Data Mining, Michèle Sebag, Antoine Cornuéjols et Balázs Kégl.