Chargement...
 

Historique: Courses

Aperçu de cette version: 130

2012 - 2013

Tronc commun ASO

Voir aussi la page d'Alexandre Allauzen
  1. 1er Octobre 2012 Introduction, arbres de décision et validation
  2. 4 Octobre 2012 Réseaux neuronaux
    1. Voir: https://class.coursera.org/neuralnets-2012-001/
  3. 8 Octobre 2012: Bayesien Naif, Alexandre Allauzen
  4. 15 Octobre 2012: Apprentissage non supervisé
  5. 22 Octobre 2012: Modèles de Markov
  6. 25 Octobre 2012: Machines à Vecteurs Supports
  7. 29 Octobre 2012: Optimisation
  8. 5 Novembre 2012: suite des modèles de Markov.

TP Nicolas Galichet

  1. Arbres de décision
  2. Machines à Vecteurs Supports

Examen TC2 , 2012

  1. Examen sur table, 19 novembre

Contrôle continu: Projets/Exposés

Vous devez choisir parmi la liste ci-dessous, un projet à effectuer. La liste est en cours de construction et sera close mi-décembre.
L'évaluation consiste en un rapport de 4 pages et un exposé de 15 minutes. Elle aura lieu fin janvier.
La règle d'attribution est le premier arrivé, le premier servi. Pour choisir un sujet, il suffira d'envoyer un mail à allauzen à limsi.fr.

L'objectif est de comprendre l'article, d'effectuer des expériences par soi-même afin de mieux en comprendre le contenu, et de proposer une analyse critique. A chaque article est associé un contact, n'hésitez pas à le/la contacter afin d'avoir plus de précision sur les attendus. Le rapport devra contenir, une courte description des travaux, des expériences menées, et une description et analyses des résultats.

    1. Detecting concept drift with support vector machines, ICML 2000. R Klinkenberg, T Joachims. Contact M. Sebag.
    2. Less is more, Active Learning with SVM, ICML 2000, G Schohn, D. Cohn Contact M. Sebag.
    3. Linear Discriminant Trees, OT Yildiz, E Alpaydin, 2000. Contact M. Sebag.
    4. A fully Bayesian approach to unsupervised part-of-speech tagging, 2007. Contact: A. Allauzen.

La base d'image MNIST est disponible sur cette page, et il existe des API d'accès pour beaucoup de langage de programmation (en cas de problème A. Allauzen).


Examen TC2 2011

Module Robotique - Option 6


Retour des étudiants, 2012-2013


2011 - 2012

Departement Informatique, Université Paris-Sud

Master 1; Master 2 Stages

Ressources

Web sites


Cours 2011-2012

L3 ENS-Cachan, Cours d'apprentissage

Tronc commun Master 2R IAC, Information, Apprentissage, Cognition, TC2))

Sondage des étudiants


Horaire de passage des projets

5 mars 2012. 10 mn d'exposé, 10 mn de questions. Envoyez l'horaire choisi à sebag at lri dot fr : premier arrivé premier servi.

  1. 10h
  2. 10h 20
  3. 10h 40
  4. 11h
...

Liste des cours

  1. Cours Introduction 3 octobre 2011
  2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
  3. Cours Bayesien Naif transparents
  4. Cours Apprentissage non supervisé transparents
  5. Cours Modeles de Markov transparents 1, transparents 2
  6. Cours Représentations 27 octobre
  7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
  8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre


Voir aussi http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO

Option 2: Apprentissage Statistique, Optimisation et Applications

  1. Cours 30 nov. 2011
  2. Document Metric Learning, slides K. Weinberger Weinberger.pdf
  3. Cours du 7/14 Décembre 2011 - Optimisation par algorithmes stochastiques adaptatifs
  4. Cours du 14 Décembre - Evaluation des performances
  5. Cours 4 jan. 2012
  6. Cours 11 jan. 2012
  7. Cours 18 janvier 2012, Apprentissage par renforcement, Part I, Part II, Part III
  8. Cours 3 février, Monte-Carlo Tree Search COURS_RL.pdf

Articles



Projets

Les projets 3, 4 et 9 peuvent être pris par un binome.
  1. Projet 1 : Classification Réseaux Neuronaux Antoine Sylvain; Abdulhafiz ALKHOULI
    1. Données MNIST; algorithme rétro-propagation du gradient.
    2. Etude de l'influence de l'initialisation des poids et du pas d'apprentissage
  2. Projet 2 : Auto-encodeur. Bryan Brancotte
    1. Donnees IMAGES
    2. voir http://www.stanford.edu/class/cs294a si besoin d'information pour ouvrir les donnees.
    3. Prendre des imagettes (8x8) tirees aleatoirement dans les images.
    4. Definir un NN avec 64 sorties, et l'entrainer pour que l'output soit egal à l'input (c'est ce qu'on appelle un auto-encodeur).
    5. Afficher pour chacun des neurones de la couche cachée l'imagette de norme 1 qui l'excite le plus (i.e. pour lequel la valeur est maximale).
  3. Projet 3 : Machine à Vecteurs Supports (linéaire et sans variables ressorts)
    1. Le principe : http://en.wikipedia.org/wiki/Support_vector_machine
    2. L'algorithme : libSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
    3. Donnees: probleme URL sur la page http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
  4. Projet 4 : Recursive Feature Elimination
    1. Donnees: ARCENE, http://www.nipsfsc.ecs.soton.ac.uk/datasets/
    2. Ajouter des features aleatoires
    3. Prendre des sous-ensembles de donnees de petite taille
    4. Sur chaque sous-ensemble, apprendre une hypothèse linéaire
    5. Définir l'importance d'un feature en fonction de son poids dans les différentes hypothèses linéaires
    6. Ordonner les features selon ce score d'importance
    7. Voir le nombre de features plus importantes que les features aléatoires.
  5. Projet 5 : Adaboost Khrystyna Kyrgyzova
    1. Données MNIST, classes 4 et 9
    2. Principe : http://en.wikipedia.org/wiki/AdaBoost
    3. Espace des hypotheses: choix d'un pixel; apprendre la valeur v telle que l'hypothese pixel > v est le meilleur classifieur (au sens de la distribution courante) utilisant ce pixel.
  6. Projet 6 : Résolution d'un problème de packing "Circles in a square"(A. Auger) Ouassim Ait Elhara; Hassan Ibrahim
    1. Considérer le problème d'empilements de cercles de rayons identiques dans un carré (voir http://www.packomania.com/ - problème 1)
    2. Formuler le problème sous forme d'un problème d'optimisation
    3. Utiliser l'algorithme CMA-ES pour résoudre le problème (on récupérera le code ici: http://www.lri.fr/~hansen/cmaes_inmatlab.html )
    4. On pourra traiter les contraintes par méthode de pénalisation
    5. Comparer les résultats obtenus aux meilleures solutions connues (http://www.packomania.com/ )
  7. Projet 7: Résolution d'un problème de packing "Circles in a circle" (A. Auger) Adrien Maudet; Alexandre Destannes
    1. Considerer le problème d'empilement de cercles dans un cercle (voir http://www.packomania.com/ - problème 2)
    2. suivre les points 2/3/4/5 projet 6
  8. Projet 8 : Deviner la langue d'un fragment de texte (Allauzen + Yvon) Pho Van Minh; Yong Xu
    1. Principe: "Naive bayes" avec des modèles de Markov de lettres
    2. Données: dictionnaires, pages web, etc (mailto:yvon@limsi.fr)
  9. Projet 9: les HMMs en MatLab (pour deux personnes) (Allauzen + Yvon)
    1. programmer la résolution des 4 algorithmes de base
    2. application à l'étiquetage de de séquences supervisé et semi-supervisé
  10. Projet 10: apprendre des HMM par échantillonnage de Gibbs (Allauzen + Yvon) Nawel Sakhraoui
    1. application à l'étiquetage de de séquences non-supervisé et/ou semi-supervisé
    2. Données: étiquetage en entité nommées (mailto:yvon@limsi.fr)
  11. Projet 11: Les dépendances dans les séquences (Allauzen + Yvon)
    1. Principe: comparer trois approches pour faire de la classification supervisée
      1. pas de prise en compte des dépendances
      2. stacking
      3. HMM
    2. Données: prononciation automatique (mailto:yvon@limsi.fr)
  12. Projet 12: Mélange de multinomiale, extension bilingues (Allauzen + Yvon) Anne-Laure Daquo
    1. Principe: étendre le mélange de multinomiale pour des données bilingues alignées
    2. Données: extrait des débat du parlement européen (par exemple)
  13. Projet 13: génératif ou discriminant ? (Allauzen + Yvon)
    1. Principe: implémenter l'apprentissage et l'inférence pour un classifieur Maxent multiclasse
    2. Comparer avec un classifieur Naive Bayes
    3. Données: filtrage de spam, analyse de critiques de films etc.




TP

  1. Matlab/Octave (introduction à Octave)
  2. Perceptron

  1. Licence Cachan 2012

2010 - 2011

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation

Courses

  1. Introduction: slides
  2. Bayes: slides
  3. Neurons: slides
  4. Non supervisé: slides
  5. Neurones, suite slides + representation: slides
  6. Markov: slides
  7. Markov suite + regression logistique slides
  8. Optimisation: slides (21 premiers slides traités en cours).

TP

  1. Matlab/Octave (introduction à Octave)
  2. multinomiales
  3. mélanges de multinomiales
  4. Markov
  5. regression logistique
  6. TP optimisation

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation, & Applications

Courses

  1. 1er cours, slides
  2. Intro to classification + boosting
  3. Support vector machines
  4. Bayesian estimation, Gaussian processes, Monte-Carlo Markov chains
  5. Apprentissage par renforcement (cours 7 et 8).

Annonces internes de stages


Annonces externes de stages


2009-2010


2011 Master

Module Apprentissage, Optimisation et Applications


2008-2009




Historique

Avancé
Information Version
mar. 27 de Nov, 2012 14h57 sebag from 129.175.15.11 130
Afficher
mar. 27 de Nov, 2012 13h48 Alexandre.Allauzen from 129.175.15.11 129
Afficher
mar. 27 de Nov, 2012 13h31 Alexandre.Allauzen from 129.175.15.11 128
Afficher
mar. 27 de Nov, 2012 13h25 Alexandre.Allauzen from 129.175.15.11 127
Afficher
lun. 26 de Nov, 2012 18h26 Alexandre.Allauzen from 129.175.15.11 126
Afficher
lun. 26 de Nov, 2012 17h51 sebag from 129.175.15.11 125
Afficher
mer. 14 de Nov, 2012 23h11 sebag from 129.175.15.11 124
Afficher
mer. 14 de Nov, 2012 18h58 sebag from 129.175.15.11 123
Afficher
mer. 14 de Nov, 2012 18h57 sebag from 129.175.15.11 122
Afficher
mer. 31 de Oct, 2012 09h27 sebag from 129.175.15.11 121
Afficher