Chargement...
 

Historique: Courses

Aperçu de cette version: 79

2011 - 2012

Departement Informatique, Université Paris-Sud

Master 1; Master 2 Stages

Ressources

Web sites



TC2

  1. Cours Introduction 3 octobre 2011
  2. Cours Réseaux Neuronaux {file name="Cours_IAC_TC2_2011_NN.pdf" desc="6 octobre 2011}
  3. Cours Bayesien Naif transparents
  4. Cours Apprentissage non supervisé transparents
  5. Cours Modeles de Markov transparents 1, transparents 2
  6. Cours Représentations 27 octobre
  7. Cours Optimisation: Partie I: Introduction et méthodes déterministes, 3 novembre
  8. Cours Optimisation: Partie II: Méthodes stochastiques, 3 novembre


Voir aussi http://www.limsi.fr/Individu/yvon/mysite/mysite.php?n=Site.ASO

Projets

Les projets 3, 4 et 9 peuvent être pris par un binome.
  1. Projet 1 : Classification Réseaux Neuronaux
    1. Données MNIST; algorithme rétro-propagation du gradient.
    2. Etude de l'influence de l'initialisation des poids et du pas d'apprentissage
  2. Projet 2 : Auto-encodeur
    1. Donnees IMAGES
    2. voir http://www.stanford.edu/class/cs294a si besoin d'information pour ouvrir les donnees.
    3. Prendre des imagettes (8x8) tirees aleatoirement dans les images.
    4. Definir un NN avec 64 sorties, et l'entrainer pour que l'output soit egal à l'input (c'est ce qu'on appelle un auto-encodeur).
    5. Afficher pour chacun des neurones de la couche cachée l'imagette de norme 1 qui l'excite le plus (i.e. pour lequel la valeur est maximale).
  3. Projet 3 : Machine à Vecteurs Supports (linéaire et sans variables ressorts)
    1. Le principe : http://en.wikipedia.org/wiki/Support_vector_machine
    2. L'algorithme : libSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
    3. Donnees: probleme URL sur la page http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
  4. Projet 4 : Recursive Feature Elimination
    1. Donnees: ARCENE, http://www.nipsfsc.ecs.soton.ac.uk/datasets/
    2. Ajouter des features aleatoires
    3. Prendre des sous-ensembles de donnees de petite taille
    4. Sur chaque sous-ensemble, apprendre une hypothèse linéaire
    5. Définir l'importance d'un feature en fonction de son poids dans les différentes hypothèses linéaires
    6. Ordonner les features selon ce score d'importance
    7. Voir le nombre de features plus importantes que les features aléatoires.
  5. Projet 5 : Adaboost
    1. Données MNIST, classes 4 et 9
    2. Principe : http://en.wikipedia.org/wiki/AdaBoost
    3. Espace des hypotheses: choix d'un pixel; apprendre la valeur v telle que l'hypothese pixel > v est le meilleur classifieur (au sens de la distribution courante) utilisant ce pixel.
  6. Projet 6 : Résolution de "packing problems" (voir http://www.packomania.com/ ) (A. Auger)
    1. Considérer le problème d'empilements de cercles de rayons identiques dans un carré
    2. Formuler le problème sous forme d'un problème d'optimisation
    3. Utiliser l'algorithme CMA-ES pour résoudre le problème (on récupérera le code ici: http://www.lri.fr/~hansen/cmaes_inmatlab.html )
    4. On pourra traiter les contraintes par méthode de pénalisation
    5. Comparer les résultats obtenus aux meilleures solutions connues (http://www.packomania.com/ )
  7. Projet 7: Méthode de quasi-Newton (BFGS) et (1+1)-ES avec règle des 1/5 (A. Auger)
    1. L'objectif de ce projet est de comparer la méthode de quasi-Newton BFGS, l'algorithme stochastique (1+1)-ES avec règle des 1/5 pour l'optimisation de fonctions (1) convexes régulières, (2) bruitées et (3) non-convexes (voir le descriptif détaillé du projet)
  8. Projet 8 : Deviner la langue d'un fragment de texte (Allauzen + Yvon)
    1. Principe: "Naive bayes" avec des modèles de Markov de lettres
    2. Données: dictionnaires, pages web, etc (mailto:yvon@limsi.fr)
  9. Projet 9: les HMMs en MatLab (pour deux personnes) (Allauzen + Yvon)
    1. programmer la résolution des 4 algorithmes de base
    2. application à l'étiquetage de de séquences supervisé et semi-supervisé
  10. Projet 10: apprendre des HMM par échantillonnage de Gibbs (Allauzen + Yvon)
    1. application à l'étiquetage de de séquences non-supervisé et/ou semi-supervisé
    2. Données: étiquetage en entité nommées (mailto:yvon@limsi.fr)
  11. Projet 11: Les dépendances dans les séquences (Allauzen + Yvon)
    1. Principe: comparer trois approches pour faire de la classification supervisée
      1. pas de prise en compte des dépendances
      2. stacking
      3. HMM
    2. Données: prononciation automatique (mailto:yvon@limsi.fr)
  12. Projet 12: Mélange de multinomiale, extension bilingues (Allauzen + Yvon)
    1. Principe: étendre le mélange de multinomiale pour des données bilingues alignées
    2. Données: extrait des débat du parlement européen (par exemple)
  13. Projet 13: génératif ou discriminant ? (Allauzen + Yvon)
    1. Principe: implémenter l'apprentissage et l'inférence pour un classifieur Maxent multiclasse
    2. Comparer avec un classifieur Naive Bayes
    3. Données: filtrage de spam, analyse de critiques de films etc.



TP

  1. Matlab/Octave (introduction à Octave)
  2. Perceptron

  1. Licence Cachan 2012

2010 - 2011

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation

Courses

  1. Introduction: slides
  2. Bayes: slides
  3. Neurons: slides
  4. Non supervisé: slides
  5. Neurones, suite slides + representation: slides
  6. Markov: slides
  7. Markov suite + regression logistique slides
  8. Optimisation: slides (21 premiers slides traités en cours).

TP

  1. Matlab/Octave (introduction à Octave)
  2. multinomiales
  3. mélanges de multinomiales
  4. Markov
  5. regression logistique
  6. TP optimisation

Apprentissage Statistique et Optimisation, Statistical Learning and Optimisation, & Applications

Courses

  1. 1er cours, slides
  2. Intro to classification + boosting
  3. Support vector machines
  4. Bayesian estimation, Gaussian processes, Monte-Carlo Markov chains
  5. Apprentissage par renforcement (cours 7 et 8).

Annonces internes de stages


Annonces externes de stages


2009-2010


2011 Master

Module Apprentissage, Optimisation et Applications


2008-2009




Historique

Avancé
Information Version
lun. 14 de Nov, 2011 00h18 sebag from 79.88.38.64 80
Afficher
mer. 09 de Nov, 2011 10h28 auger from 81.56.19.67 79
Afficher
mar. 08 de Nov, 2011 22h30 auger from 81.56.19.67 78
Afficher
mar. 08 de Nov, 2011 22h25 fyaa from 82.225.68.200 77
Afficher
mar. 08 de Nov, 2011 22h25 fyaa from 82.225.68.200 76
Afficher
mar. 08 de Nov, 2011 22h23 fyaa from 82.225.68.200 Ajout de projets concernant les modèles probabilistes 75
Afficher
mar. 08 de Nov, 2011 22h21 fyaa from 82.225.68.200 74
Afficher
mar. 08 de Nov, 2011 22h10 fyaa from 82.225.68.200 73
Afficher
mar. 08 de Nov, 2011 17h37 auger from 81.56.19.67 72
Afficher
mar. 08 de Nov, 2011 17h34 auger from 81.56.19.67 71
Afficher