Préalable obligatoire

1. Voir les vidéos des cours de Hugo Larochelle, accessibles ici. Voir également les informations détaillées plus bas.
2. Voir également les cours de Yann Le Cun au Collège de France

Séances 1 (A. Allauzen): 27/11

Au programme les bases:

1. le neurone
2. l'architecture feedforward
3. l'apprentissage (début)

Les vidéos à voir avant le cours sont : les vidéos numérotées de 1.1 à 2.3. Le travail à faire pour le 27/11/15 est donc d'avoir suivi ces cours: regarder et prendre des notes comme pour un cours "habituel". La séance du 27/11 partira du principe que ces vidéos ont été visionnées et sera dédiée à vos questions et à des exercices.

Séances 2 et 3 (A. Allauzen)

Pour le second cours, il vous est demandé de suivre AVANT la séance du vendredi 04/12/15 les vidéos numérotées de 2.4 à 2.11. Le travail à faire est donc d'avoir suivi ces cours: regarder et prendre des notes comme pour un cours "habituel". La séance du 04/12 partira du principe que ces vidéos ont été visionnées et sera dédiée à vos questions et à des exercices.

La fiche d'exercice est disponible ici.
Le tp2 est disponible: ici.
Les slides aussi.

Séance 4 (Michele Sebag), 18 decembre

1. Convolution
2. Naissance du deep
3. Slides all.pdf
   1. Additional slides Bengio_nips06.pdf
      Bengio_nips06.pdf

TP:

tp3.zip

1. suite de la backprop
2. expérimentation de différentes fonctions d'activation
3. observation de l'overfitting

Rapport de TP (à rendre le 8 janvier)

1. Compte-rendu d'expérience
   1. Sensibilité hyper-paramètres (nombre de couches cachées, nombre de neurones par couche; fonction d'activation)I

Informations pour le projet final

projet_final.zip

1. Les questions seront sur l'environnement NN développé pour ImageNet
   1. Le charger
   2. Identifiez l'image inverse (= qui excite maximalement) d'un neurone ; ou bien
   3. Proposez un usage du réseau pré-entrainé (nouveau, amusant, original...)

Séance 5 (Alex Allauzen), 8 janvier

1. Initialisation
2. Optimisation
3. Regularisation
4. Drop-out
5. Fonction d'activation

Les slides en pdf.

TP:

1. régularisation L1, L2
2. drop-out

tp4

Séance 6 (Yann Ollivier), 15 janvier

1. Récurrent
2. Back-propagation through time

TP:

1. Récurrent

tp5

Séance 7 (Michele Sebag), 22 janvier

1. Applications
   1. Modèles continus du langage
   2. Domaine adaptation
   3. Modèles génératifs et morphing
2. Cours_Deep_22_jan.pdf

TP

1. Usage du réseau ImageNet
2. TBC