Pointeurs

1. Vidéos des cours de Hugo Larochelle, accessibles ici. Voir également les informations détaillées plus bas.
2. Voir également les cours de Yann Le Cun au Collège de France

Last news from NIPS/ICML 15-16-

• Unsupervised domain adaptation by backpropagation
  • Jonathan CROUZET, Kévin PASINI et Matthieu RÉ
• Generative Adversarial Networks
  • Ngo Ho Anh Khoa

• Gated Word-Character Recurrent Language Model
  • Xiaoxiao CHEN, Yuxiang WANG, Dong FEI, Honglin LI
• Neural Machine Translation by Jointly Learning to Align and Translate
  • Yaohui WANG, Xiyu ZHANG, Herilalaina Rakotoarison et Forcefidele Kien

• Spatial Transformer Networks, Max Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu
  • Florence Carton, Alvaro Correia, Gabriel Quéré, Antonin Raffin
• Learning Deep Structured Models, Liang-Chieh Chen, Alexander Schwing, Alan Yuille, Raquel Urtasun
  • VU Trong Bach

• An empirical investigation of catastrophic forgetting in gradient based NN
  • Nawel Medjkoune, Fella Belkham, Mihaela Sorostinean
• Scalable Bayesian Optimization Using Deep Neural Networks, Jasper Snoek, Oren Rippel, Kevin Swersky, Ryan Kiros, Nadathur Satish, Narayanan Sundaram, Mostofa Patwary, Mr Prabhat, Ryan Adams
  • Laurent Cetinsoy

• A Clockwork RNN. Jan Koutník, Klaus Greff, Faustino J. Gomez, Jürgen Schmidhuber
• How Can Deep Rectifier Networks Achieve Linear Separability and Preserve Distances? Senjian An, Farid Boussaid, Mohammed Bennamoun
• Dual Learning for Machine Translation
• Auto-Encoding Variational Bayes
• Fast dropout training
• Deep Learning without Poor Local Minima, Kenji Kawaguchi;

Séance 1 (M. Sebag): 23/11

• NN_2016_Cours1.pdf

Séance 2 (30/11)

• Cours sur la back-propagation : cours_nnet_basics.pdf
• TP1 30/11 : tp1-deep.zip
• Solution TP1 : TP1 solution.ipynb - Remarque : "axis = 0" doit être ajouté dans le softmax !

Séance 3 (7/12)

• Cours sur la regularisation et le dropout en pdf

• TP2 : tp2-deep_NN.zip. À rendre pour le 16 décembre.

ERRATUM :
1. Initialiser W de façon aléatoire est plus efficace qu'avec np.ones (dans ce cas l’apprentissage semble saturer vers 64% d'accuracy)

2. La docstring de forward n'est pas correct il faut remplacer :
:return Y: a list of activation values (except for the last layer which is the pre-activation values Y[-1] = W[-1].dot(Y[-1])+B[-1])
:return Yp: a list of the derivatives w.r.t. the pre-activation of the activation values *except for the last layer*

3. Pour éviter des problèmes d'instabilité dans le calcul de la fonction sigmoïd, on peut ajouter :
z[z < -30.0] = -30.0
z[z > 30.0] = 30.0
avant le calcul de l'exponentielle.

Séance 4 (4/1)

• Cours Cours_Deep_4_jan_17.pdf
• Tutorial ICML 2012 Yoshua BengioBengio_icml12_tutorial.pdf
• TP3 : tp3.pdf

Séance 5 (11/1)

• Cours NN_2016_Cours3.pdf
• TP 4 : tp4.zip
• Domain Adaptation, Pascal Germain 2016-03-01PascalGermain.pdf

Séance 6 (18/1)

• TP : TP Keras.ipynb. Le TP est en Keras (https://keras.io/) qui est construit au dessus des librairies Theano ou Tensorflow. (Assurez vous d'avoir déjà installer Theano ou Tensorflow sur vos machine personnelle)

Séance 7 (25/1)

Cours sur les modèles de séquence en pdf

Idées de TP pour l'an prochain

http://spikefinder.codeneuro.org/