Tuesday, 12th of November

14h30 (room R2014, 660 building) (see location)

Jonathan Raiman

(OpenAI / TAU)

DeepType: résolution référentielle d’entités multilingues par l’évolution de systèmes de types neuronaux

L'arrivée massive de donnés structurées (ex: wikidata) et non structurées (réseaux sociaux, images, ou wikipedia) présente des opportunités considérables pour l'apprentissage de systèmes intelligents, mais demande un travail manuelle important pour modéliser et intégrer ces informations. DeepType est une méthode qui remplace le travail humain de selection et integration de connaissances structurées directement dans le raisonnement d'un réseau neuronal. Nous partons d'une tâche cible (ex: résolution référentielle d’entités dans des textes) et cherchons à obtenir un système de types qui simplifiera le travail. Nous posons ce problème sous forme d'une optimisation mélangeant des variables discrètes (quelles informations de notre base de données allons nous utiliser dans notre système de type) ainsi que des variables continue (prédire le type de chaque mot dans un texte avec un réseau neuronal). Pour résoudre ce problème nous allons premièrement nous servir d'une optimisation stochastique des variables discrètes en se servant d'heuristiques pour mesurer leur impact sur le système final. Une fois le système de type choisi, nous pouvons entrainer un réseau neuronal par l'algorithme du gradient stochastique.
Enfin nous mesurons la performance de DeepType sur la résolution référentielle d’entités sur 3 tests (WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) et trouvons que cette approche bat toutes les solutions existantes, ainsi que des solutions dépendant sur des systèmes de types choisi à la main.
Je vais aussi parler des difficultés d'apprentissage et d'inference de ce systèmes ainsi que d'une piste future se servant d'un objectif plus proche de la tâche cible.


All TAU seminars: here