S'inscrire

Deep learning pour le traitement automatique des langues

RESPONSABLE

Alexandre ALLAUZEN

Maître de conférences

UPR 3251

LIEU

GIF-SUR-YVETTE (91)

ORGANISATION

3 jours
De 5 à 10 stagiaires
TP encadrés par 1 intervenant pour 5 stagiaires maximum

COÛT PÉDAGOGIQUE

1500 Euros

A L'ISSUE DE LA FORMATION

Evaluation de la formation par les stagiaires
Envoi d'une attestation de formation

DATE DU STAGE

19272 : du lundi 25/03/2019 au mercredi 27/03/2019

Janvier Février Mars
19272
Avril
Mai Juin Juillet Août
Sept. Oct. Nov. Déc.

OBJECTIFS

- Connaître la théorie et la pratique des réseaux profonds (Deep learning) appliqués au traitement automatique des langues
- Maîtriser les enjeux à la fois théoriques et opérationnels afin de comprendre le potentiel des réseaux de neurones profonds ainsi que leurs limites dans le cadre du traitement automatique des langues
- Savoir mettre en œuvre des modèles récents avec la bibliothèque Keras

PUBLIC

Docteurs, ingénieurs ou titulaires d'un master travaillant dans la recherche et/ou le développement

PRÉREQUIS

- Connaissances de base en apprentissage automatique, probabilités, statistiques et réseaux de neurones (réseaux feed-forward simple et back-propagation du gradient)
- Connaissances de Python

PROGRAMME

Ces dernières décennies, les réseaux de neurones artificiels et plus généralement le deep learning ont renouvelé les perspectives de recherche en traitement automatique des langues (TAL). La plupart des applications en TAL nécessitent de modéliser des données structurées qui se caractérisent par des distributions particulières, parcimonieuses et avec des espaces de réalisations de grande dimension. Dans ce contexte, les réseaux de neurones ont permis des avancées importantes en introduisant la notion de représentations continues pour le TAL et ce pour de nombreuses tâches comme par exemple l'analyse syntaxique, la classification de documents, la reconnaissance automatique de la parole et la traduction automatique. Ces progrès se sont amplifiés dès lors que les modèles neuronaux ont dépassé le cadre de l'apprentissage de représentation pour évoluer vers des architectures de plus en plus profondes, permettant de modéliser de bout en bout des tâches d'inférence complexes.

- Rapide survol des architectures feed-forward permettant de poser les notations (inférence et apprentissage, fonctions d'activation, optimisation, épuisement du gradient, régularisation)
- Modélisation de séquences avec des réseaux de neurones (modèles n-grammes, modèles récurrents, modèles convolutionnels)
- Architectures logicielles pour l'apprentissage profond : graphe de calcul, compilation et dérivation formelle
- Modèles à grand vocabulaire : hiérarchies et unités sous-lexicales
- Exemples d'applications : étiquetage de séquences, traduction automatique
- Apprentissage avancé : recherche en faisceau, les auto-encodeurs variationnels, les réseaux "adversariaux" génératifs
La mise en œuvre des méthodes se fera à l'aide de la bibliothèque Keras avec comme application les modèles de langues et l'étiquetage de séquences.

Alternance de cours (9 h) et de travaux pratiques (9 h)

EQUIPEMENT

Il est demandé aux stagiaires de venir avec leur propre ordinateur sur lequel les logiciels et outils (libres) nécessaires à la formation (communiqués avant le début du stage) seront préalablement installés.

Choisir une formation

Choisir un autre domaine

+ d'infos