Deep Learning optimisé sur supercalculateur Présentiel
Dernière mise à jour : 30/01/2026
Unité de recherche
Description
1er jour
- Présentation de la formation et du supercalculateur Jean Zay
- Les enjeux de la montée à l'échelle, l'accélération GPU et la précision mixte
- L'optimisation des formats de tenseur (Channels Last Memory Format)
- Profilage de code PyTorch
2ème jour
- Optimisation du prétraitement des données sur CPU (DataLoader)
- Entraînement distribué : notions générales et parallélisme de données
- Le stockage et le format des données d'entrée (webdataset)
3ème jour
- Compilation JIT et torchDynamo
- Entraînement Large Batches (Learning Rate Scheduler, optimiseurs Large Batches...)
- Les techniques d'optimisation de recherche des hyperparamètres
4ème jour
- Outils de visualisation des résultats
- Les techniques de Data Parallelism avancées (FSDP, ZeRO) pour les gros modèles
- Les parallélismes de modèle et les API pour les parallélismes de modèle
- Les bonnes pratiques
Objectifs de la formation
- Acquérir les principales techniques actuelles et en constante évolution, d'optimisation d'un apprentissage machine en Deep Learning avec pour but le passage à l'échelle sur un supercalculateur
- Connaître les problématiques d'accélération et de distribution sur plusieurs GPU, d'un point de vue système et algorithmique
Public visé
Personnes qui maîtrisent les fondamentaux du Deep Learning et qui souhaitent se former aux enjeux du passage à l'échelle. La formation est orientée sur le supercalculateur public Jean Zay hébergé à l'IDRIS. Mais les utilisateurs de tout autre supercalculateur institutionnel ou Cluster de calcul privé, trouveront une expertise adaptée à leur environnement.
Prérequis
Maîtriser Python et les notions de l'apprentissage en Deep Learning, et avoir des bases en Pytorch.
Modalités pédagogiques
Alternance de cours (15 h) et de travaux pratiques (13 h)
Moyens et supports pédagogiques
Les supports de cours sous format PDF seront remis aux participants.
ÉQUIPEMENT : Supercalculateur Jean Zay de l'IDRIS ; salle informatique avec mise à disposition d'un ordinateur par participant
Modalités d'évaluation et de suivi
Un suivi individualisé par des évaluations formatives est assuré. Une attestation de fin de formation est délivrée à la fin du parcours.
Formateurs
Informations sur l'admission
L'admission à cette formation ne fait l'objet d'aucun examen, test ou sélection préalable ; l'inscription est validée après réception du dossier complet et confirmation par l'organisme de formation.
Modalités tarifaires spécifiques
Nos formations sont exonérées de TVA. Elles bénéficient de remises volumes : - 5% pour 3-4 inscrits, - 10% pour 5-6 inscrits, et - 20% à partir de 7 personnes. Une réduction de 20% est appliquée pour les agents salariés du CNRS.
Informations sur l'accessibilité
Notre organisme s'engage à garantir l'accessibilité de ses formations à distance et en présentiel aux personnes en situation de handicap. Un référent handicap est mobilisable afin d'analyser les besoins spécifiques et de mettre en place, lorsque cela est possible, les adaptations pédagogiques, techniques ou organisationnelles nécessaires.