S'inscrire

Programmation MapReduce sur un cluster Hadoop

Environnement scientifique et technique de la formation

Institut de recherche en informatique de Toulouse - UMR 5505

RESPONSABLE

Max CHEVALIER

Professeur

UMR 5505

LIEU

TOULOUSE (31)

ORGANISATION

2 jours
De 4 à 10 stagiaires
TP en sous-groupes de 4 stagiaires maximum avec un intervenant par sous-goupe

COÛT PÉDAGOGIQUE

900 Euros

A L'ISSUE DE LA FORMATION

Evaluation de la formation par les stagiaires
Envoi d'une attestation de formation

DATE DU STAGE

17016 : Nous consulter

Janvier Février Mars Avril
Mai Juin Juillet Août
Sept. Oct. Nov. Déc.

OBJECTIFS

- Connaître les concepts de la distribution des traitements et des données en clusters
- Connaître le paradigme de programmation distribuée MapReduce
- Savoir décomposer un traitement de données en environnement massivement distribué
- Connaître les différentes étapes des traitements distribués sous Hadoop
- Connaître le système de fichiers distribués HDFS (Hadoop Distributed File System)
- Savoir administrer un petit cluster Hadoop
- Savoir mettre en pratique ces outils sur des cas d'études en Java (open data de la météorologie, fichiers log de connexion des sites web, etc.)

PUBLIC

Personnes souhaitant connaître, comprendre, et mettre en pratique les principales notions du traitement parallèle des données : ingénieurs informatiques et développeurs ne connaissant pas Hadoop / MapReduce

PRÉREQUIS

Notions élémentaires de systèmes informatiques (OS, systèmes de fichiers), connaissances des commandes élémentaires de gestion de fichiers du système Unix, bonne connaissance de la programmation Java

PROGRAMME

- Principes généraux (1/2 jour)
. panorama des technologies de gestion et de traitement des mégadonnées (Big Data)
. traitements distribués avec MapReduce

- Déploiement de cluster Hadoop (1/2 jour)
. architecture à base de NameNode et DataNode
. principes de fonctionnement
. TP d'application avec montage partiel d'un cluster Hadoop (4 machines virtualisées)

- Développements MapReduce (1 jour)
. exemple guidé de traitements MapReduce. Etude de cas avec mise en place d'un traitement MapReduce
. TP d'applications réelles avec Hadoop en langage Java

- Echange entre les participants et les intervenants sur les problématiques personnelles des stagiaires

Alternance de cours (50 %), d'études de cas et de travaux pratiques (50 %)

INTERVENANTS

J. Mothe, M. Chevalier et O. Teste (professeurs, IRIT)

Choisir une formation

Choisir un autre domaine

Contactez-nous
par téléphone
01 69 82 44 55
ou par
+ d'infos