HADOOP

De Wiki de Calcul Québec
Aller à : Navigation, rechercher
Autres langues :anglais 100% • ‎français 100%

Note : Cette documentation a été testée sur Briarée. Certaines instructions pourraient être différentes sur d'autres serveurs.

Description

HADOOP est un outil développé pour rendre plus facile les calculs qui suivent le modèle de "map/reduce". C'est un outil provenant d'Apache et qui est écrit en Java.

Il s'agit d'un code ouvert (open source).

Particularités

HADOOP a quelques particularités qu'il faut bien comprendre pour en faire une utilisation optimale sur une grappe de calcul et ne pas nuire à la stabilité du système. Sur Briarée, on a configuré HADOOP avec le $SCRATCH utilisé comme un espace global et partagé, alors que dans un usage plus "classique" de HADOOP chaque nœud a son propre espace distinct, comme si on utilisait les disques locales des nœuds de calcul. Cela implique que votre tâche HADOOP sera une charge supplémentaire pour le système de fichiers partagé $SCRATCH et donc vous devrez vous assurer que les opérations d'entrée et de sortie effectuées par HADOOP restent raisonnables pour ne pas gêner les autres usagers du système.


Un script de soumission pour lancer une tâche HADOOP sur Briarée suit :

Fichier : hadoop_briaree.pbs
#!/bin/bash
#PBS -N hadoop
#PBS -o hadoop.txt
#PBS -j oe
#PBS -l nodes=2:ppn=12
#PBS -l walltime=12:00:00
 
module load hadoop/2.3.0
 
source /home/apps/Logiciels/hadoop/hadoop-2.3.0/bin/briaree-hadoop.sh
setup_hadoop
 
export JAR_FILE=${HADOOP_ROOT}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar
 
hadoop --config ${SCRATCH}/${PBS_JOBID} jar ${JAR_FILE} randomwriter ${SCRATCH}/hadoop_out


Cet exemple suppose que vous voulez utiliser l'exemple randomwriter qui est contenu dans l'archive JAR qui est distribué avec HADOOP. Dans ce cas, les données de sortie de HADOOP seront écrites dans le répertoire hadoop_out de votre $SCRATCH alors que celles de la tâche elle-même se trouveront dans le fichier hadoop.txt.

Outils personnels
Espaces de noms

Variantes
Actions
Navigation
Ressources de Calcul Québec
Outils
Partager