Toutes nos formations sont désormais disponibles en "Live Virtual classes". Contactez-nous pour plus d’informations : formation@oxiane.luToutes nos formations sont désormais disponibles en "Live Virtual classes". Contactez-nous pour plus d’informations : formation@oxiane.lu

Hadoop : stockage avec HBase

Accueil » Formations » Data » Hadoop : stockage avec HBase
1225 € HT 2 jours DB-HDS

Programme

Introduction

  • Rappels rapides sur l’ecosystème Hadoop
  • Les fonctionnalités du framework Hadoop
    Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
    Présentation HBase
  • Historique
  • Lien avec HDFS
  • Format des données dans HBase
    Définitions : table, région, ligne, famille de colonnes,cellules, espace de nommage, …
    Fonctionnalités : failover automatique, sharding, interface avec des jobs MapReduce

Architecture

  • HBase master node, Region Master, liens avec les clients HBase
  • Présentation du rôle de Zookeeper

Installation

  • Choix des packages
  • Installation et configuration dans le fichier conf/hbase-site.xml
  • Installation en mode distribué
  • Test de connexion avec hbase shell

Travaux pratiques : Interrogations depuis le serveur http intégré

HBase utilisation : shell

  • Présentation des différentes interfaces disponibles

Travaux pratiques avec hbase shell

  • Commandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
    désactiver une table ou l’effacer : disable (enable), drop, …
  • Programmation de scripts
  • Gestion des tables : principe des filtres
  • Mise en œuvre de filtres de recherche, paramètres des tables
  • Présentation des espaces de nommage

Cluster HBase

  • Fonctionnement en mode distribué
  • Première étape : fonctionnement indépendant des démons (HMaster, HRegionServer, Zookeeper)
  • Passage au mode distribué : mise en oeuvre avec HDFS dans un environnement distribué

Travaux pratiques : sur un exemple de tables réparties : mise en œuvre des splits

Programmation

  • Introduction, les APIs (REST, Avro, Thrift, Java, Ruby, Spark…)
  • Principe des accès JMX
  • Démonstration avec Prométheus
  • Exemple de programmation d’un client Java
  • Gestion des tables
  • Lien avec map/reduce

Travaux pratiques : lancement et écriture de programmes Spark

This site is registered on wpml.org as a development site.