Outils de la page

Piste:

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
enseignement:tp:bda:projet:2016 [2017/01/09 09:09]
ecoquery [Sandbox HortonWorks] 		enseignement:tp:bda:projet:2016 [2017/01/09 12:47] (Version actuelle)
ecoquery [Kafka]
Ligne 22: Ligne 22:
     * Renvoyer un message d'alerte, via Kafka     * Renvoyer un message d'alerte, via Kafka
   * Archiver les messages d'alerte dans HDFS/Hive    * Archiver les messages d'alerte dans HDFS/Hive 
-  * Afficher un graphique de taux d'occupation pour une station donnée via Zeppelin+  * Afficher un graphique de taux d'occupation pour une station donnée via Zeppelin (notebook Web permettant de produire des graphiques) 
 + 
 +Il est demandé de produire un rapport par binôme explicitant la mise en place des différents éléments de gestion des données demandés. 
  
 ===== Sandbox HortonWorks ===== ===== Sandbox HortonWorks =====
  
 Pour travailler confortablement, il est conseillé de rediriger un certain nombre de ports lors la connexion ssh sur la machine openstack. [[https://liris.cnrs.fr/~ecoquery/files/ssh-forward.sh|Ce script shell]] permet cette redirection. Pour travailler confortablement, il est conseillé de rediriger un certain nombre de ports lors la connexion ssh sur la machine openstack. [[https://liris.cnrs.fr/~ecoquery/files/ssh-forward.sh|Ce script shell]] permet cette redirection.
 +
 +<code sh>
 +ssh-add pedabdcloud
 +bash ssh-forward 192.168.73.xxx # remplacer xxx par la bonne fin d'IP
 +</code>
  
 Une fois sur la machine openstack, le script ''start_sandbox.sh'' permet de démarrer le conteneur docker sandbox HortonWorks.  Une fois sur la machine openstack, le script ''start_sandbox.sh'' permet de démarrer le conteneur docker sandbox HortonWorks. 
Ligne 51: Ligne 58:
   * Le répertoire bin de kafka est ''/usr/hdp/2.5.0.0-1245/kafka/bin''   * Le répertoire bin de kafka est ''/usr/hdp/2.5.0.0-1245/kafka/bin''
   * Kafka est à démarrer via Ambari (il faut sauter les 2 premières étapes du tutoriel)   * Kafka est à démarrer via Ambari (il faut sauter les 2 premières étapes du tutoriel)
 +  * L'url du broker kafka est  <del>''localhost:6662''</del> ''sandbox.hortonworks.com:6667''
  
 Pour écrire dans le HDFS depuis Kafka, il est conseillé d'utiliser le [[http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html|connecteur HDFS]]. A défaut, on pourra utiliser [[https://flume.apache.org/|Apache Flume]], mais ce dernier peut poser des problèmes de performances. Pour écrire dans le HDFS depuis Kafka, il est conseillé d'utiliser le [[http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html|connecteur HDFS]]. A défaut, on pourra utiliser [[https://flume.apache.org/|Apache Flume]], mais ce dernier peut poser des problèmes de performances.
  
  
CC Attribution-Noncommercial-Share Alike 3.0 Unported Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
enseignement/tp/bda/projet/2016.1483949365.txt.gz · Dernière modification: 2017/01/09 09:09 de ecoquery Haut de page