Outils de la page

Piste:

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
enseignement:tp:bda:projet:2016 [2017/01/09 09:15]
ecoquery 		enseignement:tp:bda:projet:2016 [2017/01/09 12:47] (Version actuelle)
ecoquery [Kafka]
Ligne 29: Ligne 29:
  
 Pour travailler confortablement, il est conseillé de rediriger un certain nombre de ports lors la connexion ssh sur la machine openstack. [[https://liris.cnrs.fr/~ecoquery/files/ssh-forward.sh|Ce script shell]] permet cette redirection. Pour travailler confortablement, il est conseillé de rediriger un certain nombre de ports lors la connexion ssh sur la machine openstack. [[https://liris.cnrs.fr/~ecoquery/files/ssh-forward.sh|Ce script shell]] permet cette redirection.
 +
 +<code sh>
 +ssh-add pedabdcloud
 +bash ssh-forward 192.168.73.xxx # remplacer xxx par la bonne fin d'IP
 +</code>
  
 Une fois sur la machine openstack, le script ''start_sandbox.sh'' permet de démarrer le conteneur docker sandbox HortonWorks.  Une fois sur la machine openstack, le script ''start_sandbox.sh'' permet de démarrer le conteneur docker sandbox HortonWorks. 
Ligne 53: Ligne 58:
   * Le répertoire bin de kafka est ''/usr/hdp/2.5.0.0-1245/kafka/bin''   * Le répertoire bin de kafka est ''/usr/hdp/2.5.0.0-1245/kafka/bin''
   * Kafka est à démarrer via Ambari (il faut sauter les 2 premières étapes du tutoriel)   * Kafka est à démarrer via Ambari (il faut sauter les 2 premières étapes du tutoriel)
 +  * L'url du broker kafka est  <del>''localhost:6662''</del> ''sandbox.hortonworks.com:6667''
  
 Pour écrire dans le HDFS depuis Kafka, il est conseillé d'utiliser le [[http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html|connecteur HDFS]]. A défaut, on pourra utiliser [[https://flume.apache.org/|Apache Flume]], mais ce dernier peut poser des problèmes de performances. Pour écrire dans le HDFS depuis Kafka, il est conseillé d'utiliser le [[http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html|connecteur HDFS]]. A défaut, on pourra utiliser [[https://flume.apache.org/|Apache Flume]], mais ce dernier peut poser des problèmes de performances.
  
  
CC Attribution-Noncommercial-Share Alike 3.0 Unported Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
enseignement/tp/bda/projet/2016.1483949731.txt.gz · Dernière modification: 2017/01/09 09:15 de ecoquery Haut de page