Outils de la page

Piste:

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Prochaine révision 		Révision précédente
enseignement:tp:edo:replicationsharding:2015 [2016/02/08 08:29]
ecoquery créée 		enseignement:tp:edo:replicationsharding:2015 [2016/02/10 11:03] (Version actuelle)
ecoquery [Informations techniques]
Ligne 34: Ligne 34:
   * Une description technique de la mise en place du cluster mongo et de la procédure de chargement des données.   * Une description technique de la mise en place du cluster mongo et de la procédure de chargement des données.
   * Un argumentaire sur le(s) choix de l'architecture du cluster mongo, ansi que sur les choix de stockage (e.g. quels index ?).   * Un argumentaire sur le(s) choix de l'architecture du cluster mongo, ansi que sur les choix de stockage (e.g. quels index ?).
-  * Une évaluation des performances, y compris concernant le chargement et, le cas échéant, comparant plusieurs manières d'exécuter les requêtes.+  * Une évaluation des performances, y compris concernant le chargement et, le cas échéant, comparant plusieurs manières d'exécuter les requêtes. On essaiera également de comparer plusieurs configurations de distribution/réplication.
   * Une annexe contenant les scripts utilisés pour tous les traitements.   * Une annexe contenant les scripts utilisés pour tous les traitements.
  
Ligne 42: Ligne 42:
  
 Les données à charger se situent sur la machine ''ps-data'' (IP ''192.168.77.32''), login ''data'', répertoire ''/data''.  Les données à charger se situent sur la machine ''ps-data'' (IP ''192.168.77.32''), login ''data'', répertoire ''/data''. 
 +
 Vous disposerez dans [[http://tomusss.univ-lyon1.fr|tomuss]] des adresses IP de 7 machines ubuntu avec MongoDB 3.2.1 installé avec une configuration par défaut. Vous disposerez dans [[http://tomusss.univ-lyon1.fr|tomuss]] des adresses IP de 7 machines ubuntu avec MongoDB 3.2.1 installé avec une configuration par défaut.
 +
 +Les ports suivants sont accessibles aux autres machines: 27017,27018,27019,37017,37018,37019. Les 3 premiers sont standards pour mongo, les 3 autres peuvent être utiles pour démarrer plusieurs services mongo sur une même machine.
 +
 Les clés SSH sont les mêmes que celles des TP de TI3-Administration des BD. Les clés SSH sont les mêmes que celles des TP de TI3-Administration des BD.
 +
  
 <note important>L'espace disque des machines a été réduit à 10GB. Les données ne tiendront donc pas sur une seule machine.</note> <note important>L'espace disque des machines a été réduit à 10GB. Les données ne tiendront donc pas sur une seule machine.</note>
 +
 +<note tip>Il est conseillé de tester la réplication et la distribution des données sur un petit jeu de données (par exemple la collection zips du {{:enseignement:bdav:mif18-tp-mapreduce-zips.pdf|TP introduction à MongoDB en M1}}).</note>
  
 <note tip>Les temps de traitement peuvent être longs.  <note tip>Les temps de traitement peuvent être longs. 
Ligne 51: Ligne 58:
  
 <note tip>Les données, comme les schémas, sont volumineux. Pensez à //scripter// vos traitements. Pensez également à la reprise d'un traitement après interruption sans avoir à tout recommencer.</note> <note tip>Les données, comme les schémas, sont volumineux. Pensez à //scripter// vos traitements. Pensez également à la reprise d'un traitement après interruption sans avoir à tout recommencer.</note>
 +
 +<note warning>Le package d'installation de mongod démarre le serveur (avec la configuration par défaut). Pour l'arrêter (et démarrer les serveurs à la main), il faut arrêter le service correspondant:<code>sudo service mongod stop</code></note>
 +
 +<note important>Ajouter du swap à toutes les machines, cf https://www.digitalocean.com/community/tutorials/how-to-add-swap-on-ubuntu-12-04
 +<code>
 +sudo dd if=/dev/zero of=/swapfile bs=1024 count=512k
 +sudo mkswap /swapfile
 +sudo swapon /swapfile
 +free -m
 +</code>
 +</note>
  
 **Liens utiles** **Liens utiles**
  
   * [[https://docs.mongodb.org/manual/|Documentation MongoDB]], [[https://docs.mongodb.org/manual/core/replication-introduction/|réplication]], [[https://docs.mongodb.org/manual/core/sharding-introduction/|distribution]]   * [[https://docs.mongodb.org/manual/|Documentation MongoDB]], [[https://docs.mongodb.org/manual/core/replication-introduction/|réplication]], [[https://docs.mongodb.org/manual/core/sharding-introduction/|distribution]]
-  * {{:enseignement:bdav:mif18-2015-mapreduce.pdf|TP introduction à MongoDB en M1}}+  * {{:enseignement:bdav:mif18-tp-mapreduce-zips.pdf|TP introduction à MongoDB en M1}}
  
CC Attribution-Noncommercial-Share Alike 3.0 Unported Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
enseignement/tp/edo/replicationsharding/2015.1454916568.txt.gz · Dernière modification: 2016/02/08 08:29 de ecoquery Haut de page