Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
enseignement:tp:edo:replicationsharding:2015 [2016/02/08 08:44] ecoquery [Informations techniques] |
enseignement:tp:edo:replicationsharding:2015 [2016/02/10 11:03] ecoquery [Informations techniques] |
* Une description technique de la mise en place du cluster mongo et de la procédure de chargement des données. | * Une description technique de la mise en place du cluster mongo et de la procédure de chargement des données. |
* Un argumentaire sur le(s) choix de l'architecture du cluster mongo, ansi que sur les choix de stockage (e.g. quels index ?). | * Un argumentaire sur le(s) choix de l'architecture du cluster mongo, ansi que sur les choix de stockage (e.g. quels index ?). |
* Une évaluation des performances, y compris concernant le chargement et, le cas échéant, comparant plusieurs manières d'exécuter les requêtes. | * Une évaluation des performances, y compris concernant le chargement et, le cas échéant, comparant plusieurs manières d'exécuter les requêtes. On essaiera également de comparer plusieurs configurations de distribution/réplication. |
* Une annexe contenant les scripts utilisés pour tous les traitements. | * Une annexe contenant les scripts utilisés pour tous les traitements. |
| |
<note important>L'espace disque des machines a été réduit à 10GB. Les données ne tiendront donc pas sur une seule machine.</note> | <note important>L'espace disque des machines a été réduit à 10GB. Les données ne tiendront donc pas sur une seule machine.</note> |
| |
<note tip>Il est conseillé de tester la réplication et la distribution des données sur un petit jeu de données (par exemple la collection zips du {{:enseignement:bdav:mif18-2015-mapreduce.pdf|TP introduction à MongoDB en M1}}).</note> | <note tip>Il est conseillé de tester la réplication et la distribution des données sur un petit jeu de données (par exemple la collection zips du {{:enseignement:bdav:mif18-tp-mapreduce-zips.pdf|TP introduction à MongoDB en M1}}).</note> |
| |
<note tip>Les temps de traitement peuvent être longs. | <note tip>Les temps de traitement peuvent être longs. |
| |
<note tip>Les données, comme les schémas, sont volumineux. Pensez à //scripter// vos traitements. Pensez également à la reprise d'un traitement après interruption sans avoir à tout recommencer.</note> | <note tip>Les données, comme les schémas, sont volumineux. Pensez à //scripter// vos traitements. Pensez également à la reprise d'un traitement après interruption sans avoir à tout recommencer.</note> |
| |
| <note warning>Le package d'installation de mongod démarre le serveur (avec la configuration par défaut). Pour l'arrêter (et démarrer les serveurs à la main), il faut arrêter le service correspondant:<code>sudo service mongod stop</code></note> |
| |
| <note important>Ajouter du swap à toutes les machines, cf https://www.digitalocean.com/community/tutorials/how-to-add-swap-on-ubuntu-12-04 |
| <code> |
| sudo dd if=/dev/zero of=/swapfile bs=1024 count=512k |
| sudo mkswap /swapfile |
| sudo swapon /swapfile |
| free -m |
| </code> |
| </note> |
| |
**Liens utiles** | **Liens utiles** |
| |
* [[https://docs.mongodb.org/manual/|Documentation MongoDB]], [[https://docs.mongodb.org/manual/core/replication-introduction/|réplication]], [[https://docs.mongodb.org/manual/core/sharding-introduction/|distribution]] | * [[https://docs.mongodb.org/manual/|Documentation MongoDB]], [[https://docs.mongodb.org/manual/core/replication-introduction/|réplication]], [[https://docs.mongodb.org/manual/core/sharding-introduction/|distribution]] |
* {{:enseignement:bdav:mif18-2015-mapreduce.pdf|TP introduction à MongoDB en M1}} | * {{:enseignement:bdav:mif18-tp-mapreduce-zips.pdf|TP introduction à MongoDB en M1}} |
| |