Collecte de données pour PAGODA

Ce projet OR vise à équiper la plateforme PAGODA du LIRIS d’un système de collecte automatisé de données techniques lors du déroulement d’expériences numériques. Plus précisément, on souhaite pouvoir récupérer automatiquement le maximum d’informations techniques lors de l’exécution de workflows de calcul, comme l’identifiant de l’image docker utilisée, les différents volumes utilisés en entrée et en sortie des différentes tâches ou encore où trouver les logs des différentes tâches.

Pour cela, il faut instrumenter l’orchestrateur Kubernetes utilisé par la plateforme afin d’en extraire les données pertinentes et de sauvegarder ces données en base. On essaiera d’avoir une implémentation générique afin de facilement pouvoir ajouter de nouvelles catégories de données au système de collecte.

Technologies utilisées:

• Go et Gin-Gonic pour la partie client/serveur
• postgresql et jena pour la base de données
• Kubernetes (orchestrateur de conteneurs utilisé par PAGODA)