Nos tutelles

Nos partenaires

annuaire

aigle

Rechercher




Accueil > Support > Le service informatique > Grille de calcul NGI-FRANCE

Un prix « France-Grilles » pour le LUPM

publié le , mis à jour le

Lors des journées scientifiques mésocentres et France Grilles, les ingénieurs du service informatique du LUPM, Luisa Arrabito et Nicolas Clémentin, ont obtenu le « prix poster » en tant que co-auteurs du poster « Instance nationale et multi-communautés de DIRAC ».

Cette contribution décrit une implémentation mutualisée et de portée nationale du framework [architecture logicielle] DIRAC, dans le cadre du projet France-Grilles-DIRAC.

L’objectif du projet étant de mettre à disposition des communautés d’utilisateurs un service permettant d’accéder à des ressources de calcul distribuées de façon optimisée, transparente et fiable.

L’instance nationale FG-DIRAC est en production depuis mai 2012 et elle a atteint le nombre de 1 million de tâches exécutées en moins de 3 mois. Parmi les 13 communautés supportées, appelées Organisations Virtuelles (VO), figurent en particulier l’Organisation Virtuelle dédiée à l’expérience Fermi, la VO des astrophysiciens (astro.vo.eu-egee.org) et la VO du LUPM (vo.msfg.fr).

Le poster est téléchargeable ici (format PDF)

Instance nationale et multi-communauté de DIRAC pour France Grilles

Extraits de l’article publié à : http://mesogrilles2012.sciencesconf...

Rédacteurs : Luisa Arrabito, David Bouvet, Yonny Cardenas, Nicolas Clémentin, Hélène Cordier, Sophie Gallina, Jacques Garnier, Pierre Gay, Tristan Glatard, Vanessa Hamar, Gilles Mathieu, Sorina Camarasu-Pop, Matvey Sapunov, Rafael Ferreira da Silva, Andrei Tsaregorodtsev.

Enjeux scientifiques et opérationnels

L’une des missions principales de France Grilles est de faciliter l’accès aux ressources à ses communautés d’utilisateurs, en favorisant l’utilisation de services répondant à ce besoin et en participant à leur mise en place. Pour certains outils déjà largement utilisés, France Grilles peut jouer un rôle fédérateur : c’est le cas pour le service DIRAC [DIRAC] [TSA-08].

DIRAC est une solution complète permettant à une communauté d’utilisateurs d’accéder à des ressources distribuées de façon optimisée, transparente et fiable. Issu de la communauté de la physique des hautes énergies (HEP), cet outil s’adresse néanmoins aux utilisateurs de toutes les disciplines scientifiques. Le gain apporté par l’utilisation sur des grandes VOs de systèmes par tâches pilotes tel que DIRAC par rapport aux mécanismes de soumission classique tel que gLite WMS a été montré à maintes reprises, par exemple dans [MOS-11].

Les ressources accessibles via DIRAC ne sont pas limitées à un intergiciel particulier : en plus de gLite [GLITE], des ressources disponibles via ARC [ARC] ou UNICORE [UNI] seront à terme accessibles. DIRAC est aussi conçu pour pouvoir accéder à des ressources non grilles, comme des grappes locales (cela a été par exemple fait pour le KEK computing center au Japon ou le IHEP computing center en Chine) ou des ressources Cloud, notamment celles disponibles sur le cloud académique de France-Grilles : les problèmes spécifiques de réservation des ressources de type cloud en fonction de disponibilité de travaux des utilisateurs sont adressés par l’ordonnanceur des machines virtuelles de DIRAC [GRA-11] [MEN-
12]. Ce composant permet d’inclure différents types de clouds de façon transparente dans l’ensemble des éléments de
calcul gérés par DIRAC.

Comme évoqué précédemment, DIRAC est déjà largement utilisé par différents partenaires de France Grilles, dans différents contextes. Les cas exposés ci-dessous présentent des exemples de cette utilisation, ainsi que de l’intérêt de l’outil.

Le Laboratoire Univers et Particules de Montpellier (LUPM) est impliqué d’une part dans le soutien aux expériences d’astroparticules représentées au laboratoire et d’autre part dans l’administration du site grille MSFG-OPEN. En particulier, les expériences CTA (Cherenkov Telescope Array) [ACT-11] et Fermi [ATW-09] ont des besoins de calcul importants dans le cadre des simulations Monte-Carlo, ayant pour objectif de déterminer les performances des expériences en fonction des conditions expérimentales. Dans ce contexte, il s’est avéré nécessaire de disposer d’un service comme DIRAC permettant l’optimisation de l’utilisation des ressources, la gestion des campagnes de simulations et un accès aux ressources simplifié pour les utilisateurs finaux. L’évaluation de DIRAC a démarré en avril 2011 dans le cadre des simulations Monte-Carlo de CTA.

Une campagne de simulation consiste typiquement en 150 000 tâches produisant environ 200 TB. Les données produites sont mises à disposition des utilisateurs au travers des modules DIRAC intégrant les codes d’analyse de CTA.

Dans l’expérience Fermi un système de production (Pipeline) gère de manière centralisée le traitement de données réelles et les simulations Monte-Carlo. Ce système ayant été initialement conçu pour fonctionner sur des fermes de calcul dédiées au SLAC National Accelerator Laboratory (Stanford, Etats-Unis), il a été étendu et est opérationnel depuis quelques années sur la ferme du Centre de Calcul de l’IN2P3. Les besoins pressants de calcul liés au "reprocessing" de données ont poussé récemment la collaboration à explorer la possibilité d’étendre ce système à l’utilisation des grilles de calcul, et en particulier de EGI. Dans ce contexte, l’utilisation de DIRAC pour assurer l’optimisation de la production a été rapidement envisagée.
L’interfaçage des services DIRAC et le système initial de Pipeline est actuellement en cours, en particulier pour assurer le
transfert des données et de métadonnées permettant la mise à jour en temps réel des catalogues centralisés.

Les calculs des simulations Monte-Carlo seront ainsi très probablement transférés sur EGI, avec typiquement entre 4 et 5 productions par an, représentant un nombre total de quelques dizaines de milliers de tâches chacune.

Enfin le LUPM dispose également d’une Organisation Virtuelle (VO) locale, vo.msfg.fr. Elle est est destinée aux utilisateurs locaux de la grille, qu’ils soient nouveaux entrants ou utilisateurs n’appartenant à aucune VO officielle. Le fait de disposer d’une VO locale donne une
grande souplesse d’utilisation des infrastructures, car l’administrateur du site gère également la VO et peut ainsi faciliter l’accès aux ressources ainsi que la résolution d’éventuelles difficultés de configuration. Dans ce contexte, DIRAC facilite grandement la soumission de tâches grâce à son API de haut niveau.

Le site M3PEC (Bordeaux) s’est aussi doté d’une VO locale (vo.mcia.fr) afin de promouvoir l’utilisation de la grille EGI dans le périmètre aquitain. Cette VO est destinée à accueillir des utilisateurs en phase de test ou de portage de leurs applications.

DIRAC s’est imposé pour faciliter l’accès aux utilisateurs de cette VO avec la mise en place d’une instance locale. Le laboratoire CREATIS administre une instance DIRAC déployée sur la VO biomed. Cette instance est dédiée aux tâches générées par la plate-forme « Virtual Imaging Platform » (VIP) [VIP] [ISBI-12] dédiée à la simulation médicale. Comme dans de nombreux autres domaines, la simulation numérique révolutionne l’étude des processus médicaux tels que l’acquisition et le traitement d’images médicales, ou le planning de radiothérapie. Des exemples de résultats produits avec VIP concernent
la simulation du planning de radio-/protonthérapie [GRE-11] et la simulation réaliste d’images [ALE-12]. Vu le volume de
calcul nécessaire, disposer de ressources de calcul en quantités suffisante est critique pour la réalisation de ces simulations.

Par exemple, la simulation d’un planning de protonthérapie pour le cancer de la prostate peut demander 2 mois de temps CPU. En production depuis fin 2010, 236 utilisateurs de 27 pays sont désormais enregistrés dans VIP. Environ 680 000 tâches ont été soumises via DIRAC entre janvier 2011 et avril 2012. D’après les statistiques collectées par EGI [ACC], la plate-forme VIP représente environ 10% du temps CPU consommé par la VO biomed sur cette période. Deux services ont été développés spécifiquement en plus de ceux offerts par DIRAC : un service de comptage d’évènements simulés par le logiciel GATE et un service permettant d’obtenir l’état détaillé des tâches de la plate-forme.

Dans le cadre du projet GISELA [GIS], l’application de bio-informatique MyLims [MYLI] permet aux utilisateurs de soumettre des tâches avec un portail web installé à l’Université "Del Valle" (UNIVALLE) en Colombie. La soumission est réalisée en deux phases : une soumission
locale, nécessaire pour des questions de licences liées au logiciel Moloc, et une soumission grille pour les calculs via le logiciel Gaussian [GAUSS]. Les utilisateurs ont besoin d’un même portail web de soumission pour ces deux phases.

Pour réaliser ces calculs de manière transparente, un agent a été ajouté dans le WMS de DIRAC. Il contacte le serveur de
MyLims et génère automatiquement les tâches d’utilisateurs de DIRAC en fonction du nombre de tâches en attente. Les résultats sont envoyés directement au serveur [TSA-12].

... / ....

Intégralité de l’article à : http://mesogrilles2012.sciencesconf...