L'informatique monumentale derrière l'accélérateur de particules du CERN

Le 10 septembre, le CERN inaugure le plus puissant accélérateur de particules du monde

Wolfgang von Rüden, chef du département IT, a confié au MondeInformatique.fr les détails de l'infrastructure informatique qui aidera les scientifiques à comprendre la naissance du monde.

Le 10 septembre, le CERN (Organisation européenne pour la recherche nucléaire) inaugure enfin le LHC (grand collisionneur de hadrons), l'accélérateur de particules le plus puissant du monde. Ce tunnel souterrain de 27 km, situé sur la frontière franco-suisse près de Genève, sera le lieu d'expériences de physique attendues depuis des années.

Les particules seront précipitées à grande vitesse les unes contre les autres. De ces collisions naîtront de nouvelles particules censées aider les scientifiques à mieux comprendre la naissance de notre monde. Pour récupérer les résultats de ces expériences, le LHC héberge de gigantesques détecteurs (45 m de long sur 22 m de haut) remplis de cellules de mesure qui enregistrent les traces de ces nouvelles particules et les convertissent en données numériques. « Ces détecteurs correspondent à ce que pourraient être des caméras de 150 millions de pixels », explique Wolfgang von Rüden, chef du département IT du CERN.

Près de 15 peta-octets de données générées chaque année

Lorsque le LHC aura atteint sa vitesse de croisière, sans doute début 2009, les expériences scientifiques menées à bien seront à l'origine d'un peta-octet de données chaque seconde... Après plusieurs nettoyages successifs afin de ne conserver que les données utiles, il en restera encore près de 1 Go par seconde. « L'équivalent d'un DVD toutes les cinq secondes », note Wolfgang von Rüden, chef du département IT du CERN. A raison de 100 jours de fonctionnement environ par an, cela représente presque 9 Peta-octets de données auxquelles il faut ajouter les informations de simulation. Ce sont donc 15 millions de milliards d'octets qui sortiront chaque année des essais du LHC !

Autant dire qu'un datacenter classique, même des plus puissants, n'y suffirait pas ! Aussi, dès les débuts du projet, l'organisation a opté pour un système de grille de données et de calcul (grid). Les quantités astronomiques d'informations que les scientifiques devront étudier sont distribuées sur différents systèmes pour être stockées et prétraitées.

Une grille de trois niveaux répartie sur tous les continents

L'infrastructure serveur compte trois niveaux. Le premier, le tier 0, installé au Cern, stocke l'ensemble des informations sur disque et sur bande magnétique (5 Petaoctets de capacité de stockage sur disque et 16 Petaoctets sur bande). Onze autres centres informatiques dans le monde constituent le tier 1 (sept en Europe dont un à Lyon, deux aux Etats-Unis, un au Canada et un à Taïwan). Chacun obtient une copie des données et des métadonnées associées (calibrage, conditions de l'expérience, etc.). Enfin, plus d'une centaine de centres distribués viennent en tier 2 (dont un à Orsay, un à Marseille, un à Nantes, un à Clermont-Ferrand, etc.)

Toutes ces informations sont synchronisées en temps réel avec l'ensemble des sites distants sur des bases Oracle. Les scientifiques des différents pays travaillent ainsi sur les toutes dernières données sorties du LHC. « Nous travaillons directement avec Oracle sur la technologie Streams qui permet une telle synchronisation, explique Wolfgang von Rüden. Nous avons un projet commun avec eux, tout comme avec Intel, HP ou Siemens, par exemple, dans le cadre de l'initiative Openlab. »

Des technologies poussées dans leurs derniers retranchements

« You make it, we break it, c'est ce que nous disons à nos partenaires technologiques », plaisante le responsable IT. Vous le fabriquez, nous le cassons. Une boutade qui reflète bien la réalité. « Nous poussons les technologies dans leurs derniers retranchements. Nous avons souvent les versions bêta, voire alpha, des machines, par exemple. »

Le centre du CERN (tier 0) héberge des grappes de PC classiques ainsi que quelques serveurs. Les plus puissants comptent quatre quadri-coeurs Intel. « En 2009, à Genève, nous devrions avoir une grille de 100 000 coeurs, détaille Wolfgang von Rüden. Et sans doute 150 000 coeurs, dès l'année d'après. » Pour choisir les machines qui constituent ces grappes, étonnamment le CERN fait appel au benchmark SpecINT qui mesure les capacités de calcul sur les nombres entiers des PC. Alors que la plupart du temps, les applications scientifiques s'appuient sur la performance en virgule flottante. « Les performances des entrées/sorties entre machines n'ont pas tellement d'importance, justifie ainsi Wolfgan von Rüden. Et finalement, le calcul en nombres entiers correspond davantage à notre charge de travail que le calcul en virgule flottante. Les analyses de données auxquelles les scientifiques procéderont impliquent davantage de comparaisons de données que de calculs en virgule flottante. »

Une grille sous Linux avec un gestionnaire inspiré du projet EGEE

La grille fonctionne sous un Linux appelé Scientific Linux. Il s'agit d'une version compatible au niveau binaire avec la distribution de Red Hat, dont le noyau a été cependant quelque peu modifié par le CERN. Le système de gestion de la grille est un environnement Open Source qui s'appuie entre autres sur les techniques du projet Globus mais aussi sur des développements du CERN dans le cadre du projet européen EGEE (Enabling Grids for E-sciencE) qu'il chapeaute.

Le réseau interne s'appuie sur Ethernet et le backbone sur du 10 Gbps. Quant aux liens entre les sites, sans surprise, il s'agit de fibre dédiée. « Nous avons besoin de marge pour nos communications, raconte Wolfgang von Rüden. Si un centre a un problème quelconque de transmission, il transfère ses données avec retard, et donc en quantité plus importante. Ce qui exige davantage de bande passante. » Ce sont environ 2 Go de données qui transitent chaque seconde sur les réseaux entre les centres de données. « Mais nous avons déjà eu, lors des essais, des pointes à 3 ou 4 Go. »

Economiser l'énergie et l'espace, Green IT oblige

Il est à noter qu'avec une telle infrastructure, le CERN surveille sa consommation électrique et donne, lui-aussi, dans le green IT. Dans ses appels d'offre, s'il regarde évidemment le prix des machines, il tient également compte « de la consommation électrique par rapport à la puissance de calcul fourni, ainsi que d'autres paramètres tel que le volume occupé ou la connexion au réseau, ajoute Wolfgang von Rüden. Cela nous permet de favoriser les fournisseurs qui offrent des solutions plus écologiques. »

Le centre de calcul date des années 70 et consomme environ 4,7 MW avec une charge utile inférieure à 3 MW. « Il a été adapté aux besoins du LHC, mais dans les limites du possible, regrette le responsable IT. Et il est loin d'être aussi efficace que des solutions modernes. » Le CERN mène des études pour un nouveau centre plus adapté et plus performant qui verra le jour probablement vers la fin de 2011.

Reste que demain, parmi les 6 000 employés du site genevois, 350 informaticiens assisteront avec fierté, mais forcément un peu d'angoisse, à l'inauguration. Ils ont passé des heures et des jours à mettre en place l'infrastructure informatique du LHC. Ils ont réalisé deux tests grandeur nature, en février et en mai, qui ont duré chacun quatre semaines. Alors pour eux, le Graal n'est sans doute pas le Boson de Higgs, la particule chérie des scientifiques, mais tout simplement le bon fonctionnement de la grille.

Source : http://www.lemondeinformatique.fr/actualites/lire-l-informatique-monumentale-derriere-l-accelerateur-de-particules-du-cern-26876-page-1.html