Hespérides, le jardin des données

 =>

Depuis quelques années, mes collègues du projet THEIA et du Campus de la Donnée au CNES, ont entrepris la conception d’un nouveau centre de traitement et de distribution des données liées à l’hydrologie, appelé Hysope-II. Ce centre était initialement destiné à produire et distribuer les données spatiales utiles à l’hydrologie. Il inclut un centre de traitement, un catalogue et un centre de distribution (hydroweb.next). Ce système a été mis en place à l’occasion du développement de la mission SWOT, et permet aux utilisateurs d’accéder à toutes les données permettant d’interpréter les données hydrologiques. Ces travaux ont été financés par le programme SWOT Aval.

Mais les outils développés à cette occasion ont rapidement démontré leur efficacité, et petit à petit, nous nous sommes convaincus qu’ils étaient parfaitement adaptés à la mise en place du nouveau centre de production du CNES pour THEIA. Il est en effet nécessaire de remplacer l’actuel MUSCATE, dont les technologies et capacités de traitement ne sont plus à la pointe du progrès, malgré le million de produits déjà publiés.

Plutôt que de l’appeler MUSCATE-NG, mes collègues, par un vote plein de poésie, ont décidé de l’appeler Hespérides, un jardin mythique où Hercules, chargé d’y cueillir des pommes d’or bien gardées, s’est illustré par sa ruse. Les pommes d’or du jardin seront nos belles données de télédétection des surfaces continentales, et nous ferons tout notre possible pour vous en simplifier l’accès. C’est au CNES de faire le travail d’Hercules, pas aux utilisateurs de données.

Description d’Hespérides

Hespérides sera composé de trois ateliers, issus des développements d’Hysope-II :

• Hymotep sera l’atelier de production, basé sur un orchestrateur de traitements développé pour la mission SWOT : Chronos.
• Hygor sera le gestionnaire de base de données
• Hydra supervisera tout le système

Ces ateliers existent déjà, puisque dans Hysope-II, ils sont déjà en production pour traiter la France au fil de l’eau, avec les chaines MAJA (réflectances de surface Sentinel-2), LIS (couverture neigeuse) et Surfwater (surface en eau). Leur adaptation à Hespérides consiste donc principalement à les configurer pour les spécificités de la production de THEIA.

Hespérides ne fournit pas d’atelier d’accès aux données, car ce rôle sera dévolu à hydroweb.next et au GeoDataHub, également en préparation.

Alors que l’intégration d’une nouvelle chaine dans MUSCATE prenait des mois, la démonstration a été faite qu’il suffit de quelques semaines pour configurer le système pour mettre en production une nouvelle chaine. Ceci devrait permettre de mettre enfin en production certaines des chaines préparées depuis des années dans les CES de THEIA.

Enfin, le jardin des Hespérides s’appuiera sur un terreau fertile, avec le nouveau centre de calcul du CNES TREX et son datalake, qui devraient quasiment décupler la puissance de calcul dédiée à THEIA au CNES. Il est prévu qu’Hesperides commence à produire en masse au deuxième trimestre 2024.

Que traiter ?

Alors que de nouvelles possibilités s’ouvrent à nous, deux questions vont donc se poser rapidement :

• quelles zones du monde allons nous traiter ?
• avec quelles chaines ?

Pour déterminer cela, deux processus vont avoir lieu en parallèle,

• la consolidation de l’évaluation de nos capacités de traitement, et la détermination des priorités du CNES, qui finance cette infra-structure
• le recueil des besoins des utilisateurs de THEIA.  Pour ce recueil des besoins, un appel à projets va être diffusé à la fin de l’été par THEIA. Vous pourrez y proposer vos zones d’intérêt, et demander la mise en production de chaines de traitement. Vous pouvez donc dores et déjà réfléchir à vos demandes à soumettre après les vacances.

Il est déjà clair que les produits pourront se baser sur les données Sentinel-2 produites avec MAJA, ainsi que les données Sentinel-1, ortho-rectifiées et projetées sur la grille Sentinel-2 avec l’outil S1-Tiling.

Bien évidemment, malgré leur forte augmentation, les ressources resteront limitées, et nous ne pourrons probablement pas accéder à toutes les demandes. Ceci dit, avant d’en appeler à Hercules et Atlas, n’hésitez pas à soumettre vos idées et besoins.