Soutenance de la thèse de Yoël Zérah, Jeudi 20 Juin 9h30 : « Apprentissage profond de représentations physiques de la végétation à partir de séries temporelles d’images satellite optiques. »

C’est avec grand plaisir que je vous convie à ma soutenance de thèse, intitulée
Apprentissage profond de représentations physiques de la végétation à partir de séries temporelles d’images satellite optiques.

Celle-ci aura lieu le jeudi 20 Juin à 9h30 dans la salle de conférence du CESBIO.

Un lien de visio-conférence sera communiqué plus tard.

Résumé :
L’émergence des techniques d’apprentissage statistique modernes et l’augmentation exponentielle de la puissance de calcul disponible ont permis l’exploitation de l’immense volume de données produit par les capteurs de télédétection. En particulier, la mission Sentinel-2 produit des images multispectrales à haute résolution spatiale et temporelle depuis une dizaine d’années à une échelle globale, qui ont permis le développement de diverses applications, telles que le suivi de la végétation, la gestion du territoire et la réponse aux catastrophes naturelles.

L’extraction de représentations contenant des informations pertinentes à partir de ces données est fondamentale pour ces applications. L’objectif de cette thèse est de proposer une méthode d’inférence de représentations, qui soient générales et interprétables, afin d’être utilisables par plusieurs applications. En particulier, cette thèse propose d’estimer des variables biophysiques qui caractérisent les systèmes observés, par exemple l’indice foliaire ou la concentration en pigments pour la végétation, ainsi que son évolution temporelle. Par ailleurs, ces représentations doivent être associées à une incertitude d’estimation.

Cependant, les bases de données qui associent des mesures terrain de variables bio-physiques de la végétation à des données de télédétection sont rares.Les approches qui estiment ces variables utilisent la modélisation physique et l’inversion. Toutefois, les approches supervisées sont sensibles au choix de la distribution des simulations générées pour optimiser les modèles. Ainsi, cette thèse propose une méthodologie non supervisée d’estimation de variables physiques à partir de données de télédétection, basée sur les Autoencodeurs Variationnels (VAE). Elle consiste en l’incorporation de modèles et de connaissances physiques à priori dans un modèle d’apprentissage profond.

Enfin, cette méthodologie est utilisée pour l’estimation de variables physiques dans deux applications. Dans la première, le modèle de transfert radiatif PROSAIL est utilisé dans le modèle PROSAIL-VAE afin d’estimer les caractéristiques de feuilles et de la canopée à partir d’images S2. La validation avec des données in situ a permis de confirmer les performances de cette approche. Dans la seconde application, des variables phénologiques caractérisant le comportement temporel de la végétation sont estimées à partir de séries temporelles de NDVI, avec le modèle Phéno-VAE.

Le jury sera composé de:

M. Gustau Camps-Valls (Professeur, Rapporteur)
M. Devis Tuia (Professeur associé, Rapporteur)
M. Thomas Oberlin (Professeur, Examinateur)
M. Jan Dirk Wegner (Professeur, Examinateur)
M. Gustau Camps-Valls (Professeur, Rapporteur)
M. Devis Tuia (Professeur associé, Rapporteur)
M. Thomas Oberlin (Professeur, Examinateur)
M. Jan Dirk Wegner (Professeur, Examinateur)
Mme. Marie Weiss (Ingénieure de recherche, Membre invité)
M. Jordi Inglada (Ingénieur, co-directeur de thèse)
Mme. Silvia Valero (Maîtresse de conférences, co-directrice de thèse).

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Hello everyone,

It is my pleasure to invite you to my PhD defence, titled Physics-based representation learning of vegetation using optical satellite image time series.

The presentation will take place in CESBIO’s conference room at 9:30 am on Thrusday, 20 June.

A videoconference link will be communicated later.

Summary:
The advent of modern machine learning and exponential development of computational power are crucial for the exploitation of the vast amount of data produced by remote sensors. In particular, the S2 mission has been providing for nearly a decade high spatial and temporal resolution multi-spectral images at a global scale. S2 products support research efforts and various applications, such as vegetation monitoring, land management and disaster response.

Extracting useful representations that contain relevant information from data is fundamental for applications of remote sensing. The objective of this thesis is to find useful representations from remote sensing data for use in downstream applications, that are general and interpretable. In particular, this PhD focuses on estimating bio-physical variables, for instance leaf indices or pigments concentration of vegetation, and its temporal evolution. Besides, representations of this data should be associated with a measure of uncertainty.

However, databases of vegetation bio-physical parameters that can be related to remote sensing measurements are rare. Methods that attempt to retrieve bio-physical parameters commonly resort to physical modeling and inversion. However, supervised approaches are affected by the choice of the distribution of simulations generated for model tuning. Therefore, this PhD proposes a self-supervised approach for retrieving physical representations of remote sensing data based on the framework of Variational Autoencoders. It relies on the incorporation of physical models and knowledge in a deep learning framework.

Finally, this thesis reports the results of the application of the proposed approach on the retrieval of physical variables in two settings. In a first experiment, it is used with the PROSAIL radiative transfer model for retrieving leaf characteristics and canopy structure variables. The resulting PROSAIL-VAE model is trained directly using S2 multi-spectral images. Validation with in-situ data have corroborated the performance of the approach. In a second application, the proposed approach is used to retrieve phenological variables that characterize the temporal behavior of vegetation. The so-called Pheno-VAE is trained on annual NDVI time series extracted from S2 data.