Validation des masques de nuages de MACCS

=>Lors du bilan annuel de l’exploitation du projet PEPS (le site miroir des données Sentinel au CNES), la société GEOSYS a présenté ses activités opérationnelles d’utilisation des données Sentinel-2 pour fournir du conseil en agriculture sur de nombreuses zones dans le monde. A cette occasion, GEOSYS nous a présenté sa procédure de détection des nuages sur Sentinel-2. La solution Sen2cor n’a pas été jugée suffisamment fiable par GEOSYS, et les zones traitées par MACCS ne couvrent pas, loin de là, toutes les zones d’intérêt de la société. GEOSYS a donc décidé de faire intervenir des opérateurs pour affiner la notation nuageuse des images. Pour chaque image traitée, les opérateurs fournissent un masque de pixels valides (clairs, sans nuages ni ombres).

J’ai bien entendu sauté sur l’occasion pour proposer à GEOSYS une collaboration visant à comparer les masques de pixels valides issus de MACCS et de la notation manuelle de GEOSYS. C’est dans ce contexte que GEOSYS m’a gracieusement donné accès à quelques-uns de ses masques de nuages à des fins de comparaison avec MACCS. Des données ont été traitées sur 4 tuiles réparties sur la France, sur une période de 3 mois, de décembre 2016 à février 2017 :

 La tuile de Rennes n’a pas donné de résultats, les images sont toutes nuageuses à plus de 90%, mais nous avons pu obtenir de bons résultats de validation sur les autres sites qui sont affichés ci-dessous.

 Ce tableau présente les matrices de confusion obtenues pour chaque date traitée, et la colonne OA  (Overall Accuracy), fournit le pourcentage de pixels bien classés. Celui-ci va de 86% à 99.5%. L’accord est donc excellent. Mais ce sont bien sûr les résultats les moins bons qui nous intéressent le plus, dans le but de comprendre ce qui ne va pas et éventuellement essayer d’améliorer. Vous trouverez ci-dessous deux exemples de désaccords, reportez-vous aux légendes et n’hésitez pas à cliquer sur les images pour les voir à pleine résolution.

En conclusion de cette première validation indépendante de nos produits Sentinel-2, GEOSYS et MACCS sont d’accord sur 94.5% des pixels en moyenne, sur 11 images différentes. Les opérateurs de GEOSYS font un travail remarquable et parviennent à détecter même les nuages les plus ténus. Les opérateurs ont cependant tendance à dilater généreusement les zones nuageuses, et à simplifier les polygones en présence de nuages morcelés. Cela s’explique par le fait que GEOSYS tient absolument à éviter les omissions de nuages ou d’ombre, et en même temps, la productivité des opérateurs est meilleure s’ils ne s’acharnent pas à détourer chaque nuage. Les nuages de MACCS sont eux aussi dilatés, mais pas autant que ceux de GEOSYS en général. Dans de rares cas, MACCS peut aussi manquer les nuages les plus ténus, et aussi des nuages plus épais, mais de faible surface. Cela est dû à la résolution utilisée dans MACCS pour calculer le masque de nuages (240 m). Nous comptons augmenter cette résolution, mais cela coûtera un temps de calcul supplémentaire, et il faudra que le segment sol MUSCATE soit beaucoup plus en forme !

Ces résultats seront bientôt complétés par la comparaison aux sorties d’autres chaînes de traitement. Ils seront bien sûr présentés dans ce blog, mais aussi par exemple au colloque RAQRS V à Valencia en Septembre.

Un grand merci à Arnaud Quesney (de GEOSYS) et à GEOSYS  pour la fourniture de données et leur aide à la rédaction de cet article.