Objectifs de la chaire
Le projet s’inscrit dans la continuité de la chaire 3IA Aniti « Fair and Robust learning » et du projet DEEL et des travaux sur l’étude des réseaux de neurones 1-Lipschitz, une classe de réseaux de neurones robustes par conception. Ce projet a posé les bases de la classification avec des réseaux de neurones 1-Lipschitz en définissant d’une fonction de perte liée au transport optimal. Les réseaux entrainés de cette façon ont des garanties certifiables de robustesse, mais aussi des propriété d’explicabilité. De plus, une bibliothèque complète a été développée, appelée DEEL-LIP, permettant d’apprendre ce type de réseaux de neurones facilement en Tensorflow et Pytorch.
Principal investigators
- Mathieu Serrurier (Professor, UT2, IRIT ADRIA-DEEL)
- Franck Mamalet (Senior Expert AI, IRT Saint Exupéry, DEEL)
Cette chaire a pour objectif d’étudier les réseaux neuronaux 1-Lipschitz dans le cadre de l’apprentissage auto-supervisé, afin d’être capable d’apprendre de grands modèles avec des données non annotées dans plusieurs domaines (images médicales/satellites, séries temporelles, traitement du langage naturel) tout en maintenant les garanties en termes de robustesse, de certificabilité et de fiabilité. L’apprentissage auto-supervisé est une tendance forte pour les réseaux classiques, avec des applications dans l’apprentissage à partir de peu de données, l’apprentissage semi-supervisé et la création de modèles génériques. Cependant, à notre connaissance, il n’existe aucune contribution dans la littérature concernant les réseaux de neurones auto-supervisés 1-Lipschitz.
Co-chairs
-
- Mélanie Ducoffe (Research Engineer, AIRBUS)
- Coralie Sengenès (CR INSERM, RESTORE)
Nous proposons d’aborder le domaine encore inexploré des grands modèles 1-Lipschitz auto-supervisés selon trois axes de recherche :
Dans le premier axe, nous explorerons des méthodes d’apprentissage auto-supervisé utilisant la perte de transport optimal, afin d’apprendre à partir de données non annotées tout en favorisant la robustesse du réseau de neurones.
Nous étudierons également des architectures 1-Lipschitz plus récentes et plus profondes, telles que les transformers, pour améliorer les capacités d’apprentissage de ces réseaux sur des ensembles de données très volumineux et leur généralisation. Nous travaillerons à établir la théorie et les garanties certifiables pour ces réseaux de neurones 1-Lipschitz appris en auto-supervision.
Enfin, nous évaluerons la complémentarité entre les garanties 1-Lipschitz et les méthodes formelles, en étendant la bibliothèque open-source DECOMON. Pour les applications industrielles critiques en matière de sécurité, nous développerons un ensemble de réseaux 1-Lipschitz pré-entraînés pour divers domaines, notamment l’imagerie satellite, les séries temporelles, le traitement du langage et l’imagerie médicale, où la quantité de données et l’annotation sont cruciales.
Des partenaires industriels des secteurs aéronautique, automobile et ferroviaire (Airbus, SNCF, Thales, Renault) détacheront des ingénieurs ou des doctorants CIFRE et fourniront des cas d’usage exigeants où des méthodes robustes sont attendues. Cette chaire bénéficiera également du cadre du programme collaboratif et intégratif DEEL du cluster IA ANITI, conçu et opéré conjointement avec l’IRT Saint Exupéry, en collaboration avec les partenaires académiques et industriels du projet. Nous étudierons également l’utilisation des réseaux 1-Lipschitz dans le secteur de la santé avec le soutien de l’institut RESTORE de l’Inserm. Mélanie Ducoffe (Expert Recherche, Airbus) et Coralie Sengenes (Inserm, RESTORE) sont co-présidentes.
- Extension de la bibliothèque DEEL-LIP comprenant de nouvelles couches et architectures 1-Lipschitz, des pipelines pour l’apprentissage auto-supervisé, semi-supervisé et le fine-tuning.
- Grands ensembles de données non étiquetées, open source, pour les images de microscopie, les images satellites et le TAL pour le transport aéronautique, obtenus en rassemblant différents ensembles de données open source.
- Distillation, fine-tuning avec des garanties de robustesse d’explicabilité et d’équité transférables.
- Grande architecture de réseau 1-Lipschitz pour la vision et le traitement du langage naturel (NLP).
- Algorithmes d’apprentissage auto-supervisé du réseau 1-Lipschitz pour les grands ensembles de données non étiquetées, fondés sur des approches de transport optimal.
- Distillation, réglage fin et approches à quelques coups avec robustesse transférable, explicabilité et propriétés d’équité pour les réseaux 1-Lipschitz
French 
English