Objectifs de la chaire
Le projet s’inscrit dans la continuité de la chaire 3IA Aniti « Fair and Robust learning » et du projet DEEL et des travaux sur l’étude des réseaux de neurones 1-Lipschitz, une classe de réseaux de neurones robustes par conception. Ce projet a posé les bases de la classification avec des réseaux de neurones 1-Lipschitz en définissant d’une fonction de perte liée au transport optimal. Les réseaux entrainés de cette façon ont des garanties certifiables de robustesse, mais aussi des propriété d’explicabilité. De plus, une bibliothèque complète a été développée, appelée DEEL-LIP, permettant d’apprendre ce type de réseaux de neurones facilement en Tensorflow et Pytorch.
Principal investigators
- Mathieu Serrurier (Professor, UT2, IRIT ADRIA-DEEL)
- Franck Mamalet (Senior Expert AI, IRT Saint Exupéry, DEEL)
Cette chaire a pour objectif d’étudier les réseaux neuronaux 1-Lipschitz dans le cadre de l’apprentissage auto-supervisé, afin d’être capable d’apprendre de grands modèles avec des données non annotées dans plusieurs domaines (images médicales/satellites, séries temporelles, traitement du langage naturel) tout en maintenant les garanties en termes de robustesse, de certificabilité et de fiabilité. L’apprentissage auto-supervisé est une tendance forte pour les réseaux classiques, avec des applications dans l’apprentissage à partir de peu de données, l’apprentissage semi-supervisé et la création de modèles génériques. Cependant, à notre connaissance, il n’existe aucune contribution dans la littérature concernant les réseaux de neurones auto-supervisés 1-Lipschitz.
Co-chairs
-
- Mélanie Ducoffe (Research Engineer, AIRBUS)
- Coralie Sengenès (CR INSERM, RESTORE)
Dans le premier axe, nous explorerons les méthodes d’apprentissage auto-supervisé en utilisant la perte de transport optimale, afin d’apprendre à partir de données non annotées tout en garantissant la certifiabilité du réseau.vNous étudierons également des architectures 1-Lipschitz pour d’autres types de résaux comme les transformeur, afin d’améliorer les capacités d’apprentissage de ces réseaux sur de très grands ensembles de données et leur généralisation. Enfin, nous nous efforcerons d’établir la théorie et les garanties certifiables pour ces réseaux 1-Lipschitz appris de manière auto-supervisée. Pour les applications industrielles critiques en matière de sécurité, nous développerons un ensemble de réseaux 1-Lipschitz pré-entraînés pour divers domaines, en particulier les images satellites, les données temporelles, le traitement du langage et l’imagerie médicale, où la quantité et l’annotation des données sont cruciales.
- Extension de la bibliothèque DEEL-LIP comprenant de nouvelles couches et architectures 1-Lipschitz, des pipelines pour l’apprentissage auto-supervisé, semi-supervisé et le fine-tuning.
- Grands ensembles de données non étiquetées, open source, pour les images de microscopie, les images satellites et le TAL pour le transport aéronautique, obtenus en rassemblant différents ensembles de données open source.
- Distillation, fine-tuning avec des garanties de robustesse d’explicabilité et d’équité transférables.
- Grande architecture de réseau 1-Lipschitz pour la vision et le traitement du langage naturel (NLP).
- Algorithmes d’apprentissage auto-supervisé du réseau 1-Lipschitz pour les grands ensembles de données non étiquetées, fondés sur des approches de transport optimal.
- Distillation, réglage fin et approches à quelques coups avec robustesse transférable, explicabilité et propriétés d’équité pour les réseaux 1-Lipschitz
French 
English