Les structures géométriques élémentaires de l’information, de la physique statistique et de l’inférence en apprentissage

Résumé

Les modèles géométriques de la théorie de l’information, la physique statistique et de l’inférence en apprentissage machine partagent des structures communes comme cela a été illustré à l’Ecole de Physique des Houches de Juillet 2020 (https://franknielsen.github.io/SPIG-LesHouches2020/). La géométrie de l’information a introduit des gradients naturels d’apprentissage qui sont invariants aux systèmes de codage des informations via la métrique de Fisher. Ces schémas peuvent s’étendre à des variétés différentielles ou à des groupes de Lie lorsque des symétries existent en étendant la notion de métrique de Fisher à celle de Koszul- Souriau, la définition de l’Entropie à celle de fonction de Casimir invariante en représentation coadjointe et en établissant les liens avec les systèmes intégrables au sens de Liouville-Mineur.  Nous illustrerons concrètement ce que ces modèles apportent en apprentissage machine en partant de l’existant en reconnaissance Doppler et cinématique des drones (réseaux de neurones HPDNet et Complex CNN sur les signatures Doppler ; méthodes de boosting d’arbres sur des paramètres de statistiques d’ordre sur la cinématique) vers l’apprentissage machine sur les groupes de Lie. Ces thématiques seront développées à la 5^ème édition de la conférence SEE GSI’21 (Geometric Science of Information) en Juillet 2021 (www.gsi2021.org) à Paris Sorbonne Université, co-organisée avec SCAI et ELLIS Paris Unit, et qui aura pour thème « Learning Geometric Structures ».