Advances in majorization-minimization algorithms for optimization with non-quadratic loss functions (AMINA)

L’objectif d’AMINA est de faire progresser la théorie et la méthodologie de l’optimisation avec des fonctions de perte non-quadratiques dans le cadre de l’approche majoration-minimisation (MM). L’approche MM consiste à construire et à minimiser, de manière itérative, une borne supérieure de la fonction de perte du problème (tangente au point courant). En d’autres termes, l’approche MM procède à l’optimisation itérative d’une approximation locale. Elle offre un cadre d’optimisation intuitif et puissant, qui ne nécessite pas d’hypothèses contraignantes. Les algorithmes MM font décroître la valeur de la fonction perte à chaque itération et ne nécessitent pas de paramètres de réglage. Des bornes supérieures bien conçues peuvent finement exploiter la courbure locale de la fonction de perte, ce qui se traduit par des mises à jour efficaces. Bien que l’approche MM remonte aux années 1970, elle a connu un renouveau important au cours de ces dernières années (à travers notamment des cas particuliers bien étudiés tels que les algorithmes de type gradient proximal).
La chaire AMINA s’intéresse à des problèmes liés à la conception et à la convergence d’algorithmes MM innovants dans quatre contextes d’apprentissage automatique et de traitement du signal :
1) mises à jour non alternées pour la factorisation non-négative de matrices fondée sur la divergence beta (une famille continue de pertes non-quadratiques),
2) reconstruction de phase fondée sur la divergence beta,
3) transport optimal non-équilibré pour l’interpolation de signaux audio,
4) algorithmes MM stochastiques pour l’apprentissage profond.
La conception d’algorithmes d’optimisation efficaces avec des garanties de convergence est une étape cruciale dans la construction de systèmes d’IA fiables.