Neural Network Growth for Frugal AI : a functional analysis viewpoint

Résumé

Cette conférence faisait partie du programme thématique sur la "Géométrie infinie-dimensionnelle : théorie et applications", organisé à l'ESI du 13 janvier au 14 février 2025.

Les tâches d’apprentissage automatique sont généralement formulées comme des problèmes d’optimisation, où l’on cherche une fonction optimale dans un certain espace fonctionnel. En pratique, on considère des espaces fonctionnels paramétrés afin de pouvoir effectuer la descente de gradient.

Typiquement, une architecture de réseau de neurones est choisie et fixée, puis ses paramètres (poids de connexion) sont optimisés, ce qui conduit à un résultat dépendant de cette architecture.

Cependant, cette approche contraint l’évolution de la fonction durant l’apprentissage à rester dans les limites de ce qui est exprimable avec l’architecture choisie, et empêche toute optimisation entre différentes architectures. Pour pallier cette limitation, on effectue souvent une coûteuse optimisation des hyperparamètres architecturaux.

Guillaume Charpiat propose ici plutôt d’adapter dynamiquement l’architecture au cours de l’entraînement. Il montre que les informations concernant les modifications architecturales souhaitables, dues aux goulets d'étranglement d'expressivité rencontrés lors du suivi du gradient fonctionnel, peuvent être extraites de la rétropropagation.

Pour ce faire, Guillaume Charpiat propose une définition mathématique de ces goulets d’étranglement, permettant de les détecter, de les quantifier et de les résoudre pendant l’entraînement, en ajoutant des neurones appropriés. Ainsi, alors que l’approche classique requiert des réseaux de grande taille, avec de nombreux neurones par couche pour des raisons d’expressivité et d’optimisation, il propose un cadre permettant de construire une architecture en partant d’un nombre très réduit de neurones.

Traduction du résumé de la vidéo proposé sur YouTube

Le regard de la rédaction

Il revient sur le fonctionnement des réseaux neuronaux. La conférence est particulièrement technique et s’adresse clairement aux plus avertis d’entre nous. Esprits non scientifiques, s’abstenir !

En revanche, même si le contenu est très technique, l’orateur est particulièrement pédagogue permettant l’appropriation des concepts. Néanmoins, ça va vite, très vite, plusieurs visionnages sont nécessaires pour s’approprier le contenu si vous ne maîtriser pas les concepts techniques liés au machine learning et deep learning.