Bienvenue - Laboratoire Jacques-Louis Lions

Mohamed Masmoudi (Université Paul Sabatier, Toulouse)
Réseaux neuronaux profonds et parcimonieux
Résumé
L’apprentissage profond constitue actuellement un édifice cohérent dont la clé de voûte est la redondance, qui permet en particulier d’éviter les minima locaux. Nous verrons que la redondance peut expliquer l’engouement pour la méthode du gradient, malgré sa convergence très lente. L’orientation des recherches actuelles vers les phénomènes discrets, tels que la classification ou le traitement du langage naturel, n’est pas étrangère à la redondance.
Nous proposons des réseaux neuronaux parcimonieux, dont la structure complexe est déterminée d’une manière automatique par la méthode du gradient topologique. En cela nous sommes loin du courant dominant de l’apprentissage profond, qui repose sur une démarche essai-erreur pour trouver un réseau neuronal ayant une structure en couches.
Notre proposition permet de réduire de plusieurs ordres de grandeurs la taille du réseau neuronal, et de réduire d’un facteur similaire la quantité de données, ainsi que toutes les autres ressources, y compris énergétiques, nécessaires à sa construction.
Les réseaux neuronaux parcimonieux sont particulièrement efficaces pour le traitement de phénomènes continus et vont jusqu’à la prédiction, sur des temps longs, de phénomènes quasi-chaotiques. Dans ce contexte, tout défaut de parcimonie se traduit par une dégradation irrémédiable du modèle.
Le réseau ainsi construit est à la fois précis et robuste et résiste à des attaques de type « DeepFool ».
Nous illustrerons ces aspects par des exemples issus des applications industrielles.