Aller au contenu  Aller au menu  Aller à la recherche

Bienvenue - Laboratoire Jacques-Louis Lions

Print this page |

Chiffres-clé

Chiffres clefs

189 personnes travaillent au LJLL

86 permanents

80 chercheurs et enseignants-chercheurs permanents

6 ingénieurs, techniciens et personnels administratifs

103 personnels non permanents

74 doctorants

15 post-doc et ATER

14 émérites et collaborateurs bénévoles

 

Chiffres janvier 2022

 

Séminaire du LJLL -11 10 2019 14h00 : M. Masmoudi

Mohamed Masmoudi (Université Paul Sabatier, Toulouse)
Réseaux neuronaux profonds et parcimonieux
Résumé
L’apprentissage profond constitue actuellement un édifice cohérent dont la clé de voûte est la redondance, qui permet en particulier d’éviter les minima locaux. Nous verrons que la redondance peut expliquer l’engouement pour la méthode du gradient, malgré sa convergence très lente. L’orientation des recherches actuelles vers les phénomènes discrets, tels que la classification ou le traitement du langage naturel, n’est pas étrangère à la redondance.
Nous proposons des réseaux neuronaux parcimonieux, dont la structure complexe est déterminée d’une manière automatique par la méthode du gradient topologique. En cela nous sommes loin du courant dominant de l’apprentissage profond, qui repose sur une démarche essai-erreur pour trouver un réseau neuronal ayant une structure en couches.
Notre proposition permet de réduire de plusieurs ordres de grandeurs la taille du réseau neuronal, et de réduire d’un facteur similaire la quantité de données, ainsi que toutes les autres ressources, y compris énergétiques, nécessaires à sa construction.
Les réseaux neuronaux parcimonieux sont particulièrement efficaces pour le traitement de phénomènes continus et vont jusqu’à la prédiction, sur des temps longs, de phénomènes quasi-chaotiques. Dans ce contexte, tout défaut de parcimonie se traduit par une dégradation irrémédiable du modèle.
Le réseau ainsi construit est à la fois précis et robuste et résiste à des attaques de type « DeepFool ».
Nous illustrerons ces aspects par des exemples issus des applications industrielles.