|
Stages de découverte (classe de 3eme, 2nde) Voir https://www.math.univ-paris-diderot.fr/diffusion/index
Chiffres-clé
Chiffres clefs
189 personnes travaillent au LJLL
90 permanents
82 chercheurs et enseignants-chercheurs permanents
8 ingénieurs, techniciens et personnels administratifs
99 personnels non permanents
73 doctorants
14 post-doc et ATER
12 émérites et collaborateurs bénévoles
Chiffres mars 2019
A voir
Séminaire du LJLL -11 10 2019 14h00 : M. Masmoudi
Mohamed Masmoudi (Université Paul Sabatier, Toulouse)
Réseaux neuronaux profonds et parcimonieux
Résumé
L’apprentissage profond constitue actuellement un édifice cohérent dont la clé de voûte est la redondance, qui permet en particulier d’éviter les minima locaux. Nous verrons que la redondance peut expliquer l’engouement pour la méthode du gradient, malgré sa convergence très lente. L’orientation des recherches actuelles vers les phénomènes discrets, tels que la classification ou le traitement du langage naturel, n’est pas étrangère à la redondance.
Nous proposons des réseaux neuronaux parcimonieux, dont la structure complexe est déterminée d’une manière automatique par la méthode du gradient topologique. En cela nous sommes loin du courant dominant de l’apprentissage profond, qui repose sur une démarche essai-erreur pour trouver un réseau neuronal ayant une structure en couches.
Notre proposition permet de réduire de plusieurs ordres de grandeurs la taille du réseau neuronal, et de réduire d’un facteur similaire la quantité de données, ainsi que toutes les autres ressources, y compris énergétiques, nécessaires à sa construction.
Les réseaux neuronaux parcimonieux sont particulièrement efficaces pour le traitement de phénomènes continus et vont jusqu’à la prédiction, sur des temps longs, de phénomènes quasi-chaotiques. Dans ce contexte, tout défaut de parcimonie se traduit par une dégradation irrémédiable du modèle.
Le réseau ainsi construit est à la fois précis et robuste et résiste à des attaques de type « DeepFool ».
Nous illustrerons ces aspects par des exemples issus des applications industrielles.