Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones - CEA - Commissariat à l’énergie atomique et aux énergies alternatives
Communication Dans Un Congrès Année : 2022

Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones

Résumé

Les réseaux de neurones profonds excellent aujourd’hui dans les tâches d’apprentissage supervisé à distribution de données fixée. Cependant, il n’est pas toujours possible de disposer de de toutes les données simultanément pour entraîner un modèle profond. Face à ce défi, l’apprentissage continu vise à construire des modèles capables d’apprendre de manière séquentielle et d’intégrer de nouvelles connaissances au cours du temps sans pour autant accéder aux données passées. En particulier, l’apprentissage incrémental par classes (class-incremental learning, CIL) traite des problèmes de classification où l’apprentissage se fait par étapes. Une étape consiste à intégrer au modèle de classification un ensemble de nouvelles classes. Dans le scénario dit “sans mémoire”, qui est le plus difficile, à chaque étape, seules les données relatives aux nouvelles classes sont accessibles. Un champ d’application majeur de l’apprentissage incrémental est la vision par ordinateur pour les systèmes embarqués, lesquels sont sujets à des contraintes pratiques fortes, comme le budget mémoire que l’on peut attribuer au modèle. Les applications embarquées requièrent donc des architectures ayant un nombre de paramètres relativement limité. Or, à ce jour, la majorité de la littérature en CIL évalue ses méthodes sur la base de réseaux trop volumineux pour les dispositifs ciblés [1, 2]. Un fossé sépare donc les performances espérées et celles atteignables en pratique. Ce travail met en évidence le besoin de stratégies pour améliorer les performances des modèles neuronaux profonds sous contraintes de mémoire. Après une brève revue des travaux existants (Section 2), nous présentons des expériences de mise à l’échelle de réseau de neurones (Section 3). Celles-ci nous ont permis de proposer une méthode de mise à l’échelle souscontrainte mémoire d’un réseau de neurones convolutionnel (Section 4). Enfin, nous concluons avec quelques perspectives.
Fichier principal
Vignette du fichier
feillet_rfiap_short-paper.pdf (271.76 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

cea-04543070 , version 1 (11-04-2024)

Identifiants

  • HAL Id : cea-04543070 , version 1

Citer

Eva Feillet, Adrian Popescu, Céline Hudelot, Marina Reyboz. Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones. Joint CAp&RFIAP 2022, SSFAM (Société Savante Française d'Apprentissage Machine); AFRIF (Association Française pour la Reconnaissance et l'Interprétation des Formes), Jul 2022, Vannes, France. pp.1-4. ⟨cea-04543070⟩
38 Consultations
24 Téléchargements

Partager

More