Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones
Résumé
Les réseaux de neurones profonds excellent aujourd’hui dans les tâches d’apprentissage supervisé à distribution de données fixée. Cependant, il n’est pas toujours possible de disposer de de toutes les données simultanément pour entraîner un modèle profond. Face à ce défi, l’apprentissage continu vise à construire des modèles capables d’apprendre de manière séquentielle et d’intégrer de nouvelles connaissances au cours du temps sans pour autant accéder aux données passées.
En particulier, l’apprentissage incrémental par classes (class-incremental learning, CIL) traite des problèmes de classification où l’apprentissage se fait par étapes. Une étape consiste à intégrer au modèle de classification un ensemble de nouvelles classes. Dans le scénario dit “sans mémoire”, qui est le plus difficile, à chaque étape, seules les données relatives aux nouvelles classes sont accessibles.
Un champ d’application majeur de l’apprentissage incrémental est la vision par ordinateur pour les systèmes embarqués, lesquels sont sujets à des contraintes pratiques fortes, comme le budget mémoire que l’on peut attribuer au modèle. Les applications embarquées requièrent donc des architectures ayant un nombre de paramètres relativement limité. Or, à ce jour, la majorité de la littérature en CIL évalue ses méthodes sur la base de réseaux trop volumineux pour les dispositifs ciblés [1, 2]. Un fossé sépare donc les performances espérées et celles atteignables en pratique. Ce travail met en évidence le besoin de stratégies pour améliorer les performances des modèles neuronaux profonds sous contraintes de mémoire. Après une brève revue des travaux existants (Section 2), nous présentons des expériences de mise à l’échelle de réseau de neurones (Section 3). Celles-ci nous ont permis de proposer une méthode de mise à l’échelle souscontrainte mémoire d’un réseau de neurones convolutionnel (Section 4). Enfin, nous concluons avec quelques perspectives.
Origine | Fichiers produits par l'(les) auteur(s) |
---|