Contrôle de la cardinalité par navigation dans l'espace latent des GANs
Résumé
L’intégration de la notion de cardinalité se fait de manière naturelle chez les humains. Il est donc intéressant de se demander si les modèles génératifs comme les GANs intègrent également cette notion. Cela pourrait permettre de contrôler le nombre d’objets présents dans une image générée ou réelle grâce aux méthodes d’inversion. Contrôler le nombre de piétons ou de voitures sur des données représentant des scènes urbaines, par exemple, peut être particulièrement utile pour augmenter de manière ciblée des bases de données existantes. Saseendran et al. proposent une adaptation du GAN conditionnel pour générer des images conditionnées sur le nombre d’objets. L’inconvénient d’utiliser un GAN conditionnel est la nécessité de réentrainer le modèle. Nous souhaitons étudier si les modèles pré-entraînés encodent automatiquement la notion de cardinalité. Divers travaux ont étudié l’existence d’une structure reflétant la sémantique des données d’entraînement dans l’espace latent des GANs. Certains travaux ont montré que, pour des GANs entraînés sur des images représentant des visages, il est possible d’identifier des directions permettant de contrôler la présence ou l’intensité d’attributs binaires ou continus comme le genre ou l’âge. Parmi ces méthodes, certaines approches supervisées s’appuient sur des classifieurs binaires entraînés dans l’espace latent pour guider l’apprentissage des directions. Dans ce travail, nous proposons une extension de ces méthodes à la cardinalité, dans un formalisme de régression ou de classification à plusieurs classes. Nous appliquons notre méthode dans l’espace latent W et la version étendue W+ d’un StyleGAN entraîné sur le jeu de données MultiMNIST. Nos expérimentations sur ce jeu de données montrent que la formalisation multi-classe dans l’espace W permet de contrôler le nombre de chiffres présents dans une image.
Origine | Fichiers produits par l'(les) auteur(s) |
---|