Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LISSI/IBISC
Durée : 6 mois
Contact : aurelien.hazan@u-pec.fr
Date limite de publication : 2024-02-28

Contexte :
Le développement exponentiel de l’IA et des réseaux de neurones renouvelle l’étude des séries temporelles d’un point de vue aussi bien fondamental qu’appliqué. En particulier pour les signaux multivariés, le tenseur peut être une représentation plus adéquate que la matrice, car il évite la perte de la structure des données, et donc la perte d’information.
L’apprentissage automatique sur données tensorielles est classiquement réalisé par décomposition tensorielle linéaire, par exemple CPD/PARAFAC ou Tucker [Sid17]. Récemment des représentations tensorielles ont été intégrées aux réseaux de neurones et ont permis des développements significatifs de l’apprentissage profond notamment dans le domaine de l’image en réduisant le nombre de paramètres à estimer.
Pour accroître l’identifiabilité et l’interprétabilité des modèles neuronaux profonds, des contraintes sont ajoutées, par exemple la non négativité, classique dans une cadre d’apprentissage matriciel et
tensoriel [Kol08]. En apprentissage profond, les auto-encodeurs variationnels ont été interprétés dans un cadre de factorisation matricielle non-négative, mais aussi comme une factorisation
tensorielle CPD, et même Tucker non-négative [Mar22]. Les autoencodeurs appartiennent à la famille des modèles génératifs. Ils permettent de découvrir des espaces latents en apprenant un
automorphisme x=f(x). Leur espace latent peut est structuré sous forme tensorielle, ce qui amène de très bonnes performances [Pan21]. Il a été montré que ceci permet un compromis en termes de
performances et d’interprétabilité, entre un auto-encodeur simple sans contrainte et un modèle de Tucker non-négatif, pour différentes taches (segmentation, détection de pattern). Toutefois ces travaux préliminaires laissent une marge importante de progrès, et les propriétés de ce type de modèle hybride sont encore mal connues.

Sujet :
Tout d’abord on établira un benchmark des différentes approches. Ensuite on modifiera les contraintes qui structurent la décomposition tensorielle dans un modèle de type auto-encodeur/décomposition de Tucker. On évaluera et on comparera les caractéristiques de
plusieurs architectures pour l’auto-encodeur. Les algorithmes proposés seront testés sur des données de plusieurs champs applicatifs actuellement examinés dans nos laboratoires respectifs : puissances
transmises sur un réseau de transport d’électricité ; calibration de capteurs de polluants ; prédiction de performances sportives, segmentation de tumeurs cérébrales. Ce travail pourra se poursuivre en
thèse (1) en comparant les performances de la représentation dans les domaines temporel, temps-fréquence, temps-échelle (2) en appliquant ces décompositions tensorielles sur les machines de
Boltzmann (DB networks et modèle de diffusion) (3) en étudiant l’influence de la structure en réseau du phénomène sous-jacent sur la représentation du signal. Des collaborations industrielles
sont envisageables.

Références
[Kol08] Kolda, Bader, « Tensor decompositions and applications », in: SIAM review 51.3 (2009), pp. 455–500.
[Sid17] Sidiropoulos et al. « Tensor Decomposition for Signal Processing and Machine Learning » IEEE Transactions on Signal Processing, 2017.
[Pan21] Panagakis et al. « Tensor Methods in Computer Vision and Deep Learning » Proceedings of the IEEE, https://doi.org/10.1109/JPROC.2021.3074329
[Mar22] Marmoret, « Unsupervised Machine Learning Paradigms for the Representation of Music Similarity and Structure », thèse IMT Atlantique, 2022.

Profil du candidat :
Connaissance du machine learning.

Formation et compétences requises :
M2 informatique, data science, statistiques

Adresse d’emploi :
Ce stage sera encadré par deux enseignants chercheurs rattachés aux laboratoires:

LISSI, http://lissi.fr, Equipe Synapse: 36-37 rue Georges Charpak, 77 567 Lieusaint.

IBISC, https://ibisc.univ-evry.fr/, Equipe SIAM: 36, Rue du Pelvoux, CE1455 Courcouronnes 91020 Evry Cédex