Stage M 2 : Approches multimodales pour la gestion des informations manquantes dans l’analyse des états affectifs H/F

Intégrer Linéact au sein de CESI pour un stage de recherche serait une formidable opportunité de contribuer à des projets innovants, tout en approfondissant mes compétences dans un environnement à la pointe de la transformation numérique et de l’industrie 4.0.

Projet de stage

Contexte scientifique

L’analyse des états affectifs joue un rôle crucial dans la compréhension du comportement humain et l’amélioration des interactions entre les humains et les systèmes intelligents [1, 2, 3, 4, 5, 6]. Elle repose sur diverses modalités, telles que la voix, les expressions faciales, les gestes ainsi que les signaux physiologiques [7, 8, 9, 10]. Des recherches antérieures ont exploré chaque modalité séparément et ont montré leur complémentarité, soulignant l’intérêt de combiner les informations issues de chacune [11]. 

L’étude des états affectifs dans des contextes réels constitue un défi majeur en raison de leur nature complexe et dynamique. Les bases de données multimodales existantes contiennent souvent des états induits dans des environnements contrôlés, ce qui ne reflète pas toujours l’expression naturelle des états affectifs. Cependant, dans des conditions réelles d’interaction, certaines modalités peuvent être manquantes ou dégradées. Par exemple, il peut arriver que le locuteur n’émette pas de parole tout en manifestant des expressions faciales, ou encore qu’il tourne la tête, ce qui entraîne une occultation partielle de son visage et une altération des informations visuelles disponibles. d’où l’intérêt de la multimodalité. Nos recherches précédentes ont confirmé cette complémentarité entre modalités et ont ouvert la voie à de nouvelles pistes pour une intégration plus robuste des différentes sources d’information. Ce projet de stage s’inscrit dans la continuité de ces travaux et vise à les faire évoluer. L’objectif de ce stage est de travailler sur des données multimodales variées et de développer des approches permettant de combiner efficacement plusieurs sources d’information, même lorsque certaines modalités sont manquantes. 

Objectifs du stage

Avec l’essor des techniques d’apprentissage profond, il devient possible de concevoir des archi- tectures adaptées pour l’analyse multimodale des états affectifs. Le stage consistera à : 

• explorer et prétraiter des datasets multimodaux existants ; 

• concevoir et entraîner des modèles d’apprentissage profond pour la détection des états affectifs, en modalité unique ou multimodale ; 

• expérimenter différentes stratégies de fusion multimodale et de gestion des modalités man- quantes ; 

• évaluer les performances des modèles et analyser l’impact de la présence ou de l’absence de certaines modalités. 

Les travaux menés dans ce stage contribueront à l’avancement des méthodes robustes pour la reconnaissance des états affectifs à partir de données réelles et variées, avec des applications potentielles dans la santé, le bien-être et les interactions homme-machine. 

Contexte

Présentation du laboratoire

CESI LINEACT (UR 7527), Laboratoire d'Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l’industrie et au BTP. La proximité historique de CESI avec les entreprises est un élément déterminant pour nos activités de recherche, et a conduit à concentrer les efforts sur une recherche appliquée proche de l’entreprise et en partenariat avec elles. Une approche centrée sur l’humain et couplée à l’utilisation des technologies, ainsi que le maillage territorial et les liens avec la formation, ont permis de construire une recherche transversale ; elle met l’humain, ses besoins et ses usages, au centre de ses problématiques et aborde l’angle technologique au travers de ces apports. 

Sa recherche est organisée selon deux équipes scientifiques interdisciplinaires et plusieurs domaines applicatifs. 

L’équipe 1 "Apprendre et Innover" relève principalement des Sciences cognitives, Sciences sociales et Sciences de gestion, Sciences et techniques de la formation et celles de l’innovation. Les principaux objectifs scientifiques visés sont la compréhension des effets de l'environnement, et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs...) sur les processus d'apprentissage, de créativité et d’innovation. 

L’équipe 2 "Ingénierie et Outils Numériques" relève principalement des Sciences du Numérique et de l'Ingénierie. Les principaux objectifs scientifiques portent sur la modélisation, la simulation, l’optimisation et le pilotage de composants, systèmes et processus complexes et des interactions Humains-systèmes dans des systèmes cyber-physiques et jumeaux numériques. 

Ces deux équipes développent et croisent leurs recherches dans les domaines applicatifs de l'Industrie du Futur, de la Ville du Futur et des services numériques, soutenues par des plateformes de recherche, principalement celle de Rouen dédiée à l’Usine du Futur et celles de Nanterre dédiée à l’Usine et au Bâtiment du Futur. 

Compétences scientifiques et techniques :

• Bonne connaissance des méthodes d’apprentissage automatique et deep learning 

• Très bon niveau en programmation Python 

• Maîtrise des librairies PyTorch ou TensorFlow indispensable 

• Intérêt pour le traitement multimodal et la gestion de données manquantes 

Compétences relationnelles :

• Etre autonome, avoir un esprit d’initiative et de curiosité,

• Savoir travailler en équipe et avoir un bon relationnel,

• Etre rigoureux

• Communiquer efficacement avec son encadrant

Gratification à 15% du plafond horaire de la Sécurité Sociale

Date de début : Février 2026

Votre candidature devra comporter :

• Un Curriculum-Vitae ;

• Une lettre de motivation pour le sujet ;

• Notes du parcours (Licence ou autre) et du master en cours ; 

• Lettres de recommandation si disponibles.  

Références 

1. Amine Bohi, Yassine El Boudouri et Imad Sfeir. « A novel deep learning approach for facial emotion recognition : application to detecting emotional responses in elderly individuals with Alzheimer’s disease ». In : Neural Computing and Applications (2024), p. 1-19. 

2. Yassine El Boudouri et Amine Bohi. « EmoNeXt : an Adapted ConvNeXt for Facial Emo- tion Recognition ». In : 25th IEEE International Workshop on Multimedia Signal Processing. 2023. 

3. Varsha Devi, Amine Bohi et Pardeep Kumar. « AGCD-Net : Attention Guided Context Debiasing Network for Emotion Recognition ». In : arXiv preprint arXiv :2507.09248 (2025). 

4. Aafaf Ridouan, Amine Bohi et Youssef Mourchid. « Improving pain classification using spatio-temporal deep learning approaches with facial expressions ». In : Seventeenth Interna- tional Conference on Machine Vision (ICMV 2024). T. 13517. SPIE. 2025, p. 82-89. 

5. Ruhul Amin Khalil et al. « Speech emotion recognition using deep learning techniques : A review ». In : IEEE Access 7 (2019), p. 117327-11734. 

6. Mohamed Ala Yahyaoui et al. « Multi-Face Emotion Detection for Effective Human-Robot Interaction ». In : Proceedings of the ICAART conférence. 2025. 

7. Leila Ben Letaifa, Amine Bohi et Rim Slama. « The CG-MER Dyadic Multimodal Da- taset for Spontaneous French Conversations : Annotation, Analysis and Assessment Bench- mark ». In : Journal on Multimodal User Interfaces (2025).