Titre: Collaboration à distance grâce à des multi-jumeaux numériques interfacés en réalité étendue pour la formation centrée sur l’humain 

Résumé

Une formation à distance immersive comme si vous étiez sur place grâce aux jumeaux numériques.

Mots clés : Réalité Étendue, Multi-jumeaux Numériques, Interaction Homme-Machine, Apprentissage Collaboratif à distance, Évaluation

Le résumé :

Cette thèse propose de concevoir une plateforme immersive centrée sur l’humain, permettant à des experts et des opérateurs distants permettant d’interagir de manière naturelle et collaborative autour de multi-jumeaux numériques d’outils pédagogiques. En s’appuyant sur la réalité étendue, l’environnement envisagé dépasse les limites des formations classiques en ligne en introduisant des représentations numériques interactives et manipulables de machines/robots et d’outils, offrant ainsi une expérience plus riche et plus proche des situations réelles de formation. L’originalité de cette approche réside dans l’intégration de différents niveaux de collaboration au sein d’un même espace immersif, incluant les interactions directes entre expert et opérateurs, les interactions hybrides où des utilisateurs présents sur site collaborent avec d’autres à distance autour des jumeaux numériques simulant des outils pédagogiques. De plus, cette solution permettrait les interactions spécifiques entre l’expert et l’ensemble des jumeaux numériques proposés, ainsi que la communication autonome entre les jumeaux numériques eux-mêmes. La contribution attendue se situe dans la proposition d’une architecture ou d’un framework pour une plateforme XR innovante, visant à soutenir la formation et l'assistance collaborative à distance, accompagnée d’un prototype de preuve de concept (POC) démontrant la faisabilité de l’approche. Des évaluations seront également réalisées afin de mesurer l’utilisabilité, l’acceptabilité et l’impact de cette contribution sur les processus d’apprentissage.

Travaux de recherche

Contexte Scientifique 

La quatrième révolution industrielle, ou Industrie 4.0 (I4.0), a émergé en 2011, en mettant l’accent sur la numérisation et l’automatisation des processus industriels afin d’améliorer la qualité et la fiabilité des systèmes. Dans ce contexte, la maintenance constitue l’un des processus les plus coûteux pour l’industrie. L’I4.0 a permis le développement de nouvelles stratégies de maintenance, telles que la maintenance prédictive, qui anticipe les pannes à partir des données collectées par des capteurs, et la maintenance prescriptive, qui propose des actions correctives basées sur ces données. Ces stratégies contribuent à réduire les coûts de maintenance et à générer des économies substantielles.

Cependant, la complexité croissante des équipements industriels rend nécessaire un accès simplifié à l’information pour les opérateurs. L’assistance à distance est ainsi devenue essentielle, notamment dans les situations où le déplacement d’experts est difficile ou coûteux. Dans le cadre de l’Industrie 5.0 (Maddikunta et al., 2022 ; Guo et al., 2024), une approche centrée sur l’humain intégrant les technologies de Réalité Étendue (XR) — telles que la Réalité Augmentée (AR) et la Réalité Mixte (MR) — offre des solutions innovantes pour renforcer la collaboration à distance, en permettant à un opérateur sur site d’interagir avec un expert sans nécessiter sa présence physique.

Les travaux récents de Coupry et al. (2023) ont démontré le potentiel de la Réalité Virtuelle (VR) et de la Réalité Mixte (MR) pour faciliter les activités d’inspection et de maintenance d’équipements industriels, ainsi que les phases de formation associées. En utilisant des Jumeaux Numériques (DT) intégrés dans des environnements XR (XR DT), fondés sur des modèles numériques d’équipements, ces technologies permettent aux experts de guider les opérateurs à distance tout en leur offrant un environnement virtuel interactif en temps réel. L’objectif est d’assurer une collaboration efficace et de garantir l’interopérabilité des outils entre l’expert et l’opérateur, quelle que soit leur localisation. En s’appuyant sur ces travaux, la présente étude vise à étendre ces approches afin de soutenir la collaboration à distance entre plusieurs utilisateurs.

La littérature scientifique montre un intérêt croissant pour l’utilisation combinée des outils XR et DT afin de permettre la collaboration à distance lors des opérations de maintenance (Coupry et al., 2021). Ces innovations deviennent cruciales dans le contexte de l’Industrie 5.0, où la complexité des systèmes et des processus augmente, entraînant un besoin accru de connaissance approfondie de ces systèmes (Shaheen et Németh, 2022). Dans ce cadre, un opérateur sur le terrain peut avoir besoin de l’assistance d’un expert pour effectuer certaines opérations de maintenance, notamment lorsqu’il n’est pas familier avec un équipement ou une procédure spécifique (van Lopik et al., 2020). Il peut donc être nécessaire de faire appel à un expert extérieur, qui n’est pas toujours présent sur site, voire appartenant à une autre entreprise. Les circonstances liées à la pandémie de COVID-19 et à la hausse des coûts de déplacement ont mis en évidence la nécessité de nouvelles méthodes de collaboration ne reposant pas sur la présence physique de l’expert. Cette nécessité est d’autant plus forte lorsque plusieurs opérateurs, répartis sur différents sites, doivent être formés simultanément.

Sujet 

Au-delà des usages industriels de la réalité étendue (XR) et des jumeaux numériques (DT), largement étudiés pour l’assistance à la maintenance à distance, il existe désormais un besoin croissant d’explorer leur potentiel dans le domaine de l’apprentissage collaboratif (Van Der Meer et al., 2023) et de la formation au sein de Virtual Learning Factories (VLF) (Havard et al., 2023). En effet, la complexité des environnements industriels et la diversité des compétences à acquérir nécessitent de nouvelles approches capables de rendre l’apprentissage à distance plus immersif et plus interactif.

Dans de nombreuses situations, les apprenants peuvent être amenés à utiliser un instrument ou à réaliser une tâche sans avoir encore acquis les connaissances nécessaires. Le soutien d’un enseignant ou d’un expert est donc essentiel, mais leur présence physique n’est pas toujours possible, notamment lorsque la formation implique plusieurs apprenants répartis sur différents sites. Pour répondre à ce besoin, un nombre croissant d’outils et de plateformes sont aujourd’hui conçus et développés. C’est notamment le cas des Virtual Learning Factories (VLF), dont l’objectif est de recréer un environnement industriel immersif favorisant l’apprentissage des métiers, des procédures et des compétences.

Une Virtual Learning Factory est un environnement éducatif dynamique reposant sur des représentations numériques interactives et des simulations destinées à faciliter l’apprentissage expérientiel et le développement de compétences liées à des systèmes et processus industriels, opérationnels, organisationnels ou socio-techniques. Son objectif principal est de permettre aux participants de s’impliquer activement en concevant, analysant, opérant, gérant, prenant des décisions et optimisant ces systèmes simulés dans un cadre contrôlé, adaptable et souvent sans risque. Par cette approche, les VLF visent à développer une compréhension conceptuelle approfondie, des capacités de résolution de problèmes, une pensée critique et la maîtrise d’environnements complexes et interconnectés.

Ce travail s’inscrit dans le cadre du projet VLF4EU, qui vise à développer une plateforme européenne intégrant des Virtual Learning Factories immersives.

Cependant, il n’existe à ce jour aucune plateforme immersive dédiée qui intègre pleinement les VLF dans un contexte de formation. Dans ce cadre, les environnements XR améliorent certes la présence, la manipulation et la collaboration, mais les approches actuelles demeurent limitées à des scénarios individuels ou à des interactions simples. Peu d’études ont réellement exploré la coordination multi-utilisateurs (Wang P. et al., 2025).

Cette thèse vise principalement à combler cette lacune en développant une plateforme immersive centrée sur l’humain, orientée vers l’apprentissage collaboratif à distance, reposant sur des jumeaux numériques multiples de Virtual Learning Factories et d’équipements industriels. L’originalité de cette approche réside dans l’intégration, au sein d’un même environnement XR, de quatre formes essentielles de collaboration :

•         les interactions entre experts/formateurs et opérateurs/apprenants,

•         les interactions entre opérateurs/apprenants et jumeaux numériques,

•         les interactions entre experts/formateurs et l’ensemble des jumeaux numériques,

•         les échanges entre les jumeaux numériques eux-mêmes.

Par exemple, le système proposé pourrait prendre la forme d’un environnement virtuel multi-utilisateurs intégrant plusieurs jumeaux numériques issus de différents équipements. Dans cet environnement, les opérateurs/apprenants pourraient interagir non seulement avec les jumeaux numériques, mais aussi entre eux et avec l’expert ou le formateur, favorisant ainsi des expériences d’apprentissage collaboratif. De plus, les jumeaux numériques eux-mêmes pourraient interagir et échanger des données — par exemple, des paramètres ou des résultats issus de simulations ou d’opérations réelles — créant ainsi un écosystème d’apprentissage dynamique et interconnecté.

L’objectif final est de proposer une solution innovante visant à améliorer le transfert de connaissances, enrichir l’expérience d’apprentissage à distance et établir une méthodologie d’évaluation de ces nouveaux environnements immersifs.

Figure 1 - XR DT of the industry 5.0 CESI platform

Travaux prioritaires du laboratoire

Le laboratoire CESI LINEACT mène des travaux de recherche approfondis à l’intersection de la Réalité Étendue (XR) et des Jumeaux Numériques (DT), avec un fort accent sur les applications industrielles, les environnements collaboratifs et l’innovation pédagogique. L’un des axes majeurs de recherche concerne la modélisation et la conception architecturale de jumeaux numériques directement interfacés avec les systèmes XR (AR, MR, VR) (Courallet et al., 2025 ; Havard et al., 2019 ; Rabah, 2018 ; Richard et al., 2021 ; Sow et al., 2023). Ces environnements intégrés sont utilisés pour simuler des scénarios et des systèmes industriels, permettant ainsi des applications avancées telles que la formation des opérateurs, la maintenance à distance ou la validation de tâches. L’objectif est de réduire les erreurs humaines, améliorer la sécurité et optimiser l’efficacité opérationnelle globale. Afin de garantir la robustesse et l’interopérabilité des systèmes, le laboratoire étudie différentes architectures technologiques, en s’appuyant notamment sur des standards industriels tels qu’OPC-UA pour assurer l’échange de données en temps réel entre dispositifs physiques, jumeaux numériques et interfaces XR (Havard et al., 2023). Les recherches portent également sur le calcul en périphérie (edge computing), l’informatique en nuage (cloud computing), l’optimisation des données et l’intégration de l’IIoT (Industrial Internet of Things), afin d’améliorer la réactivité des systèmes et la qualité de la collaboration (Kamdjou et al., 2024).Un autre axe central concerne les interactions collaboratives et à distance fondées sur l’usage combiné de la XR et des jumeaux numériques. CESI LINEACT explore notamment des configurations où des opérateurs locaux travaillent en réalité augmentée (AR), tandis que des experts distants interviennent en réalité virtuelle (VR), tous interagissant avec le même jumeau numérique (Coupry et al., 2023). Ces dispositifs soutiennent la planification des missions, la supervision et la prise de décision en temps réel. Ils incluent également des cas d’usage tels que le pilotage à distance de robots, permettant aux experts de définir des tâches via des interfaces immersives.L’éducation constitue enfin un axe stratégique majeur. À travers les projets JENII (Jumeaux d’Enseignement Numériques, Immersifs et Interactifs) et VLF4EU, le CESI développe des démonstrateurs pédagogiques immersifs reposant sur la XR et les jumeaux numériques de sa plateforme Industrie 5.0. Ces nouveaux environnements d’apprentissage sont notamment exploités dans les formations en ingénierie industrielle et en informatique (Havard et al., 2023).

Plan d’action

Année 1 : Analyse, conception théorique et définition des cas d’usage

Revue de littérature (SLR) :

·        Étudier les travaux existants sur les jumeaux numériques appliqués aux learning factories, à l’éducation et aux outils pédagogiques.

·        Explorer les approches XR collaboratives (réalité mixte, réalité virtuelle, réalité augmentée) et leurs applications dans la formation à distance.

·        Analyser les dispositifs matériels disponibles (casques XR, systèmes de suivi des mains, interfaces haptiques).

·        Réaliser une analyse critique des plateformes collaboratives immersives existantes.

Conception des fondations de la plateforme :

·        Définir et modéliser les quatre types de collaboration à intégrer dans la plateforme.

·        Élaborer un modèle conceptuel décrivant les interactions entre les utilisateurs, les enseignants et les jumeaux numériques.

·        Identifier les scénarios pédagogiques pertinents.

Production scientifique attendue :

·        Rédaction d’un premier article de revue systématique de la littérature (SLR).

Année 2 : Développement, prototypage et premières expérimentations

·        Développement du prototype de la plateforme DT-XR.

·        Réalisation des premières expérimentations afin d’évaluer la faisabilité de la solution.

·        Soumission d’un article présentant l’architecture de la plateforme et le premier prototype.

Année 3 : Évaluation et validation de la solution

·        Mise en place d’une ou plusieurs expérimentations pour évaluer la solution.

·        Validation par la mise en application, afin d’étudier les usages, les performances et les limites du système.

·        Rédaction du manuscrit et soutenance de la thèse de doctorat.

·        Soumission d’un article de journal présentant l’ensemble des travaux réalisés.

Rédaction du manuscrit

Production scientifique et technique attendue

·        Rédaction d’un premier article de revue systématique de la littérature (SLR).

·        Développement de la plateforme immersive multi–jumeaux numériques.

·        Soumission d’un article de conférence présentant l’architecture de la plateforme et le premier prototype.

·        Soumission d’un article de revue présentant la validation de la solution.

Contexte

Présentation du Laboratoire

CESI LINEACT (UR 7527) — Laboratoire de l’Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires — anticipe et accompagne les mutations technologiques des secteurs et services liés à l’industrie et à la construction.

La proximité historique du CESI avec les entreprises constitue un élément déterminant de ses activités de recherche. Elle a conduit le laboratoire à concentrer ses efforts sur une recherche appliquée, menée au plus près des besoins des entreprises et en partenariat étroit avec elles.

Une approche centrée sur l’humain, associée à l’usage des technologies, à la mise en réseau territoriale et à des liens forts avec la formation, a permis de construire une recherche transversale, plaçant l’humain, ses besoins et ses usages au cœur des problématiques, tout en abordant l’angle technologique à travers ces contributions.

Les travaux de recherche du CESI LINEACT s’articulent autour de deux équipes scientifiques interdisciplinaires et de plusieurs domaines d’application :

Équipe 1 — « Apprendre et Innover » :

Cette équipe mobilise principalement les sciences cognitives, les sciences sociales, les sciences de gestion, ainsi que les techniques de formation et d’innovation.

Ses objectifs scientifiques portent sur la compréhension des effets de l’environnement, et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs, etc.) sur les processus d’apprentissage, de créativité et d’innovation.

Équipe 2 — « Ingénierie et Outils Numériques » :

Cette équipe s’inscrit dans le champ des sciences du numérique et de l’ingénierie.

Ses principaux objectifs scientifiques concernent la modélisation, la simulation, l’optimisation et l’analyse de données des systèmes cyber-physiques. Les travaux portent également sur les outils d’aide à la décision et sur l’étude des interactions humain-système, notamment à travers les jumeaux numériques couplés à des environnements virtuels ou augmentés.

Ces deux équipes développent et croisent leurs recherches dans plusieurs domaines d’application, parmi lesquels :

•         l’Industrie 5.0,

•         la Construction 4.0 et la Ville Durable,

•         les Services Numériques.

Ces axes s’appuient sur des plateformes de recherche, notamment celle de Rouen dédiée à la Factory 5.0, et celles de Nanterre consacrées à la Factory 5.0 et à la Construction 4.0.

Lien avec les axes de recherche de l’équipe impliquée

Le sujet s’inscrit dans le thème Scene underStanding for Human-System Interaction (S2HSI) de l’équipe Ingénierie et Outils Numériques du CESI LINEACT, et plus particulièrement dans le domaine des environnements XR couplés à des jumeaux numériques.

Ce travail s’appuiera sur les résultats antérieurs du laboratoire dans ce champ, tels que décrits dans la section « Travaux antérieurs ».

Organisation

Financement: VLF4EU project: https://vlf4eu-project.eu/

Localisation: Montpellier

Date de début: 5 Janvier

Durée: 3 ans

Encadrement:

Assila Ahlem, Enseignante chercheuse

Noblecourt Sylvain, Enseignant chercheur

Baudry David, Directeur de recherche CESI

Bibliographie:

Coupry, C., Richard, P., Bigaud, D., Noblecourt, S., Baudry, D., 2023. The Value of Extended Reality Techniques to Improve Remote Collaborative Maintenance Operations: A User Study. Presented at the CONVR2023 - 23rd International Conference on Construction Applications of Virtual Reality “MANAGING THE DIGITAL TRANSFORMATION OF CONSTRUCTION INDUSTRY,” p. 23. https://doi.org/10.36253/979-12-215-0289-3.03

Courallet, A., Havard, V., Baudry, D., 2025. Authoring framework for industrial XR digital twin and autonomous agent: a proof of concept, in: 2025 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). Presented at the 2025 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), pp. 1214–1215. https://doi.org/10.1109/VRW66409.2025.00253

Guo, J., Leng, J., Zhao, J.L., Zhou, X., Yuan, Y., Lu, Y., Mourtzis, D., Qi, Q., Huang, S., Song, X., Liu, Q., Wang, L., 2024. Industrial metaverse towards Industry 5.0: Connotation, architecture, enablers, and challenges. J. Manuf. Syst. 76, 25–42. https://doi.org/10.1016/j.jmsy.2024.07.007

Havard, V., Courallet, A., Baudry, D., Delalin, H., 2023. Digital Twin, Virtual Reality and OPCUA-based architecture for pedagogical scenarios in Manufacturing and Computer Sciences curriculum. Presented at the 13th Conference on Learning Factories, Reutlingen, Germany. https://dx.doi.org/10.2139/ssrn.4457032

Havard, V., Jeanne, B., Lacomblez, M., Baudry, D., 2019. Digital twin and virtual reality: a co-simulation environment for design and assessment of industrial workstations. Prod. Manuf. Res. 7, 472–489. https://doi.org/10.1080/21693277.2019.1660283

Kamdjou, H.M., Baudry, D., Havard, V., Ouchani, S., 2024. Resource-Constrained EXtended Reality Operated With Digital Twin in Industrial Internet of Things. IEEE Open J. Commun. Soc. 5, 928–950. https://doi.org/10.1109/OJCOMS.2024.3356508

Maddikunta, P.K.R., Pham, Q.-V., B, P., Deepa, N., Dev, K., Gadekallu, T.R., Ruby, R., Liyanage, M., 2022. Industry 5.0: A survey on enabling technologies and potential applications. J. Ind. Inf. Integr. 26, 100257. https://doi.org/10.1016/j.jii.2021.100257

Rabah, S., 2018. Towards improving the future of manufacturing through digital twin and augmented reality technologies. Procedia Manuf. 17, 460–467. https://doi.org/10.1016/j.promfg.2018.10.070

Richard, K., Havard, V., His, J., Baudry, D., 2021. INTERVALES: INTERactive Virtual and Augmented framework for industriaL Environment and Scenarios. Adv. Eng. Inform. 50, 101425. https://doi.org/10.1016/j.aei.2021.101425

Sow, M.C., Assila, A., Garcia, D., Martinez, S., Zghal, M., Baudry, D., 2023. Towards the Development of a Digital Twin for Micro Learning Factory: A Proof of Concept, in: De Paolis, L.T., Arpaia, P., Sacco, M. (Eds.), Extended Reality, Lecture Notes in Computer Science. Springer Nature Switzerland, Cham, pp. 284–298. https://doi.org/10.1007/978-3-031-43401-3_19

Van Der Meer, Nesse, Vivian Van Der Werf, Willem-Paul Brinkman, et Marcus Specht. « Virtual Reality and Collaborative Learning: A Systematic Literature Review ». Frontiers in Virtual Reality 4 (mai 2023): 1159905. https://doi.org/10.3389/frvir.2023.1159905.

Compétences scientifiques et techniques : Python, C#, Unity 

Compétences relationnelles :

·        Autonomie, initiative, curiosité

·        Capacité à travailler en équipe et bonnes aptitudes relationnelles

Rigueur

Maîtrise de l'anglais