Of individual and collaborative experiences : training and learning in immersive environments for medical education

Abstract

The ongoing digital transformation is fundamentally reshaping the landscape of medical education. Mixed Reality (MR) technologies contribute significantly to these advancements by introducing immer- sive simulations that enhance user engagement and learning outco- mes. However, designing such systems for educational purposes in- volves addressing interdisciplinary challenges. A crucial aspect of this process is understanding students’ needs and the pedagogical frame- work while integrating technological considerations. Therefore, the overarching question in this thesis is: How can immersive experiences be designed to enrich medical education? The first part of this work addresses the design of virtual environ- ments by exploring the impact of visual and interactive fidelity in medical task simulations. This investigation provides a practical fra- mework for balancing realism, development effort, and user needs. The findings indicate that higher fidelity enhances the user experi- ence, while no significant differences in task performance were obser- ved across the selected interaction modalities. The second part focuses on the field of anatomical education and introduces a fully immersive virtual environment designed to foster individual knowledge construction. Through interdisciplinary colla- boration, a system was developed that leverages natural hand inter- action to enhance understanding of embryonic heart development. The results indicate that effective visualizations in MR must strike a balance between simplicity and sufficient contextual detail, while in- teractions should cater to varying levels of user expertise and spatial reasoning. Furthermore, when this application was used as a supple- mentary learning tool during exam preparation by medical students, it demonstrated a measurable knowledge gain. Building on these insights, the third part focuses on the develop- ment of collaborative approaches across different MR systems and compares them to individual learning applications. The study conclu- ded that there were no significant differences in educational outcomes between individual learning environments and collaborative setups, as both effectively supported knowledge acquisition for embryonic heart development. While individual environments facilitated lear- ning with greater user control, collaborative approaches enhanced social presence and teamwork dynamics. The final part extends the focus to advanced practical training in the context of liver surgery. A cross-modality MR-based platform was developed to explore different modalities and learning approaches using curated clinical use cases. A study involving teachers and stu- dents demonstrated the potential of this cross-modality system to ef- fectively support both collaborative and explorative learning in liver surgery education. This thesis explores how user-centered principles can guide the de- sign of MR systems for medical education, addressing technical and pedagogical challenges through varied technologies, learning approa- ches, and interaction principles. It further advances understanding by examining human-computer interaction methods and interaction de- sign decisions to improve MR-based educational tools.

Die fortschreitende digitale Transformation verändert die Land- schaft der medizinischen Ausbildung grundlegend. Mixed-Reality- Technologien (MR) tragen wesentlich zu diesen Fortschritten bei, in- dem sie immersive Simulationen ermöglichen, die sowohl die Mo- tivation der Lernenden erhöhen als auch das Lernen verbessern. Die Entwicklung solcher Systeme erfordert jedoch die Bewältigung interdisziplinärer Herausforderungen. Ein zentraler Aspekt dabei ist das Verständnis der Bedürfnisse von Lernenden und der päd- agogischen Rahmenbedingungen, während gleichzeitig technologis- che Überlegungen einbezogen werden müssen. Die zentrale Fragestel- lung dieser Arbeit lautet daher: Wie können immersive Erlebnisse gestaltet werden, um die medizinische Ausbildung zu bereichern? Der erste Teil dieser Arbeit beschäftigt sich mit der Gestaltung virtueller Umgebungen, indem der Einfluss visueller und interaktiver Qualitäten in medizinischen Aufgabensimulationen untersucht wird. Diese Untersuchung liefert einen praxisorientierten Rahmen, um Re- alismus, Entwicklungsaufwand und Benutzerbedürfnisse in Einklang zu bringen. Die Ergebnisse zeigen, dass eine höhere visuelle Qualität die Nutzererfahrung verbessert, während bei den gewählten Interak- tionsmodalitäten keine signifikanten Unterschiede in der Aufgaben- leistung festgestellt wurden. Der zweite Teil konzentriert sich auf den Bereich der anatomischen Ausbildung und stellt eine vollständig immersive virtuelle Umge- bung vor, die darauf ausgelegt ist, individuelle Wissensbildung zu fördern. In einer interdisziplinären Zusammenarbeit wurde ein Sys- tem entwickelt, das natürliche Interaktionen nutzt, um das Verständ- nis der embryonalen Herzentwicklung zu verbessern. Die Ergeb- nisse zeigen, dass effektive Visualisierungen in MR ein Gleichgewicht zwischen Einfachheit und ausreichendem kontextuellem Detail finden müssen, während die Interaktionen auf unterschiedliche Kompetenzstufen und räumliches Vorstellungsvermögen der Nutzer abgestimmt sein sollten. Darüber hinaus wurde bei der Verwen- dung dieses Systems als unterstützendes Lernwerkzeug während der Prüfungsphase von Medizinstudierenden ein messbarer Wis- senszuwachs festgestellt. Aufbauend auf diesen Erkenntnissen befasst sich der dritte Teil mit der Entwicklung kollaborativer Ansätze auf verschiedenen MR- Systemen und vergleicht diese mit individuellen Lernanwendun- gen. Die Studie ergab keine signifikanten Unterschiede in den Lern- ergebnissen zwischen individuellen Lernumgebungen und kollabo- rativen Ansätzen, jedoch unterstützten beide effektiv die Wissensver- mittlung zur embryonalen Herzentwicklung. Während individuelle Umgebungen das Lernen durch mehr Benutzerkontrolle erleichterten, verbesserten kollaborative Ansätze die soziale Interaktion und die Teamdynamik. Der abschließende Teil erweitert den Fokus auf einen fortgeschrit- tenen Ausbildungszweig im Kontext der Leberchirurgie. Eine plat- tformübergreifende MR-basierte Anwendung wurde entwickelt, um verschiedene Modalitäten und Lernansätze mithilfe kuratierter klinis- cher Anwendungsfälle zu erforschen. Eine Studie mit Lehrenden und Studierenden zeigte das Potenzial dieses plattformübergreifenden Systems, um sowohl kollaboratives als auch exploratives Lernen in der Leberchirurgie-Ausbildung effektiv zu unterstützen. Diese Arbeit untersucht, wie nutzerzentrierte Prinzipien die Gestal- tung von MR-Systemen für die medizinische Ausbildung leiten kön- nen, indem technische und pädagogische Herausforderungen durch unterschiedliche Technologien, Lernansätze und Interaktionsprinzip- ien adressiert werden. Sie erweitert das Verständnis, indem Metho- den und Interaktionsdesign-Entscheidungen analysiert werden, um MR-basierte Systeme für die medizinische Ausbildung zu verbessern.