Simulaid – Mixed Reality Training für kritische Situationen
Simulaid ist ein Forschungsprojekt zur Entwicklung einer Mixed-Reality-Applikation, die Medizinstudierende beim Training verschiedener Notfallszenarien unterstützt. Sie ist in die bestehende Simulationsumgebung des Inselspitals Bern integriert und erweitert diese durch immersive Elemente. Einerseits werden Krankheitsbilder in verschiedenen Stadien visuell eingeblendet, andererseits werden Interaktion und Kommunikationsfähigkeit der Studierenden analysiert und mittels interaktiver Elemente erforscht. Ziel ist es, das Zusammenspiel von Wahrnehmung, Kommunikation und Handeln in Extremsituationen nicht nur zu trainieren, sondern auch als Grundlage für die Reflexion im Lernprozess zugänglich zu machen.
Das Projekt verbindet reale medizinische Simulation mit digitalen MR-Erweiterungen und schafft damit ein hybrides Trainingssystem in der Forschungsumgebung.
Projekthintergrund
- Mixed Reality (MR)-gestützte Simulation mit visuellen und auditiven Hinweisen (z. B. Rötungen, Zyanose, Atemgeräusche)
- Interaktionsfragen während des Trainings: Die Ausbildungsleitung kann situative Fragen einblenden und so das Situationsbewusstsein der Studierenden überprüfen
- Eye-Tracking: Erfassung von Blickbewegungen und Aufmerksamkeitsfokus
- Echtzeitsteuerung: Eskalationsstufen können über den Kommandoraum der Ausbildungsleitung live angepasst werden
- Pilotfälle: Akutes Koronarsyndrom, Anaphylaxie nach Insektenstich
- Technischer Aufbau: Anwendung auf der Microsoft HoloLens 2 (Unity-basiert)
- Externe Steuerung über eine webbasierte Benutzeroberfläche zur Anpassung von Eskalationsstufen, Szenarien und Interaktionsfragen
- Datenerfassung: Speicherung von Eye-Tracking-Daten, Kommunikationsverläufen und Antworten zur Analyse, zum Monitoring und zur Weiterverarbeitung
- Analysefähigkeit: Kombination von Eye-Tracking- und Interaktionsdaten zur präzisen Auswertung von Wahrnehmungs- und Entscheidungsverhalten
Projektziele
Co-Creation mit der Ausbildungsleitung: Entwicklung in enger Zusammenarbeit mit leitenden Ärzt*innen des Notfallzentrums des Inselspitals Bern
Wissenschaftliche Evaluation: Forschung und Auswertung durch das Inselspital Bern
Immersives und intuitives Lernen: Entwicklung verständlicher Notfallszenarien mit Fokus auf Kommunikation, audiovisuelle Erweiterungen, systematisches Tracking und intuitive Vermittlung
Integration: Entwicklung für bestehende Infrastruktur