Simulaid
Home Projekte Simulaid

Simulaid – Mixed Reality Training für kritische Situationen

Simulaid ist ein Forschungsprojekt zur Entwicklung einer Mixed-Reality-Applikation, die Medizinstudierende beim Training verschiedener Notfallszenarien unterstützt. Sie ist in die bestehende Simulationsumgebung des Inselspitals Bern integriert und erweitert diese durch immersive Elemente. Einerseits werden Krankheitsbilder in verschiedenen Stadien visuell eingeblendet, andererseits werden Interaktion und Kommunikationsfähigkeit der Studierenden analysiert und mittels interaktiver Elemente erforscht. Ziel ist es, das Zusammenspiel von Wahrnehmung, Kommunikation und Handeln in Extremsituationen nicht nur zu trainieren, sondern auch als Grundlage für die Reflexion im Lernprozess zugänglich zu machen.

Das Projekt verbindet reale medizinische Simulation mit digitalen MR-Erweiterungen und schafft damit ein hybrides Trainingssystem in der Forschungsumgebung.


Image
Image

Projekthintergrund

  • Mixed Reality (MR)-gestützte Simulation mit visuellen und auditiven Hinweisen (z. B. Rötungen, Zyanose, Atemgeräusche)
  • Interaktionsfragen während des Trainings: Die Ausbildungsleitung kann situative Fragen einblenden und so das Situationsbewusstsein der Studierenden überprüfen
  • Eye-Tracking: Erfassung von Blickbewegungen und Aufmerksamkeitsfokus
  • Echtzeitsteuerung: Eskalationsstufen können über den Kommandoraum der Ausbildungsleitung live angepasst werden
  • Pilotfälle: Akutes Koronarsyndrom, Anaphylaxie nach Insektenstich
  • Technischer Aufbau: Anwendung auf der Microsoft HoloLens 2 (Unity-basiert)
  • Externe Steuerung über eine webbasierte Benutzeroberfläche zur Anpassung von Eskalationsstufen, Szenarien und Interaktionsfragen
  • Datenerfassung: Speicherung von Eye-Tracking-Daten, Kommunikationsverläufen und Antworten zur Analyse, zum Monitoring und zur Weiterverarbeitung
  • Analysefähigkeit: Kombination von Eye-Tracking- und Interaktionsdaten zur präzisen Auswertung von Wahrnehmungs- und Entscheidungsverhalten

Projektziele

  • Co-Creation mit der Ausbildungsleitung: Entwicklung in enger Zusammenarbeit mit leitenden Ärzt*innen des Notfallzentrums des Inselspitals Bern

  • Wissenschaftliche Evaluation: Forschung und Auswertung durch das Inselspital Bern

  • Immersives und intuitives Lernen: Entwicklung verständlicher Notfallszenarien mit Fokus auf Kommunikation, audiovisuelle Erweiterungen, systematisches Tracking und intuitive Vermittlung

  • Integration: Entwicklung für bestehende Infrastruktur

Entwicklungsstand & Ausblick

Das Projekt befindet sich in Weiterentwicklung unter dem Projekttitel ARISE — Augmented Reality (AR) and Artificial Intelligence (AI) Enhanced Simulation Education.

InselSpitalBern

Mixed Reality