Simulaid – Mixed Reality Training für kritische Situationen
Wie reagieren medizinische Teams, wenn Sekunden über Leben und Tod entscheiden?
Simulaid verbindet reale Notfallsimulation mit Augmented Reality, Eye Tracking und der Situation Awareness Global Assessment Technique (SAGAT).
Das System macht sichtbar, was sonst unsichtbar bleibt – wie gut Teams ihre Umgebung wahrnehmen, Informationen richtig deuten und die nächsten Schritte antizipieren.
Ziel ist es, das Zusammenspiel von Wahrnehmung, Kommunikation und Handeln in Extremsituationen nicht nur zu trainieren, sondern auch messbar zu machen.
Features
Das Projekt kombiniert physisches Stadtmodell und digitale Erweiterung zu einem hybriden System:
AR-gestützte Simulation mit visuellen und auditiven Hinweisen (z. B. Blässe, Zyanose, Atemgeräusche)
-
Virtuelle Auskultation über Button statt Stethoskop – Geräusche direkt in den Kopfhörern
-
SAGAT-Fragen (Situation Awareness Queries) mitten im Training – Szenario friert kurz ein, Hintergrund wird geblurrt
-
Eye Tracking zur Erfassung von Blickbewegungen und Aufmerksamkeitsfokus
-
Echtzeit-Steuerung der Eskalationsstufen über den Kommandoraum
-
Zwei Pilotfälle:
-
Akutes Koronarsyndrom (NSTEMI) – Patientin mit Brustdruck, progrediente Instabilität
-
Anaphylaxie nach Insektenstich – Velokurier mit zunehmender Atemnot und allergischer Reaktion
-
Aktueller Stand
Die AR-Umgebung läuft auf HoloLens 2 und wird über eine zentrale Weboberfläche gesteuert.
Ein Unity-basiertes System zeigt die virtuellen Effekte direkt im Sichtfeld der Teilnehmenden, während im Hintergrund ein SignalR-Netzwerk die Verbindung zwischen Kommandoraum und Brillen synchron hält.
Daten zu Blickverläufen, Interaktionen und SAGAT-Antworten werden in Azure CosmosDB gespeichert und können für wissenschaftliche Auswertungen analysiert werden.
So entsteht eine robuste Plattform, die reale Simulation, AR und Datenanalyse nahtlos verbindet.
Weiterentwicklung & Ausblick
Simulaid befindet sich aktuell in der Pilotphase.
In den nächsten Schritten wird das System erweitert, um:
weitere medizinische Szenarien zu integrieren,
die Datenanalyse zu automatisieren (Eye Tracking × Antwortverhalten),
und das Trainingsfeedback in Echtzeit anzuzeigen.
Langfristig soll Simulaid ein vielseitiges Werkzeug werden – für Aus- und Weiterbildung, Forschung und Qualitätssicherung im medizinischen Umfeld.
Ein System, das nicht nur Skills trainiert, sondern Bewusstsein schärft.
