Interaktives XR-Erlebnis mit Azure Kinect
Dieses faszinierende, immersive 3D-Spiel wird mit Hilfe von Bewegungen des menschlichen Körpers gesteuert. Arm- und Handbewegungen interagieren mit den Spielelementen, die auf einen Bildschirm projiziert werden. Dies ist eine wirklich beeindruckende Anwendung von Spatial Computing.
Projekt
An der DevOps Fusion 2020 wollte sich PostFinance beim technologieaffinen Fachpublikum als attraktive und innovative Arbeitgeberin positionieren und benötigte ein interaktives Spielerlebnis für ihren Standauftritt. Um die Ingenieure an der DevOps Messe zu beeindrucken, musste etwas Neuartiges und noch nie Dagewesenes her. afca. nahm die Herausforderung an, ein Spiel zu entwickeln, dass die neuesten Innovationen des Spatial Computing einsetzt und die räumliche Sensortechnologie der Microsoft Azure Kinect nutzt.
Das Standkonzept wurde in Zusammenarbeit mit den Experten für Messestände der nuance Veranstaltungstechnik GmbH realisiert. Mit einer auffälligen Traversenkonstruktion sollte sich die PostFinance von den umliegenden Ausstellern mit ihren herkömmlichen Standardstandbauten abheben. Bei der Entwicklung des Spiels wurde besonderes Augenmerk darauf gelegt, dass die Installation mit wenig Aufwand für andere Auftritte angepasst werden kann.
Infolge der Covid-bedingten Absagen von Veranstaltungen feierte das Spiel seine Premiere erst an der DevOps Fusion 2021. PostFinance hat das Spiel seither an verschiedenen Messen und Veranstaltungen erfolgreich eingesetzt.
Spielkonzept
Die Rückwand des Standes wird von einer Leinwand gebildet, auf die das interaktive Spiel projiziert wird. In einem bestimmten Bereich des Standes, der dem Sichtfeld der Azure Kinect entspricht, werden die Besucher*innen automatisch erfasst. Ihre Arm- und Handbewegungen werden direkt in das Spiel übertragen und beeinflussen so unmittelbar das Geschehen auf der Rückwand. Auf diese Weise werden Standbesucher*innen automatisch zu interagierenden Teilen des Spiels.
Ziel des Spiels ist es, eine Spielfigur (einen Käfer / Bug) in angezeigter Farbe in das Einfanggefäss von PostFinance zu bewegen. Dies geschieht durch Interaktion mit einem Netzstrang. Der so gefressene Käfer taucht immer wieder auf der Netzschnur auf, was das Spiel endlos macht und den Standbesucher*innen erlaubt zu jedem Zeitpunkt in das Spiel einsteigen zu können. Die grafischen Elemente des Spiels, sowohl der Käfer als auch die Netzschnur, sind an eine aktuelle IT-Kampagne angelehnt. Ein QR-Code leitet die Besucher*innen auf eine Website, auf der sie an einer Verlosung teilnehmen können.
Technische Umsetzung
Als Projektionsgerät wird ein Kurzdistanzbeamer verwendet, so dass der Rückwandrahmen des Standes zugleich als Aufhängung genutzt werden kann. Die Azure Kinect-Kamera wird so montiert, dass ihr Interaktionsfeld einen bestimmten Bereich vor der Leinwand abdeckt. Es handelt sich um ein hochmodernes Entwicklerkit für Spatial Computing mit fortschrittlichen Funktionen für maschinelles Sehen, erweiterten KI-Sensoren sowie einer Reihe leistungsfähiger Programmierwerkzeuge (SDKs). Das interaktive 3D-Spiel wurde in der Entwicklungsumgebung der Unity Spiel-Engine realisiert und in C# programmiert.
Das Sensorgerät erkennt einen menschlichen Körper als solchen in seinem Sichtfeld. Sein Bewegungsapparat ist entsprechend der menschlichen Skelettstruktur in verschiedene bewegliche Einheiten unterteilt. Diese können von der Azure Kinect einzeln verfolgt werden (Body Tracking). Die erfassten räumlichen Bewegungsdaten (xyz-Koordinaten) werden an das Spiel übertragen und lösen bestimmte Interaktionen mit den Spielelementen aus. Die Funktionsweise des Spiels ist leicht nachvollziehbar. Die virtuellen Hände der Spieler*innen werden auf dem Bildschirm dargestellt, wo sie als Triggerpunkte fungieren, um die virtuelle Netzschnur zu verformen und dadurch die farbigen Käfer zu bewegen.
