AI & XR: Super Power am Arbeitsplatz

Warum wir «Spatial Copilot» brauchen, was diese mit Augmented- und Mixed Reality zu tun haben und warum «AI for the frontline» so wichtig ist.  

Künstliche Intelligenz (AI) und Copilot, wie vor kurzem von Microsoft vorgestellt, werden die Produktivität von Mitarbeitenden in den nächsten Jahren massiv steigern. Je besser ein Copilot den Kontext und die «Absicht» des Benutzers kennt, desto besser kann dieser unterstützen, umso grösser ist der Produktivitäts-Gewinn. Aber der Kontext vieler Mitarbeitenden ist nicht auf ein Display oder ein Büro beschränkt, sondern befindet sich in der dreidimensionalen Welt. 

Diese sogenannten «Frontline Workers», auf Deutsch Arbeiter and der Front, arbeiten nur zeitweise oder gar nicht an einem Computer oder Display. Sie spielen eine entscheidende Rolle im Gesundheitswesen, in der Fertigung, im Bauwesen, in der Logistik, im Einzelhandel, im öffentlichen Verkehr – kurz: Fast überall. Für Unternehmen ist es deshalb entscheiden, auch diese Mitarbeitenden mit AI und Copilot zu unterstützen.  

«AI for the frontline» 

Microsoft hat an der Ignite 2023 am Beispiel von Dynamics Guides eindrücklich gezeigt, was ein Copilot im Raum für «Frontline Worker» leisten kann und wie die reale Welt «zum User-Interface wird» wie Satya Nadella es ausgedrückt hat:  

Insbesondere wird im Video gezeigt, dass spezifische Fragen gestellt werden können, der Copilot spezifische Antworten gibt und so gezielt unterstützen kann. Das heisst Benutzende bekommen nicht einfach ein PDF-Dokument, einen Plan oder ein 3D Modell angezeigt und müssen dann selber nach Antworten suchen, sondern erhalten direkt spezifische Antworten.  

Räumlicher Kontext 

Der Kontext und die «Absicht» des Mitarbeitenden ist wie gesagt sehr wichtig für die Unterstützung durch AI und Copilot. Mixed Reality Geräte wie die HoloLens 2 oder die schon bald erscheinende Apple Vision Pro erfassen nicht nur den Raum, die Bewegung und die Hände der Mitarbeitenden, sondern auch was diese anschauen (Eye Tracking).

Gut eingesetzt können diese Tracking Informationen eine fast «magische» Interaktion ermöglichen. Insbesondere kann der Kontext auch als Input für den (Spatial-) Copilot genutzt werden. So ist es möglich ein Ersatzteil oder eine Komponente anzuschauen, Fragen dazu zu stellen, Dokumentation nachzuführen oder eine Bestellung aufzugeben. 

«Spatial Copilot»  

Ein Copilot ist im Raum besonders wichtig und hilfreich, da die Hände bei «Frontline Workers» oft nicht frei sind und für die Bedienung eines (Grafischen-) User Interface nicht möglich ist. Insbesondere fehlen Maus und Tastatur, aber auch Touchscreens von Smartphones und Tablets sind oft nur mühsam zu verwenden und «rauben» Mitarbeitenden eine Hand. 

Ein «Spatial Copilot» löst dieses Problem, indem man mit Ihm sprechen kann und so mühelos auch Texte, Bilder und Videos erfassen kann. Da die Geräte auch den Raum scannen und «erkennen», können sogar 3D Modelle erfasst und analysiert werden.  

Copilot im Einsatz  

Um sich ein Bild darüber zu machen, wie die Arbeit mit einem Copilot aussehen kann, empfehlen wir einen Blick auf unser Projekt OnSiteXR. Eine Anwendung welche bereits heute produktiv auf Holz-Baustellen im Einsatz ist. 

Schon Anfang des Jahres hat unser Gründer Paul Affentranger an der IoT-Konferenz der asut über das Thema Arbeiten im Metaverse gesprochen. 

Seinen Auftritt zum Thema im Video unten:
Der dazugehörige Beitrag ist hier zu finden: Arbeiten im Metaverse – Augmented Reality im Holzbau

Fazit 

Zusammenfassend lässt sich sagen, dass Augmented Reality die Art und Weise, wie wir Informationen wahrnehmen und mit der Welt um uns herum interagieren, grundlegend verändert. Mit Unternehmen wie Microsoft, Apple und Google, die in diese Technologie investieren, sind wir auf dem besten Weg in eine Welt, in der digitale und reale Welten nahtlos miteinander verschmelzen, um uns eine erweiterte Realität zu bieten, die uns in vielfältigen Anwendungsbereichen bereichert. 

 Die Möglichkeiten von Augmented Reality sind schier endlos. Von der Verbesserung unserer täglichen Aufgaben bis zur Schaffung neuer, fesselnder Unterhaltungserlebnisse - AR hat das Potenzial, die Art und Weise, wie wir die Welt erleben, zu revolutionieren. Es ist aufregend zu beobachten, wie sich diese Technologie weiterentwickelt und wie sie in Zukunft unseren Alltag beeinflussen wird. Augmented Reality ist nicht mehr nur Science-Fiction, sondern ein integraler Bestandteil unserer digitalen und realen Welt.