Bewegung in der virtuellen Realität

Alexander Jussen, Thomas Kollakowsky, Gregor Lux, Asma Rafi, Jens Gerken und Benjamin Butz (v.l.n.r.) freuen sich über den erfolgreichen Abschluss des Forschungsprojekts „Next Level Sports“. Foto: WH/Jens Gerken

Sport und Bewegung bilden nicht nur die Grundlage für die Gesundheit und das persönliche Wohlbefinden. Sie sind auch wichtiger Anker sozialer Integration. Leider bewegt sich über die Hälfte der Deutschen nicht genug. Die daraus resultierenden gesundheitlichen Beschwerden werden ein zunehmendes Problem. Hier setzt das Forschungsprojekt „Next Level Sports“ der Gelsenkirchener Fachgruppe Informatik an. Anhand verschiedener Anwendungsszenarien wurde von 2019 bis August 2022 untersucht, inwiefern der Einsatz von virtueller und gemischter Realität in den Bereichen Sport und Gesundheit Mehrwerte schaffen kann.

Das Projekt ist eine Zusammenarbeit zwischen Forscherinnen und Forschern aus den Bereichen Mensch-Computer-Interaktion und Computergrafik der Fachgruppe Informatik der Westfälischen Hochschule (WH) und dem Praxispartner medicos.AufSchalke, unterstützt durch das ifi Institut für Innovationsforschung und -management.

Das Team entwickelte neuartige, immersive Sport- und Bewegungserlebnisse in der virtuellen und erweiterten Realität, die über traditionelle Sportarten und -übungen hinausgehen. Damit soll einerseits die Motivation zur Bewegung erhöht und andererseits die Ausführungsqualität – etwa durch Bewegungstracking – gewährleistet werden. Auch eine Analyse des Trainingsfortschritts ist so möglich. Dabei wurden durch zahlreiche Unterprojekte, auch gemeinsam mit Studierenden der WH, verschiedenste Angebote für den Freizeit-, Leistungs- und Jugendsport, aber auch für therapeutische Anwendungen im Reha-Bereich geschaffen.
Ein Beispiel ist das Mixed-Reality Anweisungs- und Analysesystem für den Einsatz im Reha-Bereich. Die Entwicklung hierzu basiert auf Interviews mit den Patientinnen und Patienten der Rehaeinrichtung medicos.AufSchalke. Diese ergaben, dass viele Patientinnen und Patienten sich mehr Anweisungen und Korrekturen während ihrer Übungen wünschen, um Unsicherheiten zu beseitigen und eine optimale Wiederherstellung ihrer Gesundheit und Beweglichkeit zu garantieren. 

In einem Workshop legten Teilnehmende aus Sportwissenschaft, Informatik und Innovationsforschung den Grundstein für das System. Das Konzept beinhaltet eine Anwendung, die die Bewegungen von Reha-Patientinnen und -patienten bei der Nutzung von Trainingsmaschinen in Echtzeit analysiert und entsprechende Anweisungen in Mixed Reality darstellt. Im Gegensatz zur virtuellen Realität wird der Nutzende in Mixed Reality nicht von seiner Außenwelt abgeschottet, sondern nimmt diese voll war. Zusätzlich werden virtuelle Objekte eingeblendet, mit denen die anwendende Person interagieren kann. Dies hat unter anderem den Vorteil, dass Anwendende beim Training dauerhaft ihren Körper sehen und Bewegungen verinnerlichen können. Zudem werden typische Virtual Reality-Probleme wie Übelkeit oder Kollisionen mit anderen Personen vermieden. 

Für das Anweisungs- und Analysesystem trägt die zu behandelnde Person auf dem Trainingsgerät die Mixed Reality-Brille Microsoft Hololens 2. Das System prüft die Körperhaltung und gibt optische Korrekturen vor, sofern die Startposition noch nicht optimal ist. Während der Übungen wird der Nutzende weiterhin durch das System auf Bewegungen aufmerksam gemacht, die dessen Gesundheit gefährden könnten, wie etwa zu schnelle, zu weite oder unsauber ausgeführte Übungen. Der Mehrwert für Patientinnen und Patienten besteht darin, dass diese die Informationen intuitiv aus der Ich-Perspektive erhalten. Statt in einem Video einer anderen Person beim Training zuzusehen, oder sich in die Perspektive eines ausführenden Therapierenden hineinversetzen zu müssen, erhalten sie die Information genau dann, wenn der Fehler auftritt und bekommen direkt angezeigt, an welcher Stelle eine Haltungskorrektur notwendig ist. So erhalten Anwenderinnen und Anwender einen dauerhaften Kontrollmechanismus, wodurch sie sich sicherer in ihrer Bewegungsausführung fühlen und die Übungen so optimal ausführen.

Bei kontinuierlich korrekter Ausführung werden grundsätzlich immer weniger Hilfestellungen und Informationen bereitgestellt. Somit werden Trainingskompetenzen vermittelt und Patientinnen und Patienten befähigt, die Übungen später eigenständig, ohne technische Unterstützung, durchzuführen. So kann auch im Anschluss an die Reha-Maßnahme im privaten Training Verletzungen vorgebeugt werden. 

Das Tracking hierfür erfolgt durch eine Kombination des externen optischen Sensorsystems Orbbec Astra sowie der internen Kameras der Hololens 2. Die konkrete Entwicklung des Demonstrators erfolgte anhand des Trainingsgeräts „Beinpresse“. Dieses kommt besonders oft im Reha-Bereich bei unterschiedlichsten Diagnosen zum Einsatz, wie etwa bei verschiedenen Arten von Rückenbeschwerden. (Gregor Lux, Jens Gerken und Benjamin Butz)

Eine kurze Vorstellung des Systems gibt es im Video tinyurl.com/2pnrxfmu.