Meta toont verbluffende full body-tracking alleen via Quest-headset

Meta toont verbluffende full body-tracking alleen via Quest-headset

Afbeelding: Meta

Het artikel kan alleen worden weergegeven met geactiveerd JavaScript. Schakel JavaScript in uw browser in en laad de pagina opnieuw.

Tot nu toe hebben VR-systemen het hoofd en de handen gevolgd. Dat zou snel kunnen veranderen: het voorspellende talent van kunstmatige intelligentie maakt realistische tracking van het hele lichaam mogelijk en dus een betere belichaming van de avatar, uitsluitend gebaseerd op sensorgegevens van de headset en controllers.

Meta heeft al aangetoond dat AI een fundamentele technologie is voor VR en AR met handtracking voor Quest: een neuraal netwerk dat is getraind met vele uren handbewegingen, maakt robuuste handtracking mogelijk, zelfs met de camera’s met lage resolutie van de Quest-headset, die niet specifiek zijn geoptimaliseerd voor hand volgen.

Dit wordt aangedreven door het voorspellende talent van kunstmatige intelligentie: dankzij de voorkennis die tijdens de training is opgedaan, zijn slechts enkele inputs uit de echte wereld voldoende voor een nauwkeurige vertaling van de handen naar de virtuele wereld. Een volledige real-time acquisitie inclusief VR-rendering zou veel meer kracht vergen.

Van handtracking tot bodytracking via AI-voorspelling

In een nieuw project dragen Meta-onderzoekers dit principe van handtracking, dwz de meest plausibele en fysiek correcte simulatie van virtuele lichaamsbewegingen op basis van echte bewegingen, door een AI te trainen met eerder verzamelde trackinggegevens, over naar het hele lichaam. QuestSim kan een avatar van het hele lichaam realistisch animeren met alleen sensorgegevens van de headset en de twee controllers.

Het Meta-team trainde de QuestSim AI met kunstmatig gegenereerde sensorgegevens. Hiervoor simuleerden de onderzoekers de bewegingen van de headset en controllers op basis van acht uur motion-capture clips van 172 mensen. Op deze manier hoefden ze de headset- en controllergegevens niet helemaal opnieuw vast te leggen met de lichaamsbewegingen.

De trainingsgegevens voor de QuestSim AI zijn kunstmatig gegenereerd in een simulatie. De groene stippen geven de virtuele positie van de VR-headset en de controllers weer. | Afbeelding: Meta

De motion-capture clips omvatten 130 minuten wandelen, 110 minuten joggen, 80 minuten informeel gesprek met gebaren, 90 minuten whiteboarddiscussie en 70 minuten balanceren. De simulatietraining van de avatars met versterkend leren duurde ongeveer twee dagen.

Na het trainen, QuestSim kan herkennen welke beweging een persoon uitvoert op basis van echte headset- en controllergegevens. Met behulp van AI-voorspelling kan QuestSim zelfs bewegingen simuleren van lichaamsdelen zoals de benen waarvoor geen realtime sensorgegevens beschikbaar zijn, maar waarvoor gesimuleerde bewegingen deel uitmaakten van de synthetische motion capture-dataset, dat wil zeggen geleerd door de AI. Voor aannemelijke bewegingen is de avatar ook onderworpen aan de regels van een physics-simulator.

logo

De headset alleen is genoeg voor een geloofwaardige full-body avatar

QuestSim werkt voor mensen van verschillende grootte. Als de avatar echter verschilt van de verhoudingen van de echte persoon, heeft dit invloed op de avatar-animatie. Een lange avatar voor een klein persoon loopt bijvoorbeeld voorovergebogen. Hier zien de onderzoekers nog mogelijkheden voor optimalisatie.

Het onderzoeksteam van Meta laat ook zien dat alleen de sensorgegevens van de headset, met AI-voorspelling, voldoende zijn voor een geloofwaardige en fysiek correcte geanimeerde full-body avatar.

AI Bewegingsvoorspelling werkt het beste voor bewegingen die zijn opgenomen in de trainingsgegevens en die een hoge correlatie hebben tussen bovenlichaam- en beenbewegingen. Voor ingewikkelde of zeer dynamische bewegingen zoals snelle sprints of sprongen kan de avatar uit de pas lopen of vallen. Omdat de avatar op fysica is gebaseerd, ondersteunt deze ook geen teleportatie.

In verder werk willen de onderzoekers van Meta meer gedetailleerde informatie over het skelet en de lichaamsvorm in de training opnemen om de verscheidenheid aan bewegingen van de avatars te verbeteren.


Leave a Comment