Da jeg fikk en av Tobiis eye-tracking enheter for noen år siden, visste jeg ikke hva jeg skulle gjøre med det. Tobii regner seg som "verdensleder i øye sporing", og så vidt jeg kunne fortelle kravet ringte sant. Enheten absolutt

, og jeg kunne se at den var veldig nyttig for folk som (av et hvilket som helst antall grunner) ikke kan bruke tastatur og mus. Men Tobii ønsket klart å utvide sine ambisjoner og gjør øye-sporing til en mer massemarkedsløsning, ikke en alternativ måte å knytte sammen med PCer, men en primær måte. Jeg prøvde det. Ubisoft bygger Tobii-støtte i alle sine spill, og jeg spilte Assassin's Creed: Rogue

med Tobii's eye-tracker som svinger kameraet hvor jeg så. "Cool tech", trodde jeg, og gikk så raskt tilbake til å bruke mus og tastatur. Det føltes som en løsning som trengte et problem. Heldig for Tobii, kom dette problemet: Virtual reality. [Videre lesing: Disse 20 absorberende PC-spillene spiser dager av livet ditt]

Pek og klikk

Integrert i et VR-headsett, Tobii's eye-tracking-teknologi er en godsend. Jeg fikk sjansen til å demo en enhet i forrige uke på GDC-i hovedsak en ettermontert HTC Vive. Den eneste synlige forandringen var en serie infrarøde emittere innebygd rundt Vives linser. Resten av øyeoppsporingsteknologien var inneholdt i selve hodesettet.

Tobii

Oppsettet var ganske likt å bruke Tobiis skrivebordsenhet. Jeg satte hodesettet på, fulgte en serie prikker med øynene mine, slik at det kunne kalibrere riktig. Derfra gikk vi rett inn i demoer.

Det snakker til Tobiis tillit til dette rommet at demoene var enkle og konsise, men demonstrerte et stort løfte om teknologien. Min favoritt kom mot slutten. Jeg ble plassert i et lokalsamfunn, som ligner på noen VR-videoapps. Med øyeavsporing ble jeg bedt om å plukke ut en film for å se, dempe lysene og så videre.

Og jeg gjorde det. VR er fortsatt langt mer intuitivt enn å bruke en mus og et tastatur. Du peker kontrolleren på et objekt, du klikker, du justerer. Den replikerer akkurat nok av våre daglige interaksjoner, men abstraheres for å gjøre kontrolleren levedyktig. Flott.

Øyesporing gjør VR til å føle seg som magi. Vi snudde Tobii's tech på, og da var det så enkelt å samhandle med en gjenstand som å se på det. Tenk deg at du kunne sitte ved skrivebordet ditt, se på lysbryteren på veggen, og lysene ville slå på - det er VR med øye-sporing. Dimming lysene bare medførte å se på lyset, og deretter sveip styreflaten på kontrolleren. Du trenger ikke å løfte hånden min, pek på lampen først, ikke noe av det. Det samme gjaldt å bla gjennom en liste med filmer. Se, bla, se, bla. Ingen kroppsbevegelse trengte.

Tobii

Dette er i hovedsak hva stuenes demo så ut, om enn … i VR.

Det kan høres enkelt og

det er

. Men det er akkurat poenget: Det fjerner et annet lag av abstraksjon fra miljøet. Det er intuitivt. For Netflix-stil applikasjoner der realisme ikke er viktig, virker Tobii som en naturlig passform. Dobbelvis så på mer begrensede grensesnitt som Oculus Go eller Google Daydream, der i fravær av posisjonssporede kontrollere, peker du på å velge et objekt, gjøres vanligvis med pannen. Øynene er absolutt enklere. Spill? Tobii virket mindre viktig for meg der, og jeg sa så mye. Virtuell virkelighet er ment å etterligne virkeligheten, og i spill er det en viss grad av realisme oppnådd ved å nå ut og gripe en gjenstand, og ikke justere den telepatisk. Tobiis svar var at øyesporing ikke nødvendigvis er over- Telepathy på rommet. For noen utviklere er det bare avklaring. En demo, for eksempel, satte meg foran et stort panel fullt av knapper for å snu. Med øye-sporing aktivert kunne jeg lene meg tilbake og justere disse rattene uten å nå til dem - trolig ikke ideelt. Men jeg kunne også lene seg inn og justere talltastene "manuelt", og i så fall bidro øyesporingen bare til å bekrefte hvilken tallerken jeg prøvde å samhandle med. Det er et ganske vanlig problem i noen spill som

Star Trek Bridge Crew

og Interkosmos , og jeg kom bort, troende øyeoppfølging kan gjøre en forskjell. Tobii Du kan blinke! Enda mer imponerende var en demonstrasjon hvor jeg ble bedt om å kaste bergarter på enkelte flasker. Selv om jeg har et ganske godt håndtak på VR-fysikk, spesielt velimplementert VR-fysikk, gir øyeoppfølging utviklere en mer vektor informasjon for å jobbe med. Demoen kunne skille hvilken flaske jeg sikte på basert på min øyeposisjon, og fjellet ville da litt kompensere sin hastighet for å sikre at jeg var vellykket. Igjen, det er ikke en funksjon som hver utvikler vil ha. Du vil sannsynligvis ikke sette det nivået på hjelp i din ferdighetsbaserte karnevalsminigamassamling eller hva som helst. Det er et greit verktøy, skjønt.

Performance-ready

Kuppet er Foveated Rendering. Teknologien er ikke ny på noen måte - Nvidia har vist seg tidligere, og både Oculus Go og Oculus Santa Cruz-prototypen bruker "Fixed Foveated Rendering." Men øye-tracking gjør at VR-headsets kan implementere foveated rendering i en mye smartere måte.

Så hva er det? I utgangspunktet ser øynene bare detalj i en liten sirkel som er rett foran det vi ser. Vårt perifere syn er skit. På grunn av dette er det sløsing med å lage scener av høy kvalitet hvor som helst vi ikke ser - du brenner i utgangspunktet bare GPU-kraft på detaljer, dine øyne kan ikke plukke opp.

Fast Foveated Rendering reduserer dermed rendering ved å anta at du ikke trenger de ytre kantene på skjermen. (Andre teknikker, som Nvidias multi-res-skygging, fungerer av lignende prinsipper.) Jeg vet ikke nøyaktig hvordan Oculus siste Santa Cruz-versjon vil fungere, men vanligvis er skjermen delt inn i en rekke regioner. Kanskje gjør den ytre ringen bare halvkvaliteten, neste ring er på 75 prosent, og så videre, helt til det største området (den sentrale delen) som gir full kvalitet.

Oculus

Dette er Oculus nåværende Fast Foveated Rendering eksempel. Hvite områder er gjengitt i innfødt kvalitet, rød er 1/2, grønn er 1/4, blå 1/8 og magenta med 1/16 kvalitet.

Problemet: Hvis du

gjør

ser på de ytre kantene, du vil se at det er uskarpt. Dette er egentlig ikke så problematisk som det høres ut - jeg kan fortelle deg at jeg brukte Oculus Santa Cruz-prototypen i fjor og merket ikke engang effekten. Det store flertallet av skjermen er fortsatt fullverdig, og det er bare de kantene som blir ødelagt, blant annet steder du sjelden ser ut. Muligheten eksisterer, skjønt. Noen ganger vil du legge merke til at en linje ikke er så skarp som den burde være for eksempel. Enda verre er kvalitetsområdet fortsatt så stort at du faktisk ikke sparer mye i gjengivelsesprisen.

Angi øye-sporing. Øyesporing gjør det mulig for Dynamic Foveated Rendering. I utgangspunktet, hvor øyet ser ut, blir gjort i full kvalitet, men alt umiddelbart i periferien blir nedbrudd. Øynene dine beveger deg? Den fullverdige regionen følger. Og fordi spillet vet nøyaktig hvor øynene ser ut, kan kvaliteten begynne å falle umiddelbart utenfor dette området.

Nevnt i denne artikkelen HTC Vive Pro VR-headset Les PCWorlds gjennomgang $ 799.00MSRP $ 799.00 Se det på Amazon Tobii hevdet at du ville se så mye som en 50 prosent prestasjonsøkning. For VR, hvor du må slå en 2160x1200 oppløsning på 90 bilder per sekund (eller 2880x1600 i tilfelle av den kommende Vive Pro), er det

stort

. Tobii sa at det kunne spare deg for en hel generasjon maskinvare, noe som for eksempel betyr at en Nvidia GTX 960 med Dynamic Foveated Rendering ville utføre så vel som en GTX 1060 uten. Det er også en stor avtale for alle frittstående headset, som jobber med både lavere strømforsyning og begrenset batterilevetid.

Tobii Denne utrolig overdrevne gjengivelsen er dumt utseende, men gir deg en ide om hvor ekstrem Avfallskvaliteten kan være med Dynamic Foveated Rendering. Med andre ord: Øyesporing er viktig for VR. Jeg er solgt. Tobiis demo var sømløst også. Dynamic Foveated Rendering var faktisk aktivert mens jeg var i ferd med å spille, uten at noen fortalte meg, og jeg merket ikke engang. Selv etter at jeg ble fortalt at det var på, sliter jeg fremdeles for å se noen forskjell - litt mer uskarphet av tekst i periferen kanskje, men ingenting som påvirket spillet mitt.

Da forlot jeg headsettet og kunne se teknologien fra den andre siden, da en av Tobiis team hadde på hodesettet mens jeg så hodesettutgangen speilet på en bærbar PC. Der kunne jeg se miljøet uskarpe og rydde opp igjen avhengig av hvor han så. Hvis det var en ruse, må det være

virkelig

forseggjort.

Og det er ganske utrolig, for sist jeg hørte Dynamic Foveated Rendering var fortsatt noen få år unna. Det virker ikke slik etter min demonstrasjon - jeg kom bort en troende. Det er noen problemer å sortere ut, som "hva skjer når du beveger deg mye og headsettet skifter" og "hva skjer hvis linsene tåler?" Men den underliggende teknologien virker lyd. Bottom line Det er spennende. Ganske motsatt av min siste Tobii-demo. Som jeg sa, tror jeg at Tobiis skrivebordsteknologi er ganske spennende. Den har blitt bygd inn i Alienware bærbare datamaskiner de siste årene, og jeg har fortsatt sensoren som henger av skjermen min. Jeg finner bare ikke mye bruk for det daglige. Jeg er for betinget av mus og tastatur.

Nevnt i denne artikkelen

HTC Vive Les PCWorlds gjennomgang $ 499.00MSRP $ 800.00Se det på Amazon

Virtuell virkelighet virker fremdeles moden for nye kontrollgrensesnitt, sporing virker som en naturlig passform. Det hjelper at det er billig og diskret også. Som demonstrert av Tobii passer den inn i nåværende Vive-headsettet, og jeg ble fortalt at den ikke legger for mye på produksjonskostnaden. Det er mer enn det som kan sies for full-body-haptics og alle de andre ville ideene folk prøver i dag.

Kombiner det med ytelsesfordelene? Det er lett å forestille seg at andre generasjons VR-hodesett vil inkludere en form for øyesporing. Tobii fortalte meg at selskapet allerede har fem partnere lined up, hvorav fire er fortsatt uanmeldt. Vi ser hva som skjer neste.