Pet pitanja o Microsoftovom „Projektu HoloLens“

Microsoft je u srijedu ujutro pokazao projekt na kojem rade sedam godina, nazvane slušalice proširene stvarnosti Projekt HoloLens.

Vizija je ambiciozna: žele temeljno promijeniti način na koji ljudi komuniciraju s računalima, izgradnjom par naočala koje mogu fluidno miješati virtualni i stvarni sadržaj zajedno u fizičkom prostoru korisnika. Ovo je poput tehnologije virtualne stvarnosti Zašto će tehnologija virtualne stvarnosti raznijeti svoj um za 5 godina zašto će tehnologija virtualne stvarnosti raznijeti svoj um za pet godina Budućnost virtualne stvarnosti uključuje praćenje glave, očiju i izraza, simulirano dodirivanje i još mnogo toga. Ove nevjerojatne tehnologije bit će vam dostupne za 5 ili manje godina. , ali u osnovi moćniji. Nadalje, žele obaviti svu obradu lokalno na naočalama - bez računala, telefona, kabela. Čak su i lansirali posebnu verziju sustava Windows samo za novi hardver. Ovo je sljedeća faza u tehnološkoj evoluciji za sve one AR igre Augmented Reality Apps: Korisno ili samo hiper? MakeUseOf testovi Programi za dodatnu stvarnost: korisni ili jednostavno prekriveni? MakeUseOf testovi U 2011. analitičari su predviđali porast mobilnih aplikacija Augmented Reality. Nova tehnologija bi promijenila način na koji komuniciramo s našim mobilnim uređajima. Bljesnite naprijed dvije godine i desetine AR aplikacija popunjavaju sve ... koje ste instalirali na telefon jednom i od tada ih niste dirali.

Njihov vremenski okvir čak je ambiciozniji od njihovih ciljeva: žele isporučiti komplete za programere ovog proljeća i potrošački proizvod “tijekom vremenskog okvira Windows 10”. Evo terena.

Sve to zvuči sjajno, ali priznajem u prilično visokom stupnju skepse.

Tehnologije koje Microsoft koristi imaju ozbiljne, temeljne izazove i Microsoft je do sada bio usko shvaćen kako (ili ako) ih rješava. Ako ih nisu riješili, onda im je vrlo važan cilj otpreme u roku od godinu dana. Posljednje što VR i AR trebaju su velika tvrtka koja isporučuje još jedan polupečeni proizvod poput Kinect-a. Sjetite se projekta Projekt Natal iz 2009?

Bez dodatnih prepucavanja, evo pet najvažnijih stvari koje bih želio znati o HoloLensu.

Da li je ovo prikaz svjetlosnog polja?

Da bismo razumjeli ovo, moramo malo dublje pogledati 3D i kako to funkcionira. Da bismo dobili osjećaj stvarnog, opipljivog 3D svijeta, naši mozgovi integriraju puno različitih vrsta informacija. Dobijamo dubinske signale o svijetu na tri osnovna načina:

• Stereo dubina - nerazmjer između onoga što vide oba naša oka. Lažirajući to, rade 3D filmovi
• Paralaksa pokreta - suptilni pokreti glave i trupa daju nam dodatnu dubinu za otkrivanje predmeta koji se nalaze dalje
• Optički fokus - kad se fokusiramo na nešto, leće naših očiju se fizički deformiraju dok ne dođu u fokus; predmeti u blizini polja zahtijevaju više izobličenja objektiva, što pruža informacije o dubini onoga što gledamo

Optički fokus lako je provjeriti sami: zatvorite jedno oko i podignite palac pred zid preko sobe. Zatim pomaknite fokus sa svoje sličice na površinu koja se nalazi iza njega. Kada gledate prošlost, vaš palac će se pomaknuti iz fokusa jer je leća vašeg oka manje deformirana i ne može pravilno sakupljati svjetlost koja dolazi iz njega.

VR slušalice poput Oculus Rift-a pružaju prva dva znaka vrlo precizno, ali ne i posljednju, što djeluje iznenađujuće dobro: naše su oči zadano da se potpuno opuštaju, jer optika fokusira slike kao kroz svjetlost dolaze od beskrajno daleko. Nepostojanje optičkog signala fokus je nerealno, ali obično ne ometa. I dalje možete imati vrlo cool igračka iskustva. 5 Oculus Rift gaming iskustva koja će vas iznevjeriti 5 Oculus Rift igranja koji će vas iznenaditi Sada kada je druga generacija Oculus Rift razvojnog kompleta izvan i u rukama razvojnih programera širom svijeta, pogledajmo neke od najboljih stvari koje su dosad pogodile Rift. bez toga.

U proširenoj stvarnosti problem je drugačiji, jer morate miješati svjetlost iz stvarnih i virtualnih objekata. Svjetlost iz stvarnog svijeta prirodno će biti usredotočena na različite dubine. Virtualni će sadržaj, međutim, biti fokusiran na fiksni, umjetni razmak koji diktira optika - vjerojatno na beskonačnost. Virtualni objekti neće izgledati kao da su stvarno dio scene. Oni će biti izvan fokusa kada gledate stvarne stvari na istoj dubini i obrnuto. Nećete moći fluidno pomicati oko prizora dok ga držite u fokusu, kao i obično. Sukobni znakovi dubine bit će u najboljem slučaju zbunjujući, a u najgorem slučaju bolesni.

Da biste to riješili, treba vam nešto što se naziva zaslon svjetlosnog polja. Prikazi svjetlosnog polja su zasloni koji koriste niz sitnih leća za istovremeno prikaz svjetla usmjerenog na više dubina. To omogućava korisniku da se prirodno usredotoči na zaslon, te (za proširenu stvarnost) rješava gore opisani problem.

No postoji problem: svjetlosno polje prikazuje u osnovi preslikavanje jednog dvodimenzionalnog zaslona na trodimenzionalno svjetlosno polje, što znači da svaki “dubina piksela” da korisnik percipira (i postoji na određenoj žarišnoj dubini u sceni) zapravo se sastoji od svjetlosti iz mnogih piksela na izvornom zaslonu. Što je dubina dubine koju želite prikazati, to se morate odreći što više rezolucije.

Općenito, svjetlosna polja imaju otprilike osam puta smanjenje rezolucije kako bi se dobila odgovarajuća dubinska preciznost. Najbolji raspoloživi mikrodisplavi imaju rezoluciju od oko 1080p. Pod pretpostavkom da jedan high-end mikrodisplej pokreće svako oko, stvarna razlučivost Microsoftovih slušalica bila bi samo oko 500 x 500 piksela po oku, manje čak i od Oculus Rift DK1. Ako zaslon ima visoko vidno polje, virtualni će objekti biti neshvatljivi mrlje piksela. Ako se to ne dogodi, uranjanje će srazmjerno patiti. Mi to nikada ne možemo vidjeti kroz objektiv (samo računalne kreacije onoga što korisnik vidi), tako da nemamo pojma kakvo je korisničko iskustvo zapravo.

Moguće je da je Microsoft pronašao neko novo rješenje za ovaj problem kako bi omogućio upotrebu svjetlosnog prikaza bez kompromisa. Međutim, Microsoft je izrazito drzak u vezi s tehnologijom prikaza, zbog čega sumnjam da nisu. Evo najboljeg dosadašnjeg objašnjenja (od WIRED demo).

Za stvaranje Project HoloLens slika, svjetlosne čestice odbijaju se oko milijuna puta u takozvanom svjetlosnom motoru uređaja. Zatim fotoni ulaze u dvije leće naočara, gdje se izvrtaju između slojeva plavog, zelenog i crvenog stakla prije nego što dođu do stražnjeg dijela vašeg oka.

Ovakav opis tehnologije može značiti praktički bilo što (premda, pošteno prema Microsoftu, hardver nije impresionirao WIRED, iako je članak lagan u pojedinostima).

Nećemo znati više za sigurno dok Microsoft ne počne objavljivati ​​tehničke specifikacije, vjerojatno već mjesecima. Daljnja napomena o branju dušika, je li zaista potrebno utopiti projekt u ovolikim marketinškim govorima? Namjenski procesor koji koriste za praćenje glave naziva se a “holografski procesor” a slike se zovu “hologrami,” bez nekog posebnog razloga. Proizvod je u osnovi dovoljno cool da ga zapravo nije nužno ovako pozlaćivati.

Da li je praćenje dovoljno?

Slušalice Project HoloLens na sebi imaju ugrađenu kameru s visokom FOV dubinom (poput Kinect-a), kojom se koristi za otkrivanje mjesta na kojima se slušalice nalaze u prostoru (pokušavajući usmjeriti sliku dubine koju vidi sa svojim svjetskim modelom, sastavljen slike prošlih dubina). Evo njihovog demo videa slušalica u akciji.

Praćenje je impresivno s obzirom da ne koristi markere ili druge varalice, ali čak i u tom videozapisu (pod strogo kontroliranim uvjetima) možete vidjeti određenu količinu kolebanja: praćenje nije u potpunosti stabilno. To je za očekivati: ovakav način praćenja iznutra je izuzetno težak.

Međutim, velika lekcija iz različitih prototipa Oculus Rift Gledajte nas isprobavajući zaliv Oculus Rift Crescent Bay na CES 2015 Gledajte nas isprobavajući zaliv Oculus Rift Crescent Bay na CES 2015, Oculus Rift Crescent Bay potpuno je novi prototip koji pokazuje neka uzbudljiva poboljšanja u tehnologija virtualne stvarnosti. Pokušali smo na CES-u 2015. je da je točnost praćenja jako bitna. Smetano praćenje samo je neugodno kad se radi o nekoliko objekata u uglavnom stabilnom stvarnom svijetu, ali u scenama poput Marsovog demo koje su pokazali u svom konceptualnom videu, gdje je gotovo sve što vidite virtualno, neprecizno praćenje moglo bi dovesti do nedostatka “prisutnost” u virtualnom prizoru ili čak simulatornu bolest. Može li Microsoft postići praćenje do standardnog postava Oculus (točnost praćenja pod-milimetra i manje od 20 ms) do datuma isporuke krajem ove godine?

Evo Michael Abrash, VR istraživač koji je radio i za Valve i za Oculus, govoreći o problemu

[Budući da uvijek postoji kašnjenje u generiranju virtualnih slika, [...] vrlo je teško dobiti virtualne i stvarne slike za registraciju dovoljno usko da ih oko ne primijeti. Na primjer, pretpostavimo da imate pravi Coke limenku koju želite pretvoriti u AR Pepsi limenku crtanjem Pepsi logotipa preko Coke logotipa. Ako je potrebno nekoliko desetaka milisekundi za crtanje Pepsi logotipa, svaki put kada zakrenete glavu učinak će biti da će se pojaviti Pepsi logotip pomaknuti se za nekoliko stupnjeva u odnosu na limenku, a dio logotipa Coke postat će vidljiv; tada će se Pepsijev logotip zaustaviti na pravo mjesto kad se prestanete kretati. Ovo očito nije dovoljno dobro za tvrdi AR

Može li zaslon crtati crno?

Drugi problem, osim žarišne dubine i praćenja, odnosi se na crtanje tamnih boja. Dodavanje više svjetla prizoru relativno je jednostavno, koristeći razdjelnike snopa. Iznošenje svjetla mnogo je teže. Kako selektivno zatamnite dijelove stvarnog svijeta? Postavljanje selektivno prozirnog LCD zaslona neće ga smanjiti jer ne može uvijek biti u korektnom fokusu kako bi blokirao ono što gledate. Optički alati za rješenje ovog problema, osim ako ih Microsoft nije izmislio potajno, jednostavno ne postoje.

To je važno jer za mnoge aplikacije koje Microsoft prikazuje (poput gledanja Netflixa na vašem zidu) slušalice stvarno trebaju mogućnost uklanjanja svjetlosti sa zida, inače će vaš film uvijek imati vidljiv obris štukature. s njom: nemoguće je da slike blokiraju stvarne predmete u prizoru, čineći korištenje slušalica jako ovisnim o uvjetima osvjetljenja okoline. Povratak Michael Abrash:

[S] o ništa slično se nije pojavilo u AR industriji ili literaturi, i sve dok i dok se to ne dogodi, tvrdi AR, u SF smislu koji svi znamo i volimo, ne može se dogoditi, osim u skoro mraku.

To ne znači da je AR nestao od stola, samo da će neko vrijeme biti mekan AR, zasnovan na aditivnom miješanju […] Opet, mislite proziran poput “istjerivaci duhova.” Virtualne slike visokog intenziteta bez tamnih područja također će raditi, posebno uz pomoć regionalnog ili globalnog zatamnjenja - jednostavno neće izgledati kao dio stvarnog svijeta.

Što je sa okluzijom?

“Okluzija” je izraz za ono što se događa kad jedan objekt prođe ispred drugog i zaustavi vas da vidite što stoji iza njega. Da bi se virtualni prizor osjećao poput opipljivog dijela svijeta, važno je da stvarni predmeti okluziraju virtualne predmete: ako ruku podignite ispred komada virtualne slike, to ne biste trebali moći vidjeti kroz tvoja ruka. Zbog korištenja dubinske kamere na slušalicama, to je zapravo moguće. Ali, ponovno pogledajte demo prikaz:

Općenito, pažljivo kontroliraju kutove fotoaparata kako bi izbjegli da stvarni predmeti prolaze ispred virtualnih. Međutim, kada demonstrator komunicira s Windows izbornikom, možete vidjeti da joj ruka to uopće ne uključuje. Ako je to izvan dosega njihove tehnologije, to je vrlo loš znak za održivost njihovog potrošačkog proizvoda.

A govoreći o tom korisničkom sučelju ...

Je li ovo stvarno završno sučelje?

Izgleda da je korisničko sučelje koje je Microsoft pokazao u svojim demo videozapisima pomoću neke kombinacije praćenja pogleda i ruku za upravljanje pokazivačem u virtualnoj sceni, a pritom koristeći glasovne kontrole za odabir između različitih opcija. To ima dvije glavne nedostatke: čini vam se poput malog djeteta u Sjajnom koji razgovara prstom, ali što je još važnije, predstavlja i temeljnu grešku dizajnerske paradigme.

Povijesno su najbolja korisnička sučelja ona koja unose virtualnu intuiciju o svijetu u virtualni svijet. Miš je donio klik, povlačenje i prozore. Dodirno sučelje povuklo je za pomicanje i pomicanje za zumiranje. Oboje su bili kritični u tome što će računala učiniti pristupačnijim i korisnijim za opću populaciju - jer su u osnovi bili intuitivniji od onoga što je prije bilo.

VR i AR vam pružaju puno više slobode kao dizajner: elemente korisničkog sučelja možete smjestiti bilo gdje u 3D prostoru i navesti korisnike da prirodno komuniciraju s njima kao da su fizički objekti. Ogroman broj očitih metafora sugerira sam sebe. Dodirnite virtualni element UI da biste ga odabrali. Zakačite ga na njega i pomaknite ga. Izvucite je iz načina da biste je privremeno spremili. Stisnite ga da biste ga izbrisali. Možete zamisliti izgradnju korisničkog sučelja koje je toliko intuitivno da ne zahtijeva objašnjenje. Nešto što vaša baka može odmah pokupiti, jer je izgrađeno na temeljima osnovnih fizičkih intuicija koje svi grade tijekom života interakcije sa svijetom. Odvojite trenutak i poslušajte kako ova pametna osoba opisuje koja bi mogla biti sučelja.

Drugim riječima, čini mi se očitim (po meni) da bi trebao biti imerzivno korisničko sučelje barem intuitivno kao i dodirna sučelja koja je iPhone razvio za 2D multitouch ekrane. Izgradnja sučelja oko manipulacije VR-om “miš” je korak unatrag i otkriva ili duboke tehnološke nedostatke u tehnologiji praćenja ruku ili temeljno nerazumijevanje onoga što je zanimljivo u ovom novom mediju. Bilo kako bilo, vrlo je loš znak da je ovaj proizvod više nego kolosalni, flop u Kinect-ovoj razmjeri.

Nadamo se da Microsoft ima vremena dobiti povratne informacije o tome i obaviti bolji posao. Kao primjer, evo sučelja koje je dizajnirao jedan hobist za Oculus Rift DK2 i Leap Motion. Barem ovo bi trebao biti imerzivni sučelje koje je dizajnirala velika tvrtka.

Znak stvari koje tek dolaze

U cjelini, izuzetno sam skeptičan prema HoloLens projektu u cjelini. Jako mi je drago što tvrtka s Microsoftovim resursima istražuje ovaj problem, ali brinem se da pokušavaju izgurati proizvod bez rješavanja nekih kritičnih temeljnih tehničkih problema ili zabiti dobru paradigmu korisničkog sučelja. HoloLens je znak onoga što dolazi, ali to ne znači da će sam proizvod pružiti dobro iskustvo potrošačima.

Image Credit: ljubaznošću Microsofta