Peter Holmes
0 
1661
41
Hollywood govori o virtualnoj stvarnosti. Na konferenciji Oculus Connect prošlog mjeseca, čitav panel holivudskih diplomanata govorio je o tehnologiji i njezinim primjenama u filmskom stvaralaštvu.
U međuvremenu, težaci u industriji počinju se vagati. James Cameron mrzi to. David Attenborough snima dokumentarac o tome. Nedavni (odličan) film Interstellar imao je VR iskustvo promovirajući ga.
Virtualna stvarnost nov je način komunikacije s gledateljem, a mnogi ljudi koji imaju pozadinu u tradicionalnom filmskom stvaranju vide mogućnosti kao uzbudljive. Virtualna stvarnost, a ne samo pružanje prozora u novi svijet, omogućuje režiserima da preuzmu kontrolu nad čitavim svijetom oko gledatelja.
Što možete učiniti s VR kamerom?
Ne treba puno mašte da bi se uzbuđivala ideja VR kamera. Filmaši bi mogli doslovno dovesti publiku licem u lice sa svojim likovima i uroniti ih u spektakularne, bizarne svjetove. Fotografi su mogli snimiti čitave prizore, zamrznute u vremenu, da ih progone bilo tko, bilo gdje u svijetu.
Dokumentaristi bi mogli odvesti publiku na mjesta koja inače nikad ne bi mogli posjetiti. Mogli su poslati VR kameru na dno oceana i pustiti gledatelje da stanu usred potopljene dvorane Titanika. Prirodni dokumentarni filmovi mogli bi manipulirati vremenom i prostorom, stavljajući korisnike među mrave veličine pasa ili gradeći redovne immersive sekvencije. NASA bi mogla montirati VR kameru na roveru Mars i omogućiti milionima ljudi da stoje na crvenom planetu.
Postoje, naravno, i više svjetovnih aplikacija:
Jedan od ključeva uspjeha VR potrošača bit će stereoskopski panoramski videozapisi o mačkama.
- John Carmack (@ID_AA_Carmack) 6. studenog 2014
Video VR uživo također bi mogao biti vrlo uvjerljiv. Sportskim igrama moglo se prisustvovati na daljinu, VR kamere bi imale mjesta za sve na dvorištu. Čak bi i turizam mogao biti stvaran.
Korisnici su mogli unajmiti jednostavnog robota telepresence (možda Segway s VR kamerom koja sjedi na upravljaču) i upravljati ga okolo, bilo gdje u svijetu. Segway će svoj video streamiti uživo, omogućujući turistima gotovo “Teleport” da preko planeta istražuju bilo gdje. Čini se sigurno reći da će VR promijeniti svijet zašto će tehnologija virtualne stvarnosti raznijeti svoj razum za 5 godina zašto će tehnologija virtualne stvarnosti raznijeti svoj um za pet godina Budućnost virtualne stvarnosti uključuje praćenje glave, očiju i izraza, simulirani dodir , i mnogo više. Ove nevjerojatne tehnologije bit će vam dostupne za 5 ili manje godina. .
VR filmsko stvaranje ima mnogo izazova. Kako redatelji mogu pomicati kameru, a da pri tome gledatelju bude ugodno? Kako redatelji režu film bez dezorijentiranja gledatelja? Kako osiguravaju da gledatelj gleda u pravom smjeru kako bi uhvatio važne zapletene događaje? Da li krupni planovi uopće imaju smisla?
Možda su najveći problemi ipak praktični: kako snimate sadržaj u virtualnu stvarnost? Prikazivanje VR sadržaja uživo za igre je računalno intenzivno, ali konceptualno jednostavno. Snimanje stvarnog života predstavlja, za razliku, ozbiljne izazove.
Panoramska kamera
Najjednostavnije rješenje (i trenutno trenutno široko korišteno) je jednostavno panoramsko snimanje videa. U ovoj se shemi klasična kamera koristi za snimanje videozapisa u svakom smjeru, a rezultati se spajaju zajedno s softverom za stvaranje neprimjerene sfere videa. One su vrlo slične panorama koje uzimate. 5 Savjeta za snimanje panoramskih fotografija pametnim telefonom 5 savjeta za snimanje panoramskih fotografija pametnim telefonom Panoramske slike zapanjujućih krajolika gotovo uvijek izgledaju čudesno, ali mogu biti izuzetno teške za stvaranje. Pomoću pametnog telefona postoje razne tehnike i trikovi koje možete upotrijebiti za postizanje najboljih rezultata. e sa telefonom, ali istovremeno snimljeno u video formatu. Izlaz procesa izgleda ovako:
To je jednostavno i jeftino. Panoramsku kameru možete predbilježiti za oko 700 dolara, ali ona ima ograničenja. Najvažniji je nedostatak dubine: panorame su postavljene na beskonačno veliku sferu, pa je paralaksa između vaših očiju jednaka nuli, čak i za dijelove slike koji zaista trebaju imati dubinu, poput osobe koja stoji kraj vas.
Unatoč ovom nedostatku, doživljaj panoramskog videozapisa i dalje je iznenađujuće svjež, posebno za sadržaj koji se događa na daljinu (zračne fotografije su dobar primjer). Prije otprilike tjedan dana sagradio sam Oculus Rift aplikaciju koja u gornjem video zapisu pravi virtualni kokpit, a rezultati su uvjerljivi: čini se kao da se vozim u podmornici okruženoj morskim kornjačama veličine malih zgrada.
Razmislite o takvoj vrsti VR sadržaja kao o osobnom super IMAX kazalištu u kojem stojite suspendirano usred ogromnog sfernog prikaza. Osjećaj mjesta koji pruža sferični videozapis već je nešto što je nemoguće s tradicionalnim alatima za snimanje filmova. Vjerojatno će tako izgledati i većina VR videozapisa u bliskoj budućnosti. Dokumentarni film Richarda Attenborouga (“Osvajanje neba“) snima se u ovom formatu.
Stereo panoramska kamera
Recimo da redatelj nije zadovoljan ograničenjem monoskopskih panorama. Jedno očito proširenje tehnologije je uvođenje bočne 3D tehnologije Old-Time Fun: Kako napraviti 3D slike za gledanje bez naočala. Old-time zabava: Kako napraviti 3D slike za gledanje bez naočala Vjerovali ili ne, zapravo vam ne trebaju 3D naočale za iskusne uvjerljive realistične 3D slike (ili filmove). Samo se morate natjerati da odete “crosseyed”. U suštini, gledate dvije slike, i to namjerno…. Da biste to učinili, hardveru su potrebne dvije paralelne kamere okrenute u svakom smjeru, pomaknute za oko 6,3 cm. Zatim kamera koristi softver za spajanje dvije panoramske slike: jednu za lijevo oko i jednu za desno. Razlika između njih stvara iluziju dubine. Dostupni su proizvodi koji podržavaju ovo iskustvo iako su skupi (995 USD plus trošak deset GoPro kamera).
U nastojanju da takav oblik sadržaja postane više mainstream, Samsung je nedavno najavio “Projekt izvan”, VR stereo panoramska kamera za Oculus-Samsung Gear VR mobilne slušalice. Trenutni prototip ima mali faktor oblika, a koristi 17 HD kamera i stvara gigapiksela u sekundi.
Pri 30 sličica u sekundi, to djeluje na panoramske okvire koji su oko 15 megapiksela po oku ili oko 50.000 piksela po oku po vizualnom stupnju. Informacije o cijenama još su nešto misterija, a Samsung naglašava da ovo nije gotov projekt. Njihov videozapis za pregled možete vidjeti dolje.
Stereo panorame očito su bolje iskustvo od njihove monoskopske braće - velike stvari izgledaju veliko, male stvari izgledaju malo, predmeti imaju dubinu i položaj, a čini se da je puno više kao da ste tamo. To je rečeno, iskustvo je još uvijek daleko od savršenog. Kao što John Carmack opisuje u glavnoj poruci Oculus Connect, stereo panorama imaju puno problema.
“… Stereoskopske panorame, bilo one ili videozapise, apsolutno su hack. Postoji - znamo što je ispravno, a ovo nije u redu. Ono što oni završavaju je da imate dijelove uzete s više kamera, pa ravno naprijed to je pravi stereo za para-mudar, a onda je ovdje pravi za to. Ali to znači da ako gledate ono što je ovdje točno za oči, ali ovdje gledate iz ugla očiju, to definitivno nije u redu. Nije to prava razlika između očiju.
A što je još gore, ako ovako okrenete glavu, to postaje sve loše, jer je postavljeno samo za oči ravno ispred. Dakle, ovo je bila zanimljiva stvar. Imamo stvari za koje u biti znamo kako se to na neki način može otrovati, ovo može biti stvarno loše iskustvo ako ljudi s kojima provodite puno vremena nasukani. […]
Ovo su tehnički problemi koji bi se, možda, mogli riješiti boljim hardverom. Međutim, postoji dublje pitanje: što se događa kad pomaknete glavu? Panorame obaju očiju i dalje se prikazuju u beskonačnosti: fizički pomicanje glave rezultirat će mučninom kao da se svijet kreće s vama, posebno ako su predmeti u vašoj blizini. Ne postoji jednostavan način da se shvati kako bi izgledala stereoskopska slika s novog stajališta.
Unatoč tim ograničenjima, stereo panoramska iskustva i dalje su uvjerljiva. Platforma Gear VR fokusirat će se na ovakva iskustva, jer se mogu kreirati modernim hardverom i prikazati bez oporezivanja mogućnosti hardvera za iscrtavanje. Stereo panorame vjerojatno će biti zlatni standard u proizvodnji VR sadržaja, barem narednih nekoliko godina.
Dubinske kamere
Alternativa za snimanje dvije bočne slike (kao što je to slučaj s tradicionalnim 3D filmovima) je snimanje onoga što je poznato kao dubinske slike: jedna slika snimljena iz jedne perspektive, koja sadrži dodatni kanal u boji koji pohranjuje udaljenost od objektiva dotičnog piksela.
Ako ste to dobili, softver može simulirati virtualne fotoaparate koji prikazuju sliku iz nove perspektive, pazeći da uvijek bude nova, ispravna slika iz svakog oka. Moguće je generirati panoramske slike dubine koje omogućuju prirodno kretanje i rotaciju glave na način koji nije moguć sa stereo panorama. Postoji nekoliko tehnologija pomoću kojih možete snimiti ove dubinske slike.
Vrijeme leta
Verzija ove tehnologije koja vam je vjerojatno najpoznatija je ona koja se koristi u Kinect-u. Kinect V2 (verzija u paketu s Xbox One) oslanja se na ono što je poznato kao kamera za vrijeme leta.
Ovdje je teorija jednostavna: kamere za vrijeme leta su infracrvene kamere koje mogu snimati ne samo tamo gdje svjetlost udara u senzor, već kada svjetlo udara u senzor, s preciznošću od nekoliko mikrosekundi. To je u kombinaciji s video kamerom u boji i infracrvenim stroboskopom. Na početku svakog kadra IR strobo trepće osvjetljavajući prizor vrlo kratko. Vremenom, koliko treba svakom pikselu da promatra bljeskalicu, kamera može iz brzine svjetlosti zaključiti koliko je udaljen svaki piksel od kamere.
Ova je tehnologija izuzetno snažna. Hakeri su učinili nevjerojatne stvari 5 Microsoftovih Xbox Kinect hakova koji će vam raznijeti um 5 Microsoftovih Xbox Kinect hakova koji će vam raznijeti svoj um. Korištenjem nekoliko Kinekata u konfiguraciji koja se preklapa, moguće je stvoriti panoramu scene s preciznom vrijednošću dubine za svaki piksel koja bi se mogla stvoriti u virtualnoj stvarnosti kako bi se stvorio potopni doživljaj s točnom dubinom.
Da biste dobili predstavu o vrstama rezultata koje ovaj pristup proizvodi, pogledajte ovaj videozapis koji prikazuje izlaz iz samo dubinske kamere Kinect V2.
Ovo je visokokvalitetna slika dubine - puno detalja, čisti rubovi i ne previše buke. Postoje, međutim, ograničenja: najveće upozorenje je da Kinect u ovom primjeru snima unutarnju scenu s pažljivo kontroliranim uvjetima osvjetljenja..
U stvarnim scenarijima (a osobito na otvorenom) interferencija IR okoline od izravnih i neizravnih sunčevih zraka i žarulja može ugroziti točnost. Tu je i temeljniji problem, a to je da vrijeme letenja kamera ovisi o aktivnom osvjetljenju. To postavlja neke teške granice koliko ih mogu vidjeti. Također se ne mogu dobro nositi s prozirnim i reflektirajućim površinama. Budući da je razlučivost dubine ograničena točnošću vremena, kamere za let nisu baš korisne za snimanje malih predmeta, što onemogućava igranje skalom.
Svjetlosno polje
Drugačija tehnologija za snimanje dubinskih slika poznata je kao fotografija svjetlosnog polja Lytro kamera sa svjetlosnim poljem: Snap Happy ili Photo Gimmick? Lytro kamera sa svjetlosnim poljem: Snap Happy ili Photo Gimmick? Opisan od strane zaposlenika, kao "prva veća promjena u fotografiji otkad je fotografija izumljena", kamera sa svjetlosnim poljem Lytro zasigurno je revolucionarni uređaj. Kamera pretresa stvari zamjenjujući većinu teških ... .
Evo kako to funkcionira: u konvencionalnoj fotografiji objektiv fotoaparata fokusira dolaznu svjetlost na senzor. Svaki element senzora bilježi količinu svjetlosti koja ga pogodi. Kamere sa svijetlim poljem koriste poseban senzor, u kojem je svaka “piksela” zapravo je sićušna leća s mnogo senzora ispod nje. To omogućuje kameri da mjeri ne samo koliko svjetla pogađa svaki piksel, već i kut u koji svjetlost ulazi.
To je korisno iz nekoliko razloga. Najjednostavnija primjena je da, promjenom načina uzorkovanja ovog velikog „svjetlosnog polja“, krajnji korisnici mogu ponovno fokusirati fotografiju nakon što je ona slikana. Zanimljiva aplikacija za VR je ta što su kamere s svjetlosnim poljem također, slučajno, dubinske kamere! Kut dolazne svjetlosti od objekta je funkcija udaljenosti objekta od objektiva, u odnosu na veličinu otvora. Daleki predmeti proizvode svjetlost koja je gotovo okomita na leću. Vrlo bliski predmeti proizvode svjetlost koja je gotovo paralelna. Iz toga je moguće (vrlo točno) odrediti kartu dubine slike.
Dolje možete vidjeti neke rezultate videonadzora ranog svjetlosnog polja, a kako slika izgleda reprojektirana iz drugog kuta.
Budući da je to pasivan proces, granica raspona i prostorna točnost definiraju se rezolucijom i veličinom otvora, i ništa drugo. To znači da je pomoću povećalih leća moguće snimiti slike dubine svjetlosnog polja gotovo bilo kojeg predmeta u bilo kojoj skali pod bilo kojim uvjetima. Da biste dobili primjer što je moguće s većim, preciznijim svjetlosnim poljima, pogledajte ovaj videozapis koji koristi nekoliko okvira iz ručne kamere za svjetlosno polje da simuliraju mnogo veće svjetlosno polje. Iz nje se stvara neka prilično uvjerljiva 3D geometrija.
Kamere sa svijetlim poljem znatno su manje zrela tehnologija od vremena letačkih kamera (na potrošačkom tržištu trenutno je samo jedna kamera sa svjetlosnim poljem i ona ne podržava snimanje video zapisa). U skladu s tim, s vremenom za razvoj svjetlosnih kamera trebalo bi dugoročno ponuditi mnogo robusnije video iskustvo dubine.
Suočavanje s isključenošću
Postoji jedan veliki problem s video zapisima o dubini koji vrijedi spomenuti: kretanje glave. Da, moguće je reproducirati videozapise s dubinama na nove perspektive, a svi su se pikseli završili tamo gdje trebaju biti. Dubina videozapisa neće vas razboljeti. Nažalost, oni uvode novi problem: nezanimanje.
Kad pomaknete glavu na takav način da gledate dio svijeta koji nije vidljiv na originalnoj slici ili panorami, dobivate gadan vizualni artefakt: sjenu. Da biste saznali o čemu pričam, pogledajte ovaj video:
U tom je videu programer hakirao Kinect da bi napravio dubinski video onoga što vidi u svemiru. Pomicanjem virtualne kamere on reprojektira scenu iz više perspektiva.
Kinect je prve generacije, pa je video feed pomalo blistav, ali rezultati su prilično impresivni. Najveći nedostatak, koji postaje očit čim počne okretati kameru, jesu sjene u sceni. Dio zida iza njegovog tijela izrezan je ogroman otvor u obliku osobe, dio za koji kamera ne može vidjeti i za koji nema podataka. Te će se crne sjene pojaviti u panoramama dubina čim se glava počne kretati. Pa, kako se VR kamere bave tim rupama? Pa, postoji nekoliko pristupa ovom problemu:
Više kamera
Najjednostavnije rješenje je zapravo samo snimiti stvari oko uglova i iza okluzirajućih površina. Da biste to učinili, dodate još kamera - puno više. Kako bi se ljudima omogućilo pomicanje glave do, recimo, jednog metra u bilo kojem smjeru, kameru je potrebno proširiti tako da stvori sferu široku 2 metra ispunjenu kamerama velike FOV dubine, tako da softver može sintetizirati bilo koju točku gledanja unutar sfera.
To je najtvrđi pristup, ali ujedno i najmanje praktičan. Dvomjesečna sfera kamera nije lijep, prenosiv steadicam, to je instalacija i skupa. To bi moglo biti praktično za neke vrhunske holivudske produkcije, ali svakako ne za većinu aplikacija u stvarnom svijetu. Prototip ove ideje možete vidjeti dolje, implementiran u obliku aktivne 3D aplikacije za telekonferencije:
Rekonstrukcija scene
Drugi pristup, ako stvoritelj videa prvenstveno bilježi nekoliko dinamičnih objekata na statičkoj pozadini, je korištenje dubinske kamere za mapiranje okoliša prije nego što započnu snimanje te pomoću tih podataka za popunjavanje rupa u snimljenim slikama. To se može učiniti automatski pomoću tehnike zvane SLAM (istodobna lokacija i preslikavanje), koja automatski spaja mnoge slike dubine kako bi stvorio kompletnu 3D mapu scene. Rezultati izgledaju ovako:
To djeluje prilično dobro, ali nije primjereno za sve situacije. Nije teško zamisliti pokušati snimiti scenu na prometnom javnom mjestu, gdje se velik dio pozadine sastoje od ljudi koji se kreću i okitiraju jedni druge. Snimanje jedne statičke verzije te scene radi popunjavanja rupa jednostavno nije moguće. Nadalje, za dokumentarne, video zapise ili vijesti neće biti praktično prethodno iscrpno preslikati okoliš.
Samo izmišljam stvari
Posljednji pristup problemu je pribjegavanje uobičajenom odgovoru u slučajevima kada nemate dovoljno podataka: izravna laž.
Ovdje postoji uvid u to da gledatelj u stvarnom životu neće ustajati i pokušati hodati po sceni. Oni će sjesti, a ono što softver stvarno treba ispraviti su male varijacije u pozi, koje prouzrokuju naslanjači i pomicanje gledatelja u sjedalu - odstupanja jednostavno neće biti toliko velika. To znači da podaci upotrijebljeni za popunjavanje rupa zapravo ne moraju biti točni, već samo moraju izgledati vjerodostojno. Oni od vas koji su se igrali s Photoshopovim ispunjenim slikama (ili njenim konkurentima Snapheal za Mac: Superherovi iscjelitelj slike [Giveaway] Snapheal za Mac: Superherovi iscjelitelj slike [Giveaway] SnapHeal za Mac (14,99 dolara) je tu da spremite svoj fotografije, i to je dobar posao. Ovaj tjedan ćemo vam podijeliti 25 primjeraka Snapheal za Mac u vrijednosti od ukupno 375 dolara. Ako…) znate kamo to ide.
Kako se ispostavilo, istraživači su osmislili neke prilično dobre algoritme za popunjavanje rupa u video streamama uživo u stvarnom vremenu. Neke primjere možete pogledati u nastavku:
Zamislite kako dekomponujete sliku s dubine u slojeve, oduzimajući ih jednu po jednu da biste vidjeli gdje se sjene mogu pojaviti, a zatim koristeći ove vrste algoritama za slikanje da biste stvorili vjerojatne slike za popunjavanje rupa.
To je malo teže od jednostavnog 2D slikanja, jer algoritam također mora pripremiti razumne vrijednosti dubine za rupe, ali mogu se koristiti mnoge iste tehnike. Ovi pristupi neće raditi savršeno u svim situacijama, ali sve dok su ti artefakti manje nametljivi od velikih crnih rupa na svijetu, to se još uvijek računa kao pobjeda.
Koliko dugo dok oni ne urade?
Sa VR kamerama, čak i više od ostalih stvari, savršen je neprijatelj dobra.
Čak i uz najbolju tehnologiju koju novac može kupiti i snimke pažljivo planirane kako bi se smanjile pogreške u okluziji, rezultati bi i dalje bili nesavršeni. Spekularni istaknutosti su, na primjer, točke svjetline koje se pojavljuju na sjajnim površinama, a koje se razlikuju ovisno o položaju glave, budući da se oslanjaju na to da se svjetlost reflektira pod vrlo specifičnim kutom.
Specijalni istaknuti snimci, čak i najbolji VR videozapisi, pojavit će se kao bijele mrlje na površini, a tijekom kretanja glave neće izgledati dobro na obližnjim objektima. To je ograničenje koje će biti teško zaobići. Nadalje, teško je popuniti greške okluzije u kompliciranim scenama s puno pokretnih objekata - savršeno je to nemoguće i dugo će biti.
Proći će godine, a možda i desetljeća prije nego što VR kamere omoguće savršeno iskustvo na isti način kao što to može tradicionalni 2D film. To je žrtva koju dajete kako biste iskusili fundamentalno moćniji medij.
Uz sve rečeno, neke stvarno zgodne stvari spuštaju se u cijev u skoroj budućnosti. Svaka pojedina opcija navedena u ovom članku može stvoriti istinski vrijedna iskustva. Najava tvrtke Samsung “Projekt izvan” obećavajući je znak predstojećih stvari.
Oculus Rift trebao bi se lansirati negdje 2015. godine, a brojke prodaje u milijunima jedinica ne izgledaju kao veliki potez. Ako se virtualna stvarnost pokrene onako kako se čini, brzo će se dogoditi ogroman tehnološki napredak.
Potražnja za sadržajem pokretat će VR kamere da postanu bolje, manje i jeftinije kako bi zadovoljile potražnju. Vjerojatno neće proći mnogo godina prije nego što uređaj koji košta manje od novog telefona i stane na vaš dlan osigurati uvjerljivo, ugodno VR snimanje svega - i to će biti vrlo, vrlo cool.
Što biste napravili s vlastitom VR kamerom? Kakav sadržaj vas najviše veseli? Javite nam se u komentarima!
Slikovni krediti: Koncept naočala Via Shutterstock