Google Research opracowało metodę, dzięki której materiały zrealizowane w technice Mixed Reality nabiorą jeszcze większej głębi.

Najbardziej atrakcyjna jak dotychczas metoda prezentacji trailerów z gier i doświadczeń wirtualnej rzeczywistości po raz pierwszy została zademonstrowana przez twórców gry Fantastic Contraption, którzy połączyli wygenerowane komputerowo środowisko z zielonym ekranem i występującym na jego tle graczem. Technika ta została w późniejszym czasie wykorzystana w reklamie gogli HTC Vive, a także VR-owych tytułów takich jak m.in. Arizona Sunshine, Everest VR, Rock Band VR czy Job Simulator. Co więcej, w naszym kraju powstało nawet profesjonalne studio specjalizujące się w tego typu produkcjach, założone przez firmę VR Visio.

Metoda ta nie jest jeszcze idealna, choćby z uwagi na to, że nie jesteśmy w stanie ujrzeć twarzy gracza, którą przysłaniają gogle. Jest jednak już na to sposób. Google Research wspólnie z Daydream Labs i zespołem YouTube Spaces opracowało technologię pozwalającą na odsłonięcie części twarzy znajdującej się pod headsetem.

Aby jednak można było w ten sposób nagrywać rozgrywkę konieczne jest wcześniejsze przygotowane modelu 3D twarzy użytkownika oraz odpowiednie jego skalibrowanie. Proces ten jest jednorazowy i trwa zwykle mniej niż minutę. Użytkownik siada naprzeciw kamery głębi i monitora, na którym musi śledzić wzrokiem wyświetlany na ekranie punkt. Dalsza część to zasługa gogli HTC Vive z wbudowaną jednostką eye-tracking. Jej zadanie polega na śledzeniu ruchów gałek ocznych oraz mimiki twarzy. Uzyskane dane przekładane są na obraz wyświetlany w dotychczas zasłoniętym przez gogle miejscu.

W rezultacie uzyskamy widoczny na poniższym nagraniu efekt.

Według pracowników Google technologia ta pomoże także usprawnić komunikacje i interakcje społeczne w wirtualnej rzeczywistości, co przełoży się na rozwój różnego rodzaju wieloosobowych gier VR oraz aplikacji umożliwiających np. organizowanie konferencji VR, czy spędzanie czasu z przyjaciółmi i rodziną.