Meta ja joukko tutkijoita Teksasin yliopistosta Austinissa (UT Austin) työskentelevät tuodakseen realistisen äänen metaversumiin.

Kuten Meta AI:n tutkimusjohtaja Kristen Garuman selittää (avautuu uudella välilehdellä), lisätty ja virtuaalitodellisuus (AR ja VR, vastaavasti) eivät ole vain visuaalisuutta. Äänellä on erittäin tärkeä rooli maailman herättämisessä eloon. Garuman sanoo, että "äänen muotoilee ympäristö, jossa [se on]. On useita tekijöitä, jotka vaikuttavat äänen käyttäytymiseen, kuten huoneen geometria, mitä siinä huoneessa on ja kuinka kaukana ihminen on lähteestä.

Tämän saavuttamiseksi Metan suunnitelma on käyttää AR-laseja äänen ja videon tallentamiseen yhdestä paikasta ja sitten kolmen tekoälymallin sarjan avulla muuntaa ja puhdistaa tallenne niin, että se näyttää tapahtuvan edessäsi, kun toistat sitä. takaisin, pelaa. Kotona. Tekoälyt ottavat huomioon huoneen, jossa olet, ympäristöön sopivaksi.

Projekteja tarkasteltaessa näyttää siltä, ​​että Meta keskittyy AR-laseihin. Metan VR-kuulokkeiden suunnitelmaan kuuluu ympäristön, kuten konsertin, näkymien ja äänien toistaminen, jotta sinusta tuntuu, että olet paikalla.

Kysyimme Metalta, kuinka ihmiset voivat kuulla tehostetun äänen. Tarvitsevatko ihmiset kuulokkeet kuunnellakseen vai tulevatko ne kuulokkeista? Emme ole saaneet vastausta.

Kysyimme myös Metalta, kuinka kehittäjät voivat saada käsiinsä nämä tekoälymallit. Ne tehtiin avoimen lähdekoodin avulla, jotta ulkopuoliset kehittäjät voisivat työskennellä tekniikan parissa, mutta Meta ei antanut lisätietoja.

AI muuntanut

Kysymys kuuluu, kuinka Meta voi tallentaa ääntä AR-laseilla ja saada sen heijastamaan uutta asetusta.

Ensimmäinen ratkaisu tunnetaan nimellä AViTAR, joka on "Visual Acoustic Matching Model". (avautuu uuteen välilehteen) Tämä on tekoäly, joka muuttaa äänen vastaamaan uutta ympäristöä. Meta antaa esimerkin äidistä, joka äänittää poikansa tanssikonserttia auditoriossa AR-laseilla.

Yksi tutkijoista väittää, että kyseinen äiti voi ottaa tämän tallenteen ja toistaa sen kotona, jossa tekoäly muuttaa äänen. Se skannaa ympäristöä, ottaa huomioon huoneessa olevat esteet ja saa konsertin kuulostamaan siltä kuin se tapahtuisi hänen edessään samoilla laseilla. Tutkija väittää, että ääni tulee laseista.

Äänen puhdistamisen helpottamiseksi on visuaalinen dereverb (avautuu uuteen välilehteen). Pohjimmiltaan se poistaa häiritsevän kaiun leikeestä. Annettu esimerkki on äänittää viulukonsertti rautatieasemalla, viedä se kotiin ja antaa tekoälyn puhdistaa leikkeen, jotta kuulet vain musiikkia.

Uusin tekoälymalli on VisualVoice (avautuu uuteen välilehteen), joka käyttää visuaalisten ja äänimerkkien yhdistelmää erottamaan äänet muusta melusta. Kuvittele, että nauhoitat videota, jossa kaksi ihmistä riitelee. Tämä tekoäly eristää äänen, jotta voit ymmärtää sen samalla kun mykistää kaiken muun. Meta selittää, että visuaaliset vihjeet ovat tärkeitä, koska tekoälyn täytyy nähdä kuka puhuu ymmärtääkseen tiettyjä vivahteita ja tietääkseen, kuka puhuu.

Mitä tulee visuaalisuuteen, Meta sanoo, että he aikovat sisällyttää videon ja muita vihjeitä parantaakseen tekoälyohjattua ääntä entisestään. Koska tämä tekniikka on vielä kehitysvaiheessa, on epäselvää, tuoko ja milloin Meta nämä tekoälyt lähelläsi oleviin Quest-kuulokkeisiin.

Muista lukea uusin Oculus Quest 2 -arvostelumme, jos harkitset sellaisen ostamista. Spoilerihälytys: pidämme siitä.

Jaa tämä