Meta ja Austini Texase Ülikooli (UT Austin) teadlaste rühm töötavad selle nimel, et tuua metaverssile realistlik heli.

Nagu Meta AI uurimisdirektor Kristen Garuman selgitab (avaneb uuel vahelehel), ei ole liit- ja virtuaalreaalsus (vastavalt AR ja VR) seotud ainult visuaalidega. Heli mängib maailma elavaks muutmisel väga olulist rolli. Garuman ütleb, et "heli kujundab keskkond, milles see on. Heli käitumist mõjutavad mitmed tegurid, näiteks ruumi geomeetria, mis selles ruumis on ja kui kaugel inimene on allikast.

Selle saavutamiseks kavatseb Meta kasutada ühest kohast heli ja video salvestamiseks AR-prille, seejärel kasutada kolmest AI mudelist koosnevat komplekti salvestise teisendamiseks ja puhastamiseks nii, et see näib toimuvat esitades teie ees. tagasi mängima. Kodus. AI-d võtavad keskkonnaga sobitamiseks arvesse ruumi, kus te viibite.

Projekte vaadates tundub, et Meta keskendub AR-prillidele. Meta VR-peakomplektide plaan hõlmab keskkonna, näiteks kontserdi, vaatamisväärsuste ja helide taasesitamist, et tunneksite end isiklikult kohal.

Küsisime Metalt, kuidas inimesed täiustatud heli kuulevad. Kas inimesed vajavad kuulamiseks kõrvaklappe või tulevad need kõrvaklappidest? Vastust me saanud ei ole.

Küsisime ka Metalt, kuidas arendajad saavad neid AI-mudeleid kätte saada. Need tehti avatud lähtekoodiga, et välised arendajad saaksid tehnoloogia kallal töötada, kuid Meta ei esitanud rohkem üksikasju.

AI poolt teisendatud

Küsimus on selles, kuidas Meta saab AR-prillidega heli salvestada ja panna see peegeldama uut seadet.

Esimene lahendus on tuntud kui AViTAR, mis on "Visual Acoustic Matching Model". (avaneb uuel vahelehel) See on AI, mis muudab heli uue keskkonnaga sobivaks. Meta toob näite, kuidas ema salvestas AR-prillidega auditooriumis oma poja tantsukontserti.

Üks teadlastest väidab, et kõnealune ema saab selle salvestise võtta ja seda kodus taasesitada, kus AI muudab heli. See skannib keskkonda, võtab arvesse ruumis esinevaid takistusi ja paneb ettekandel kõlama, nagu see toimuks samade prillidega otse tema ees. Uurija väidab, et heli tuleb prillidest.

Heli puhastamiseks on visuaalselt informeeritud derverb (avaneb uuel vahelehel). Põhimõtteliselt eemaldab see klipist häiriva reverbi. Toodud näide on salvestada viiulikontsert raudteejaamas, viia see koju ja lasta tehisintellektil klipp puhastada, nii et kuulete ainult muusikat.

Uusim tehisintellekti mudel on VisualVoice (avaneb uuel vahelehel), mis kasutab häälte muust mürast eraldamiseks visuaalsete ja helivihjete kombinatsiooni. Kujutage ette, et salvestate videot kahe inimese tülitsemisest. See AI isoleerib hääle, et saaksite sellest aru, samal ajal kui kõik muu vaigistab. Meta selgitab, et visuaalsed näpunäited on olulised, kuna AI peab nägema, kes räägib, et mõista teatud nüansse ja teada, kes räägib.

Mis puutub visuaalidesse, siis Meta sõnul kavatsevad nad lisada video ja muud näpunäited, et AI-põhise heli veelgi täiustada. Kuna see tehnoloogia on alles väljatöötamise algfaasis, pole selge, kas ja millal toob Meta need AI-d teie lähedal asuvasse Questi peakomplekti.

Kui kaalute selle ostmist, lugege kindlasti meie viimast Oculus Quest 2 arvustust. Spoileri hoiatus: meile meeldib.

Share This