In complexe omgevingen kunnen mensen de betekenis van spraak beter begrijpen dan AI, omdat wij niet alleen onze oren maar ook onze ogen gebruiken.
We zien bijvoorbeeld iemands mond bewegen en kunnen intuïtief weten dat het geluid dat we horen van die persoon afkomstig moet zijn.
Meta AI werkt aan een nieuw AI-dialoogsysteem waarmee AI subtiele verbanden kan herkennen tussen wat het ziet en hoort in een gesprek.
VisualVoice leert op een manier die vergelijkbaar is met de manier waarop mensen nieuwe vaardigheden leren beheersen: het maakt het mogelijk om audiovisuele spraak te onderscheiden door visuele en auditieve signalen uit niet-gelabelde video's te leren.
Voor machines zorgt dit voor een betere waarneming, terwijl de menselijke waarneming verbetert.
Stel je voor dat je kunt deelnemen aan groepsvergaderingen in de metaverse met collega's van over de hele wereld. Je kunt deelnemen aan kleinere groepsvergaderingen terwijl je door de virtuele ruimte beweegt, waarbij het geluid en de klankkleuren in de scène zich aanpassen aan de omgeving.
Dat wil zeggen dat het tegelijkertijd audio-, video- en tekstuele informatie kan verkrijgen en een rijker model voor omgevingsbegrip heeft, waardoor gebruikers een "heel wow"-geluidservaring kunnen hebben.
Plaatsingstijd: 20-07-2022
