In complexe omgevingen kunnen mensen de betekenis van spraak beter begrijpen dan AI, omdat we niet alleen onze oren maar ook onze ogen gebruiken.
We zien bijvoorbeeld de mond van iemand bewegen en kunnen intuïtief weten dat het geluid dat we horen van die persoon moet komen.
Meta AI werkt aan een nieuw AI-dialoogsysteem, dat AI moet leren ook subtiele correlaties te herkennen tussen wat het ziet en hoort in een gesprek.
VisualVoice leert op een vergelijkbare manier als mensen nieuwe vaardigheden leren beheersen, waardoor audiovisuele spraakscheiding mogelijk wordt gemaakt door visuele en auditieve signalen te leren van ongelabelde video's.
Voor machines zorgt dit voor een betere waarneming, terwijl de menselijke waarneming verbetert.
Stel je voor dat je kunt deelnemen aan groepsbijeenkomsten in de metaverse met collega's van over de hele wereld, terwijl je deelneemt aan kleinere groepsbijeenkomsten terwijl ze door de virtuele ruimte bewegen, waarbij de geluidsgalm en timbres in de scène zich aanpassen aan de omgeving. Pas dienovereenkomstig aan.
Dat wil zeggen, het kan tegelijkertijd audio-, video- en tekstinformatie verkrijgen en heeft een rijker model voor omgevingsinzicht, waardoor gebruikers een "zeer wow" geluidservaring kunnen hebben.
Posttijd: 20 juli 2022
