Affektive Avatare und die Voice AI-Lösung

,
Soroosh Mashal

Avatar bezeichnet im Hinduismus die Manifestation einer Gottheit oder einer befreiten Seele in körperlicher Form auf der Erde. Heutzutage assoziieren die Menschen damit eher ein Symbol oder eine Figur, die eine bestimmte Person in einem Videospiel, einem Internetforum, den sozialen Medien usw. darstellt. Wir verwenden Avatare, um unsere Identität zu zeigen oder andere Identitäten anzunehmen, und wenn es um Identität geht, wollen wir sicherstellen, dass wir uns so ausdrücken, wie es uns gefällt. 

So normal wie die Bezahlung eines T-Shirts

In der Videospielbranche ist es üblich, 3D-Avatare als "Skins" zu bezeichnen. Wenn Sie ein Gamer sind, ist das Bezahlen für einen Skin so normal wie das Bezahlen für ein T-Shirt. Wenn Sie jedoch kein Gamer sind, mag das unheimlich klingen. Um das zu relativieren, werfen wir einen Blick auf Fortnite.Dieses Free-to-Play-Spiel erwirtschaftet etwa 70 % seines Jahresumsatzes von 5,1 Milliarden Dollarmit dem Verkauf von Skins. Epic hat zum Beispiel gerade50 Millionen Dollar NUR mit dem NFL-Skin-Set verdient,und das war nicht einmal der Bestseller. 

NFL-Spiel mit Avataren macht Milliardenumsätze

Der Markt kennt den Wert der Selbstdarstellung und schlägt daraus schnell Kapital. Dieses Geschäftsmodell ähnelt dem Leben, und die Menschen verstehen es unbewusst besser. Das Spielen (-Leben) ist kostenlos, aber man zahlt für zusätzliche Gegenstände wie Skins (-Kleidung), um sich besser ausdrücken zu können. 

Nächste Schritte ins Metaverse

Mit dem Aufkommen des Metaverse und dem Übergang von 2D- zu 3D-Erlebnissen wird der Bedarf an besseren Avataren immer deutlicher; und diejenigen, die die besten Lösungen und Medien anbieten, gewinnen diese Runde. Sehen wir uns an, warum die Menschen Milliarden von Dollar für diese Avatare bezahlen und was der nächste Schritt sein kann. 

Fast alle F2P-Spiele (Free-to-Play) wie Fortnite und Dota erzielen den Großteil ihrer Einnahmen durch den Verkauf dieser Skins. Selbst Spiele wieWorld of Warcraft bieten Skins an, die nicht im Spiel erhältlich sind. Und wie vermarkten sie sie? "Sammle, mische und kombiniere deine Lieblings-Transmogrifikationsstücke(sprich: Avatar-Skins), um einen Look zu kreieren, der einzigartig für dich ist. "

Blogpost AA 2

Es klingt wie mein Kleiderschrank, aber für mein digitales Ich. 

 Wir sind also bereits auf einer Ebene, auf der wir Kleidung für unsere digitale Darstellung kaufen können, und die Freiheit der digitalen Welt erlaubt es uns, alles zu sein. In dieser Runde kann ich als Batman spielen und in der nächsten Runde als Harley Quinn. 

Die Bandbreite der Avatare von ausdrucksstark bis fotorealistisch 

Bevor wir weitergehen, müssen wir einen Schritt zurücktreten und das Spektrum der Avatare betrachten. Am einen Ende dieses Spektrums möchten Sie genau Sie selbst sein, daher ist es sinnvoll, auf Fotorealismus zu setzen. Am anderen Ende des Spektrums möchte man etwas sein, das einen selbst am besten zum Ausdruck bringt.Mark Zuckerburg hat dies in diesem Gespräch mit Lex Fridman sehr schön herausgestellt. 

Menschen, die nicht aus diesem Bereich kommen, könnten davon ausgehen, dass man am besten so ausdrucksstark ist wie man selbst, wenn man komplett wie man selbst dargestellt wird. Sie vergessen jedoch, dass die Menschen "genau" aus diesem Grund in die digitale Welt gehen - um über ihre physische Erscheinung hinauszuwachsen und Dinge zu erleben, die in der physischen Welt unmöglich sind. 

Für jede Situation die passende Darstellung

Natürlich gibt es verschiedene Anwendungsfälle, die unterschiedliche Punkte auf diesem Spektrum bevorzugen. Wenn Sie zum Beispiel ein VR-Erlebnis für Training und Phobietherapie entwickeln, ist es wahrscheinlich, dass Fotorealismus den Nutzern bessere Ergebnisse liefern würde. Wenn Sie jedoch ein VR-Spiel wie Fortnite entwickeln, dann wird die Ausdruckskraft der Avatare wahrscheinlich eher zum Erfolg Ihres Spiels beitragen. 

Wenn wir uns auf die "expressive" Seite des Spektrums konzentrieren, stellt sich die Frage: Kann sich unser Avatar aufgrund unseres emotionalen Ausdrucks verändern?

 Wenn ja, wie? Und ist es nützlich? 

Die wissenschaftliche Forschung hinter affektiven Avataren 

Es gibt ein umfangreiches wissenschaftliches Werk, das sich mit diesem Thema befasst und versucht, die Wirkung von emotional ausdrucksstarken Avataren in virtuellen Umgebungen zu validieren. In diesem Abschnitt möchten wir nur einige bemerkenswerte Arbeiten und ihre wichtigsten Ergebnisse erwähnen. 

Die wissenschaftliche Forschung hinter affektiven Avataren

MIT Media-Lab

Forscher des MIT Media-Lab haben ein Projekt namensEmotional Beasts: Visueller Ausdruck von Emotionen durch Avatare in VR. Dieses Papier (PDF-Download)stellt die These auf: 

"... Wir argumentieren, dass der Einsatz von kollaborativen virtuellen 

Umgebungen, die emotionale Ausdrucksmöglichkeiten bieten 

Avatare hat das Potenzial, den Ausdruck von 

Emotionen bei den Nutzern solcher Umgebungen". 

MIT Media-Lab

Leed Becket Universität

Marc Fabri von der Leed Becket University schreibt in seiner Dissertation Emotionally Expressive Avatars for Collaborative Virtual Environments

"Die Ergebnisse deuten darauf hin, dass die emotionale Ausdruckskraft von Avataren die Beteiligung an der Interaktion zwischen CVE-Benutzern (Collaborative Virtual Environments) sowie das Gefühl des Zusammenseins oder der Kopräsenz erhöht. Dies wirkt sich positiv auf ihr subjektives Erleben aus..." 

Wie eingangs erwähnt, wollen wir eine Simulation (z. B. VR-Phobiatherapie) natürlich nicht untergraben, indem wir eine Funktion hinzufügen, die den Benutzer in einen Drachen verwandelt, wenn er wütend ist. Die Ergebnisse dieser Studie deuten jedoch eindeutig auf einen positiven Effekt auf das subjektive Erleben hin. 

Sejong-Universität

Taehoon Cho und seine Kollegen von der Sejong-Universität haben etwas Ähnliches getestet. Anstatt jedoch den Körper zu verändern wie in der MIT-Studie, konzentrierten sie sich auf die Verbesserung des Gesichtsausdrucks. Wenn wir den gleichen Begriff des oben erwähnten Spektrums verwenden, liegt diese Studie durch die Mischung aus realistischen Gesichtszügen und Gesichtsbemalung etwas näher am Realismus.  

Jedes Bild ist einer Emotion zugeordnet, nämlich: neutral, glücklich, wütend, überrascht und traurig.

Sejong Universität - audEERING neutral, glücklich, wütend und traurig

Baskische Forschung

Basque Research führte auch eine Studie mit dem Titel Avatars As Communicators of Emotions durch. In dieser Doktorarbeit schlägt Frau Amalia Ortiz vor, dass Avatare eine der besten Möglichkeiten für Computersysteme sind, nonverbale Informationen zu vermitteln. Amalia hat ein VR-System entwickelt, in dem die Benutzer eine Reise durch die Geschichte erleben. Diese Anwendung, die auf E-Learning abzielt, zeigte die folgenden Ergebnisse: 

"...Dr. Ortiz kam zu dem Schluss, dass die Nutzer die Interaktion mit Avataren bevorzugen, weil sie diese als angenehmer, benutzerfreundlicher und unterhaltsamer empfinden. Außerdem stellte sie fest, dass die Nutzer in der Lage sind, die meisten Gesichtsemotionen oder -ausdrücke zu erkennen, und sie glauben, dass Informationen besser erklärt werden, wenn ein emotionaler Avatar sie vermittelt..." 

Universität Kopenhagen

Auf der anderen Seite des Globus, an der Universität Kopenhagen, haben sich Aske Mottelson und Kasper Hornbaek vom Fachbereich Psychologie und Informatik zusammengetan, umdie Wechselwirkung zwischen Affekt und dem Besitz eines virtuellen Körpers für emotionale Avatare zu untersuchen. Die Ergebnisse dieser Studie zeigen, dass einige Avatarmanipulationen den Affekt auf subtile Weise beeinflussen können. Gesichtsmanipulationen erwiesen sich in dieser Hinsicht als am effektivsten, insbesondere bei positivem Affekt. Auch der Körperbesitz zeigte einen moderierenden Einfluss auf den Affekt. Die Ergebnisse deuten darauf hin, dass der Körperbesitz mit der Valenz, aber nicht mit der Erregung variiert, und dass er mit dem positiven, aber nicht mit dem negativen Affekt variiert. 

Unser Gehirn reagiert auf Emotionen in Avataren

Die Frage, die Sie sich vielleicht stellen, lautet: "Warum sollten wir uns um die Emotionen von Avataren kümmern? Glücklicherweise waren Neurowissenschaftler aus dem Bereich der Affekte und sozial-kognitive Forscher aktiv, um uns bei der Beantwortung dieser Frage zu helfen: 

Wie reagiert unser Gehirn auf Emotionen bei Avataren im Gegensatz zu Menschen? 

Die Studie geht davon aus, dass ängstliche Ausdrücke in menschlichen und Avatar-Gesichtern ähnliche Reaktionen in der Amygdala hervorrufen. Die Amygdala ist die Region des Gehirns, die für Emotionen zuständig ist. Dies könnte erklären, warum uns das, was mit den Figuren in Videospielen geschieht, so sehr berührt. 

Die sozialen Auswirkungen des Glücksspiels

Diese Pandemie hat uns gelehrt, dass Dinge, die wir für selbstverständlich halten, uns im Handumdrehen genommen werden können. Der Mangel an sozialen Kontakten hat viele Menschen während dieser Pandemie in das Tal der Depression gestürzt. Es gibt jedoch Hinweise darauf, dass dasSpielen von Videospielen die Einsamkeit während der Coronavirus-Pandemie lindern kann. Und warum? Weil Menschen und ihre Avatare, was ihr Gehirn und ihre Amygdala betrifft, nicht so verschieden sind. 

Je natürlicher diese Interaktionen und Avatare sind, desto angenehmer können diese Erfahrungen sein. Mit dem Aufkommen des Metaverse und dem Versprechen, mehr Zeit in den virtuellen Welten zu verbringen, sollten wir sicherstellen, dass solche Interaktionen so gut wie möglich sind. Solche Verbesserungen können uns helfen, unsere Individualität besser zum Ausdruck zu bringen und dabei die Grenzen unserer physischen Welt zu überschreiten. 

Voice AI als Schlüsselfaktor

Hier bei audEERING bemühen wir uns täglich darum, dass solche Anwendungsfälle, die von der Wissenschaft in den Labors bewiesen wurden, nicht auf Artikel und Träume beschränkt bleiben. Der Schlüsselfaktor für den Ausdruck ist die Emotion. Ohne die Emotionen der Spieler zu erkennen, haben wir keine Möglichkeit, ihren Avatar richtig zu verändern, um ihren Ausdruck und ihre Individualität zu zeigen.
Mit entertAIn play kann jeder Entwickler für VR und Metaverse das Mikrofon an jedem VR-Headset nutzen, um die Emotionen seiner Spieler zu erkennen. Es funktioniert nahtlos auf dem Gerät, ohne dass die Audiodaten aufgezeichnet und an einen externen Server gesendet werden müssen, wodurch die Privatsphäre der Spieler gewahrt bleibt. 

Sprach-KI ist das fehlende Glied in dieser langen Kette des Ausdrucks im Metaverse, und wir sind stolz darauf, unsere Technologie als Lösung für diesen Anwendungsfall zu präsentieren. Wir bieten eine Vielzahl von KI-Modellen an, die sofort verwendet werden können oder für höchste Genauigkeit kalibriert werden können. 

Weitere Informationen finden Sie auf unserer entertAIn play Produktseite.
Wenden Sie sich an das entertAIn play-Team und fordern Sie eine Testversion an:

Sylvia Szylar | Customer Experience Manager | sszylar@audeering.com