Im Rahmen von ERIK, einem von der Bundesregierung geförderten Forschungsprojekt über die Interaktion von Robotern
mit autistischen Kindern, entwickelt audEERING eine Software zur
Analyse und zum Ausdruck emotionaler Sprache.
Autistische Kinder und Erwachsene haben manchmal Schwierigkeiten, ihre eigene emotionale Erregung und die anderer auszudrücken und zu interpretieren. Im
schlimmsten Fall kann dies zu sozialer Isolation führen, in milderen Fällen zu vielen peinlichen Situationen, die auf Missverständnissen beruhen.
Psychologen der Humboldt-Universität zu Berlin [1] arbeiten seit Jahren mit autistischen Kindern und interaktiver Technologie und haben Spiele entwickelt, die diesen Kindern helfen, ihr Emotionsverständnis zu trainieren [2].
Gemeinsam mit dem Fraunhofer IIS, der Astrum IT GmbH, der Universität Erlangen-Nürnberg (FAU) und der Humboldt-Universität hat sich audEERING in einem vom BMBF geförderten Projekt [3] zusammengeschlossen, um eine Roboterplattform zu entwickeln, die in Therapiesitzungen eingesetzt werden kann, um Kinder spielerisch die Welt des emotionalen Ausdrucks erkunden und trainieren zu lassen.
Um den Kindern zu helfen, die Wirkung ihres stimmlichen Ausdrucks einzuschätzen, wird audEERING eine Datenbank mit nicht diagnostizierten Kindern aufzeichnen, die als Referenz für sozial akzeptable Ausdrücke von Erregung und Valenz dienen kann. Diese Datenbank wird von audEERINGs iHEARu-PLAY-Plattform kommentiert und verwendet, um unsere tiefen neuronalen Netzklassifikatoren zu trainieren, die Erregung und Valenz in der Sprache erkennen. Auf diese Weise können die Kinder vom Roboter eine Rückmeldung erhalten: "Du fühlst dich jetzt vielleicht glücklich, aber für andere könnte dieser Ausdruck als Ärger erscheinen". Der Roboter muss sich nicht allein auf die Sprachanalyse verlassen, da die Audiovorhersagen zusammen mit der Ausgabe der vom Fraunhofer IIS entwickelten Module zur Mimik- und Herzfrequenzerkennung interpretiert werden.
Diese werden zunächst in einem späten Fusionsansatz kombiniert. Späte Fusion bedeutet, dass die Ergebnisse jeder Modalität (Mimik, Sprache und Herzfrequenz) am Ende kombiniert werden, um ein Endergebnis zu erhalten (die Kombination kann immer noch durch einen maschinellen Lernansatz erfolgen). Dies hat den Vorteil, dass die Klassifikatoren für jede Modalität auf einer eigenen Datenbank trainiert werden können. Wir werden auch frühe Fusionsansätze untersuchen, bei denen die Eingangssignale oder extrahierten Parameter für jede Modalität in einem einzigen Eingang für einen Klassifikator kombiniert werden, sobald gemeinsame Datenbanken verfügbar sind.
Darüber hinaus entwickelt audEERING eine Softwarekomponente, die die Sprachausgabe des Roboters verändert, um emotional ansprechender zu klingen und die Natürlichkeit zu erhöhen, indem sie die Prosodie, d.h. die Melodie und den Rhythmus der Sprache, variiert. Wir hoffen, dass die Interaktion mit dem Roboter dadurch interessanter wird und die Glaubwürdigkeit des Roboters als emotional kompetentes, intelligentes Wesen erhöht wird, obwohl die Interaktion zunächst skriptbasiert sein wird und nicht auf KI-Algorithmen beruht.
Das Projekt begann im September 2018 und wird Ende 2019 erste Prototypen vorführen.
[1] https://www.psychologie.hu-berlin.de/de/prof/soccog
[2] http://www.zirkus-empathico.de/
[3] https://www.technik-zum-menschen-bringen.de/projekte/eri
