devAIce®
Der Sprachübersetzer

Das VAD-Modul erkennt das Vorhandensein von Stimme in einem Audiostrom. Die Detektion ist sehr robust gegenüber Rauschen und unabhängig vom Lautstärkepegel der Stimme. Das bedeutet, dass auch leise Stimmen in Anwesenheit von lauteren Hintergrundgeräuschen erkannt werden können.

Die Erkennung von Sprache in großen Mengen von Audiomaterial führt zu einem ressourcenschonenden und effizienten Analyseprozess. Wenn VAD vor der eigentlichen Sprachanalyse läuft, können große Mengen von Nicht-Sprachdaten gefiltert und von der Analyse ausgeschlossen werden.

Das Modul Expression analysiert die Stimmung von Ausdrücken in der Stimme. Das Modul wurde entwickelt, um den Sprechausdruck in allen Sprachen zu analysieren. Derzeit kombiniert das Modul zwei unabhängige Ausdrucksmodelle mit unterschiedlichen Ausgabedarstellungen:

• Ein dimensionales Erregungs-Valenz-Dominanz-Ausdrucksmodell
• Ein vierstufiges kategorisches Ausdrucksmodell: glücklich, wütend, traurig und neutral

In devAIce® we offer three Expression modules: 

Large
devAIce® provides the Expression Large module for scenarios where maximum prediction performance is required. It delivers the highest accuracy and is ideal for applications with sufficient computational resources and memory capacity.

Small
The Expression module in devAIce® offers a balanced approach between performance and resource consumption. It is well suited for applications running in environments with moderate computational and memory availability.

Tiny
For deployments with strict hardware limitations or low-memory devices, the lightweight Expression Tiny module is the optimal choice. It enables efficient on-device processing while minimizing resource usage.

Das Acoustic Scene Module unterscheidet zwischen 3 Klassen:

• Indoor (small, medium, large)
• Outdoor (traffic, no traffic)
• Transport (bus, car, railroad)

Das AED-Modul führt eine akustische Ereignisdetektion für mehrere akustische Ereigniskategorien in einem Audiostrom durch.

Derzeit werden die akustischen Ereigniskategorien Sprache und Musik unterstützt. Das Modell erlaubt es, dass sich Ereignisse verschiedener Kategorien zeitlich überschneiden.

Das Modul Speaker Attributes schätzt die persönlichen Attribute von Sprechern anhand von Stimme und Sprache. Diese Attribute umfassen:

• Ein wahrgenommenes Geschlecht Geschlecht (Geschlecht), unterteilt in die Kategorien:
  • weiblicher Erwachsener
  • männlicherErwachsener
  • Kind
• Ein gefühltes Alter, in Jahren

devAIce® provides two gender modules: Large and Small.

Die Alters-Geschlechts-Modelle werden anhand des selbst angegebenen Geschlechts trainiert.

You can achieve more robust speaker verification by reliably verifying a single speaker, pushing the boundaries of what was previously possible. 

• Registrierungs-Modus: Ein Sprechermodell für einen Referenzsprecher wird auf der Grundlage einer oder mehrerer Referenzaufnahmen erstellt oder aktualisiert.
• Verifizierungs-Modus: Ein zuvor erstelltes Sprechermodell wird verwendet, um abzuschätzen, wie wahrscheinlich es ist, dass derselbe Sprecher in einer bestimmten Aufnahme vorhanden ist.
• Embedding mode: vocal features that can be used for tasks such as speaker diarization.

Das Prosody-Modul berechnet die folgenden prosodischen Merkmale:

• F0 (in Hz)
• Lautstärke
• Sprechgeschwindigkeit (in Silben pro Sekunde)
• Intonation

Das openSMILE-Features-Modul führt die Merkmalsextraktion für Sprache durch. Derzeit enthält es die folgenden zwei auf openSMILE basierenden Merkmalssätze:

• ComParE-2016

Dieser Funktionsumfang besteht aus insgesamt 6373 Audiomerkmalen, die durch Extraktion von Energie-, Stimm- und spektralen Low-Level-Deskriptoren und die Berechnung von statistischen Funktionen wie Perzentilen, Momenten, Spitzen und zeitlichen Merkmalen erstellt werden.

Ursprünglich wurde es für die Detektion von Ausdrücken bei Sprechern entwickelt, es hat sich jedoch gezeigt, dass es auch für eine breite Palette anderer Audioklassifizierungsaufgaben gut geeignet ist.

• GeMAPS+

Der GeMAPS+-Merkmalssatz ist eine proprietäre Erweiterung des in Eyben et al.2 beschriebenen GeMAPS-Merkmalssatzes. Der Satz besteht aus insgesamt 276 Audio-Merkmalen und wurde als minimalistischer, allgemeiner Satz für gängige Analyse- und Klassifizierungsaufgaben von Sprache konzipiert.

Durch die Nutzung der leistungsstarken whisper.cpp-Bibliothek eröffnet dieses Modul eine Welt der Möglichkeiten, indem es Entwicklern erlaubt, gesprochene Sprache nahtlos in geschriebenen Text zu transkribieren. Die zusätzliche Integration dieses Moduls bedeutet, dass Ressourcen nicht mehr verwendet werden müssen, um externe ASR-Engines separat zu integrieren und mit der Audioanalyse zu kombinieren, da devAIce® eine All-in-One-Lösung bietet.

Das Modul Audioqualität schätzt das Signal to Noise Ratio (SNR) und die Nachhallzeit (RT60) eines gegebenen Audioeingangs. Es werden Eingangssignale beliebiger Dauer akzeptiert. Jeder Audioeingang liefert einen Wert für jeden Parameter.