IBC 2023: Fraunhofer-Institut programmiert Software für kombinierte Gesichts- und Sprechererkennung

Das Fraunhofer-Institut für Digitale Medientechnologie IDMT präsentiert auf der IBC in Amsterdam erstmals die “Audiovisual Identity Suite”, eine innovative Lösung zur automatischen Identifikation von Personen in umfangreichen Medienarchiven anhand ihrer Gesichter und Stimmen. 

Durch die Kombination von Gesichts- und Sprechererkennungstechnologien mithilfe von Künstlicher Intelligenz (KI) kann die Präsenz bestimmter Personen in großen Mengen von Medieninhalten schnell ermittelt werden. Die Ergebnisse dieser audiovisuellen Identifikation werden in einem benutzerfreundlichen Dashboard dargestellt und können für Trendanalysen und Statistiken verwendet werden. Programmplanerinnen und -planer erhalten dank dieser innovativen Gesichts- und Sprecheranalyse einen zuverlässigen Überblick darüber, wie oft bestimmte Personen in Fernsehprogrammen auftreten. Die Audiovisual Identity Suite ermöglicht die Analyse großer Datenmengen über einen längeren Zeitraum und stellt die Ergebnisse in einer leicht verständlichen Benutzeroberfläche dar.

Das Tool bietet auch eine Heatmap-Funktion, die zeigt, wann und wie oft bestimmte Personen über einen bestimmten Zeitraum auf verschiedenen Fernsehkanälen zu sehen oder zu hören waren. Die Erkennung funktioniert zuverlässig, selbst wenn die Person nicht im Bild zu sehen ist, was insbesondere bei Talkshows oder Diskussionen relevant ist.

Die Audiovisual Identity Suite basiert auf einer Kombination von Audio- und Videoanalysetechniken und nutzt die langjährige Expertise des Instituts in beiden Bereichen. Dieses Analysewerkzeug ermöglicht es, Personen in Programmen akustisch und visuell zu identifizieren. Dabei werden KI-Algorithmen zur Sprechererkennung, zur Geschlechtsklassifizierung und zur Sprachqualitätsanalyse eingesetzt. Die intelligente Gesichtserkennung extrahiert Gesichtsmerkmale und ermöglicht zusammen mit der akustischen Klassifikation Aussagen über die Präsenz von Männern und Frauen im Programm.

Die Analysen und Studien mit der Audiovisual Identity Suite werden zunächst im Kundenauftrag durchgeführt und die Ergebnisse werden den Kunden in einer individuellen Benutzeroberfläche zur Verfügung gestellt. In Zukunft wird das Analysetool auch lizenzierbar sein und direkt beim Kunden eingesetzt werden können.