SyncGlobal

Das Projekt SyncGlobal zielt darauf ab, lernfähige Technologien zu entwickeln, um globale Musikbestände nach dramaturgischen Kriterien zu durchsuchen und die gefundenen Musikausschnitte automatisch mit einem Video zu synchronisieren. Auf dieser Basis soll ein innovatives Autorenwerkzeug entstehen, das den kreativen Prozess des „Sync-Licensing“ – der Suche, Aufbereitung und Lizenzierung von Musik für Film, Werbung oder Fernsehen – durch intelligente Oberflächen und Algorithmen unterstützt. Dafür werden Musikanalyse-Technologien dahingehend weiterentwickelt, dass die Semantik der Musik (Instrumentierung, Gesang, Ausdruck) auch in ihrem zeitlichen Verlauf präzise, automatisiert erfassbar wird. Zu diesem Zweck soll unter anderem ein Verfahren zur Worterkennung aus Gesang neu entwickelt werden. Zeitsynchrone Zuordnungen von Musik und Video werden anhand dramaturgisch-semantischer Beschreibungen mittels Videoanalyse und cross-modaler Modellbildung gelernt. Mit SyncGlobal reagiert das Konsortium auf den Umbruch der Branche: Rückläufige Einnahmen aus Verkäufen versucht die Musikindustrie durch einen verstärkten Rechtehandel zu kompensieren. Das dadurch massiv gestiegene Angebot an digital verfügbarer Musik birgt ein enormes Potential für den Sync-Licensing-Markt, welches die dort tätigen Firmen aber nur durch computergestützte Anwendungen werden ausschöpfen können. Entsprechende evaluierte Lösungen sollen der Branche im Ergebnis des Projektes zur Lizenzierung angeboten werden.