Apprentissage pour la synthèse visuelle guidée par un flux audio et application dans le champ de l'art contemporain

Description

We present a method to synthesise a visual stream driven by an audio stream. Our approach relies on the extraction of audiovisual patterns from a collection of short movie excerpts, in a training stage. The extraction is achieved by nonnegative co-factorisation of matrix representations of the audio and visual streams. The structure of the estimated patterns is used in a second stage to synthesise images from any audio input. Our work was carried out in the context of an art/science project organised and exhibited by University Nice Sophia Antipolis and contemporary art organisation DEL'ART.

Abstract (French)

Nous présentons une méthode de synthèse d'un flux visuel guidée par un flux audio. Notre approche procède dans une première étape par apprentissage de motifs audiovisuels dans des séquences cinématographiques d'entraînement. L'extraction des motifs est réalisée au moyen d'une co-factorisation non-négative de représentations matricielles des flux audio et visuels. La structure des motifs appris est ensuite utilisée dans une seconde étape pour générer des images à partir de n'importe quelle entrée audio. Ce dispositif a été utilisé dans le cadre d'un projet arts/sciences organisé et exposé par l'Université Nice Sophia Antipolis et l'association pour l'art contemporain DEL'ART.

Abstract

Accepté au GRETSI 2015

Additional details