Co-factorisation douce en matrices non-négatives. Application au regroupement multimodal de locuteurs

Description

Nous présentons ici une nouvelle méthode pour une co-factorisation bi-modale en matrices non-négatives. Cetteméthode est adaptée aux situations où deux modalités sont liées par une même information sous-jacente. Elle permet uneco-factorisation dite douce, qui prend en compte la relation entre les modalités tout en évitant l'hypothèse forte d'un mêmefacteur en commun. Cette méthode n'impose pas que les données associées à chaque modalité aient la même dimension ou soientexprimées dans un même espace. La co-factorisation est obtenue par résolution d'un problème d'optimisation, via une méthodede majoration-minimisation ; puis une application au regroupement multimodal de locuteurs est présentée, où la co-factorisationdouce sert à exploiter la corrélation entre les pistes audio et vidéo dans des débats télévisés.

Additional details