Deep probabilistic models for recommender systems and network clustering

Description

With the advancement of the digital era, rating data is ubiquitous on websites such as Amazon and Yelp. Customers can gain valuable information about products and services from rating data, which helps them make decisions. Besides, real-world systems can often be modeled as networks, from social media and email communications to protein-protein interactions, because they are simple structures yet are capable of simulating complex systems. Moreover, with the development of the Internet and the growth of social media, massive amounts of textual data are generated in the form of blogs, tweets, comments, and surveys. Each data type has unique properties and a variety of practical benefits. Indeed, these data can be used individually for various tasks, but they can also be combined, which causes the typical issues that arise when heterogeneous data are considered.In this thesis, we analyze these prevalent types of data through three deep generative models, which combines probabilistic modeling and deep learning techniques. First, we introduce a deep latent recommender system (deepLTRS) in order to provide users with high quality recommendations based on observed user ratings and texts of product reviews. Our approach adopts a variational auto-encoder (VAE) architecture as a deep generative latent model for an ordinal matrix encoding ratings and a document-term matrix encoding the reviews. Numerical experiments on simulated and real-world data sets demonstrate that deepLTRS outperforms the state-of-the-art, in particular, in the context of extreme data sparsity. The deep latent position model (DeepLPM) is then introduced as an end-to-end generative clustering approach that combines the commonly used latent position model for network analysis with a graph convolutional network encoding strategy. Numerical experiments on simulated scenarios highlight its clustering capabilities. DeepLPM is further applied to an ecclesiastical network in Merovingian Gaul and to a citation network Cora to illustrate the practical interest in exploring large and complex real-world networks. Finally, we propose a document-similarity based graph convolutional network (DS-GCN) encoder to combine graph convolutional networks and embedded topic models for text-rich network representation. By including a cluster membership variable, we thus build an end-to-end clustering method named graph embedded topic model (GETM). The ability of GETM in fusing the graph topology structure and the topic embeddings is demonstrated by numerical experiments on three synthetic networks, which also emphasize its performance in node clustering.

Abstract (French)

Avec le développement du numérique, les données ordinales, liées à l'évaluation de produits ou services, sont omniprésentes sur des sites web tels qu'Amazon et Yelp. En effet, les clients peuvent obtenir des informations précieuses sur les produits et les services à partir de données de ce type, ce qui les aide à prendre des décisions. En outre, les systèmes complexes peuvent souvent être modélisés sous forme de réseaux, qu'il s'agisse de médias sociaux, de communications par courrier électronique ou d'interactions protéine-protéine, car il s'agit de structures simples mais capables de modéliser de tels systèmes. En outre, avec le développement d'Internet et la croissance des médias sociaux, des quantités massives de données textuelles sont générées sous la forme de blogs, de tweets, de commentaires et d'enquêtes. Chaque type de données possède des propriétés uniques et une variété d'avantages pratiques. En effet, ces données peuvent être utilisées individuellement pour diverses tâches, mais elles peuvent également être combinées, ce qui entraîne les problèmes typiques qui surviennent lorsque des données hétérogènes sont considérées.Dans cette thèse, nous analysons ces trois types de données à travers trois modèles génératifs profonds, qui combinent la modélisation probabiliste et les techniques d'apprentissage profond. Premièrement, nous introduisons un système de recommandation latent profond (deepLTRS) afin de fournir aux utilisateurs des recommandations de haute qualité basées sur les évaluations observées des utilisateurs et les textes des critiques de produits. Notre approche adopte une architecture d'auto-encodeur variationnel (VAE) comme modèle latent génératif profond pour une matrice ordinale codant les évaluations et une matrice de termes et documents codant les critiques. Des expériences numériques sur des ensembles de données simulées et réelles démontrent que deepLTRS surpasse l'état de l'art, en particulier dans le contexte d'une extrême rareté des données. Le modèle de positions latentes profond (DeepLPM) est ensuite présenté comme une approche de clustering génératif de bout en bout qui combine le modèle de position latente couramment utilisé pour l'analyse de réseau avec une stratégie d'encodage de réseau convolutif de graphes. Des expériences numériques sur des scénarios simulés mettent en évidence ses capacités de clustering. DeepLPM est ensuite appliqué à un réseau ecclésiastique de la Gaule mérovingienne et au réseau de citations Cora pour illustrer l'intérêt pratique de l'exploration de grands réseaux complexes du monde réel. Enfin, nous proposons un encodeur de réseau convolutif de graphes basé sur la similarité des documents (DS-GCN) pour combiner les réseaux convolutifs de graphes et les modèles thématiques intégrés pour une représentation de réseaux riches en texte. En incluant une variable d'appartenance à un groupe, nous construisons ainsi une méthode de regroupement de « bout en bout » appelée GETM. La capacité de GETM à fusionner la structure topologique du graphe et les modèles thématiques intégrés est démontrée par des expériences numériques sur trois réseaux synthétiques, qui soulignent également ses performances en matière de clustering de nœuds.

Additional details