Integration of a recommender system in a microservices-based software architecture: the Walif case

The amount of data that is generated on a daily basis in a web platform is huge: however, in order to generate added value, such data must be intercepted, processed, aggregated, and used to generate a model. One of the ways to exploit “big” data is to suggest users content similar to what they, or users similar to them, have given a positive feedback to: in order to automate this process, the so-called recommender systems have been introduced. Finally, in a world where user requirements are fast-changing, it is necessary to adopt architectural patterns and development processes that can efficiently respond to these requests: for this reason, the adoption of an Agile approach and the development of microservice-based web platform can give sensible benefits. In this thesis I will describe how I have contributed to design and develop the infrastructure for the integration of a recommender system in an existing web application, Walif, the purpose of which is to connect customers and businesses in the city of Dubai. To integrate the recommendation system, it was necessary to intercept data that are needed as input for the engine, to provide an infrastructure to automate its execution, and to show the final output to the user.

La quantità di dati che viene generata quotidianamente in una piattaforma web è enorme: tuttavia, affinché possano generare valore aggiunto, questi dati devono essere intercettati, processati, aggregati e usati per generare un loro modello. Uno dei modi in cui possono essere sfruttati è per suggerire agli utenti contenuti simili a quelli cui loro, o altri utenti a loro simili, hanno fornito un feedback positivo: per automatizzare questo processo, sono stati introdotti i cosiddetti sistemi di raccomandazione. Infine, in un mondo in cui i requisiti degli utenti variano rapidamente, è necessario adottare pattern architetturali e processi di sviluppo in grado di rispondere efficacemente a queste richieste: in questo senso, l’adozione di un approccio Agile e lo sviluppo di piattaforme web a microservizi possono essere di grande aiuto. In questa tesi descrivo come ho contribuito a progettare e implementare l'infrastruttura per l'integrazione di un sistema di raccomandazione in una piattaforma web a microservizi, Walif, il cui scopo è di connettere clienti e aziende di Dubai. Per integrare il sistema di raccomandazione è stato necessario intercettare i dati di input per il motore, fornire un’infrastruttura per la sua automazione e mostrare l’output finale all’utente.