Outfit Generation in the Fashion Domain with Generative AI

The widespread introduction of Generative Artificial Intelligence (GenAI) in various real-world scenarios highlights a significant gap in User Experience (UX). Typical UX cases for GenAI, such as multi-turn chatbots, exhibit several deficiencies, including placing a substantial cognitive load on users to provide context, communicate information accurately, and control model behavior. This thesis describes our efforts in developing and testing novel UX patterns for GenAI, addressing the specific problem of composing an outfit in fashion e-commerce. We developed an innovative carousel, a component of a user interface commonly used in domains like ecommerce to display a collection of related items in a compact, organized manner, often in a horizontal or vertical sequence. Our carousel is capable of recommending outfits for a specific product. Users can freely view and modify the outfit, receiving suggestions for different clothing items, and can see the outfit worn by a human model. For the latter task, commonly called virtual try-on, we fine-tuned an image generation model. The resulting product is a new UX pattern, where the user is assisted by context-based suggestions, reducing cognitive load and maximizing the capabilities of generative AI models. User testing on an ad-hoc created demo e-commerce site, hosting our carousel, have demonstrated improved user experience outcomes.

La diffusione dell'Intelligenza Artificiale Generativa (GenAI) in applicazioni commerciali ha evidenziato una significativa lacuna nell'Esperienza Utente (UX) per queste tecnologie. I tipici casi di UX per la GenAI, come i chatbot multi-turno, presentano diverse carenze, tra cui l'imposizione di un carico cognitivo significativo sugli utenti per fornire contesto, comunicare informazioni accuratamente e controllare il comportamento del modello. Questa tesi descrive gli sforzi nello sviluppo e nella sperimentazione di nuovi pattern di UX per la GenAI, affrontando il problema specifico della composizione di un outfit nel settore degli e-commerce di moda. Abbiamo sviluppato un carosello innovativo, un componente dell'interfaccia utente comunemente utilizzato in ambiti come gli e-commerce per visualizzare una raccolta di elementi correlati in modo compatto e organizzato, spesso in una sequenza orizzontale o verticale. Il nostro carosello è in grado di raccomandare outfit che completino un prodotto specifico. Gli utenti possono visualizzare e modificare liberamente l'outfit, ricevendo suggerimenti per capi di abbigliamento alternativi e possono vedere l'outfit indossato da un modello umano. Per quest'ultimo compito, comunemente chiamato virtual try-on, abbiamo eseguito un fine-tuning, un processo di training più specifico, su un modello di generazione di immagini. Il prodotto risultante è un nuovo pattern di UX, in cui l'utente è assistito da suggerimenti basati sul contesto, riducendo il carico cognitivo e massimizzando le capacità dei modelli di GenAI. I test con gli utenti su un sito di e-commerce demo creato per l'occasione, che ospita il nostro carosello, hanno dimostrato un miglioramento dell'esperienza utente.