Synthetic user testing: meaningful user emulation or stochastic parroting?

This thesis explores the capacity of Large Language Models (LLMs), specifically GPT, to simulate human users in design research, addressing an emerging discussion in the understanding of Artificial Intelligence’s (AI) role in qualitative user research. The study is grounded in a literature review that identifies areas where AI has been modifying the product-service design practice, one of this areas being user simulation. Narrowing down to this particular area, the core of the study involves an experiment comparing human participants’ responses in user research with those generated by GPT simulations across four methods: Card Sorting, Usability Testing, Desirability Testing, and Concept Testing. The findings reveal that GPT can mirror human responses in open-ended questions but also demonstrate discrepancies, especially in close-ended questions and methods requiring visual aid. The research concludes that while GPT shows promise in user research simulations, its application is still in the early stages and requires further exploration.

Questa tesi esplora la capacità dei Modelli Linguistici di Grandi Dimensioni (in inglese, LLM), specificamente GPT, di simulare utenti umani nella ricerca di design, affrontando una discussione emergente nella comprensione del ruolo dell’Intelligenza Artificiale (IA) nella ricerca qualitativa. Lo studio è basato su una revisione della letteratura che identifica aree in cui l’IA ha modificato la pratica del design di prodotto-servizio, una di queste aree essendo la simulazione degli utenti. Concentrandosi su quest’area specifica, il nucleo dello studio implica un esperimento che confronta le risposte dei partecipanti umani nella ricerca utente con quelle generate dalle simulazioni GPT attraverso quattro metodi: Ordinamento delle Carte (Card Sorting), Test di Usabilità, Test di Desiderabilità e Test di Concetto. I risultati rivelano che GPT può riflettere le risposte umane in domande aperte ma dimostra anche discrepanze, specialmente in domande chiuse e metodi che richiedono figure. La ricerca conclude che, sebbene GPT mostri promesse nelle simulazioni di ricerca utente, la sua applicazione è ancora nelle fasi iniziali e richiede ulteriori esplorazioni.