Supporting LLM interfaces with long-term conversations: a user-centered perspective

Large Language Models (LLMs) have rapidly evolved from simple question-answering tools to collaborative partners in complex knowledge work. However, as users increasingly engage in long-term, multi-session conversations with LLMs, significant user experience challenges have emerged. This research investigates the fundamental issues users face when managing extended LLM dialogues and proposes design solutions to address these challenges. Through systematic user research involving task analysis, heuristic evaluation, and in-depth interviews, this study identified three core interaction tasks in long-term LLM conversations: providing feedback on system outputs, tracing conversation history, and reusing previous information. The research revealed that current LLM interfaces, designed primarily for short-term interactions, fail to support these essential needs. Users struggle with information retrieval in lengthy conversation histories, and lack tools for fine-grained content management. A critical finding of this research is that these user experience problems stem not from technical limitations, but from a fundamental absence of human-centered design methodology in LLM interfaces development. The technology-driven development paradigm, where design's roles remain insufficiently realized in practice, has led to a "chasing the limits" trap, continuously optimizing technical metrics while failing to address users' actual needs. Based on these insights, the study developed a Chrome extension prototype featuring four core modules: a timeline navigation system using question cards as anchors, AI-powered summarization for rapid content browsing, a flexible bookmarking system for fine-grained information management, and an AI critique function to support critical thinking. The prototype was validated through user testing with 5 participants, demonstrating significant improvements in information retrieval efficiency and overall user experience. This research contributes to the field by demonstrating that meaningful user experience improvements can be achieved within existing technical constraints through user-centered interaction design. The study identifies key behavior patterns in long-term LLM conversations and offers insights for future research on conversational AI systems. It advocates for a paradigm shift from technology-driven to design-driven approaches in development, emphasizing the essential role of user experience design in shaping more usable AI solutions.

I Large Language Models (LLM) si sono evoluti rapidamente da semplici strumenti di risposta a domande a partner collaborativi per attività di conoscenza complesse. Tuttavia, man mano che gli utenti si impegnano in conversazioni a lungo termine e multi-sessione con gli LLM, sono emerse sfide significative per l'esperienza utente. Questa ricerca indaga i problemi fondamentali che gli utenti affrontano nella gestione di dialoghi estesi con LLM e propone soluzioni di design per affrontare queste sfide. Attraverso una ricerca utente sistematica che include analisi dei compiti, valutazione euristica e interviste approfondite, questo studio ha identificato tre compiti di interazione centrali nelle conversazioni a lungo termine con LLM: fornire feedback sugli output del sistema, tracciare la cronologia delle conversazioni e riutilizzare informazioni precedenti. La ricerca ha rivelato che le attuali interfacce LLM, progettate principalmente per interazioni a breve termine, non supportano queste esigenze essenziali. Gli utenti hanno difficoltà nel recupero delle informazioni in cronologie di conversazione lunghe e mancano di strumenti per la gestione dettagliata dei contenuti. Un risultato critico di questa ricerca è che questi problemi di esperienza utente non derivano da limitazioni tecniche, ma da una fondamentale assenza di metodologia di design centrata sull'utente nello sviluppo delle interfacce LLM. Il paradigma di sviluppo guidato dalla tecnologia, dove il ruolo del design rimane insufficientemente realizzato nella pratica, ha portato a una trappola di "inseguimento dei limiti"—ottimizzando continuamente metriche tecniche senza affrontare i bisogni reali degli utenti. Basandosi su queste intuizioni, lo studio ha sviluppato un prototipo di estensione Chrome con quattro moduli principali: un sistema di navigazione temporale che usa carte delle domande come ancore, riassunti generati da AI per una rapida consultazione dei contenuti, un sistema flessibile di segnalibri per la gestione dettagliata delle informazioni, e una funzione di critica AI per supportare il pensiero critico. Il prototipo è stato validato attraverso test con 5 partecipanti, dimostrando miglioramenti significativi nell'efficienza del recupero delle informazioni e nell'esperienza utente complessiva. Questa ricerca contribuisce al campo dimostrando che miglioramenti significativi dell'esperienza utente possono essere ottenuti all'interno dei vincoli tecnici esistenti attraverso un design di interazione centrato sull'utente. Lo studio identifica pattern comportamentali chiave nelle conversazioni a lungo termine con LLM e offre spunti per future ricerche sui sistemi di AI conversazionale. Sostiene un cambiamento di paradigma da approcci guidati dalla tecnologia ad approcci guidati dal design nello sviluppo, enfatizzando il ruolo essenziale del design dell'esperienza utente nel creare soluzioni AI più utilizzabili.