Evaluating AI-enabled design tools: a behavior-informed framework for service design

Traditional taxonomies of Service Design tools are based on static dimensions such as process stages (e.g., the Double Diamond), roles, or activities, and assume that tools are controlled by humans and behave in a deterministic way. However, AI-based systems introduce autonomous, adaptive, opaque and sometimes quasi-agentic behaviours, such as content generation, synthesis, and decision-making. Moreover, when AI is integrated into design processes, practice shifts from selecting individual tools to orchestrating chains of tools (toolchains) that cut across multiple stages and roles, making it even more complex to assess the overall adequacy of a system. To address this challenge, this thesis proposes a new behavioural evaluation framework that goes beyond the logic of “static” tools and instead considers the entire AI-supported workflow. Grounded in a literature review and interviews with practitioners, the framework integrates dimensions such as workflow integration, explainability, controllability, ethical alignment, and uncertainty management. The goal is to provide design teams and organizations with an operational structure to evaluate not only what a tool does, but how it behaves within a toolchain, helping to make more transparent the responsibilities, risks, and opportunities associated with the adoption of AI in Service Design. Starting from this question, the research explores how designers interpret and manage the integration of AI-based tools, investigating which evaluative dimensions are needed to govern their use responsibly. Through a literature review and 13 interviews with international professionals, the thesis develops an operational framework that links process stages, AI behaviours, and governance practices. The result is a proposal that aims to support informed decisions on the adoption of AI-based toolchains, offering criteria to balance speed, explainability, human control, and ethical alignment within Service Design projects. Keywords: Service Design; Artificial Intelligence; Behavioral Framework; Design Tools, Explainability; Human-Al Collaboration; Governance; Trust; Co-design; Evaluation Methods.

Le tassonomie tradizionali degli strumenti del Service Design sono basate su dimensioni statiche come le fasi del processo (ad es. il Double Diamond), i ruoli o le attività, e assumono che gli strumenti siano controllati da persone e si comportino in modo deterministico. Tuttavia, i sistemi basati sull’IA introducono comportamenti autonomi, adattivi, opachi e talvolta quasi agentici, come la generazione di contenuti, la sintesi e la presa di decisioni. Inoltre, quando l’IA viene integrata nei processi di progettazione, si passa dalla scelta di strumenti singoli all’orchestrazione di catene di strumenti (toolchain) che attraversano diverse fasi e ruoli, rendendo ancora più complesso valutare l’adeguatezza complessiva di un sistema. Per affrontare questa sfida, il presente lavoro propone un nuovo framework di valutazione comportamentale che supera la logica degli strumenti “statici” e considera invece l’intero flusso di lavoro supportato dall’IA. Basato su una revisione della letteratura e su interviste a progettisti, il framework integra dimensioni come integrazione nel workflow, spiegabilità, controllabilità, allineamento etico e gestione dell’incertezza. L’obiettivo è fornire a team di progettazione e organizzazioni una struttura operativa per valutare non solo “che cosa fa” uno strumento, ma “come si comporta” all’interno di una toolchain, contribuendo a rendere più trasparenti le responsabilità, i rischi e le opportunità legate all’adozione dell’IA nel Service Design. A partire da questa domanda, la ricerca esplora come i progettisti interpretano e gestiscono l’integrazione di strumenti basati sull’IA, indagando quali dimensioni valutative siano necessarie per governarne l’uso in modo responsabile. Attraverso una revisione della letteratura e 13 interviste con professionisti internazionali, il lavoro elabora un framework operativo che mette in relazione fasi del processo, comportamenti dell’IA e pratiche di governance. Il risultato è una proposta che mira a supportare decisioni informate sull’adozione di toolchain basate sull’IA, offrendo criteri per bilanciare velocità, spiegabilità, controllo umano e allineamento etico all’interno dei progetti di Service Design.