Development and testing of an approach for the semi-automatic acquisition and analysis of verbal interactions in collaborative design sessions

The work presented in this thesis deals with the semi-automatic analysis of audio recordings from co-creative design sessions; this kind of sessions is a typical stage of product design and development within industrial or consulting companies and it features the participations of designers or engineers discussing their choices or testing different product layouts. In this thesis it is proposed a method that allows to perform a fast evaluation of the most critical moments within the collaborative meetings, in order to make them quickly available to the user, who can manually analyse them. The application of the innovative approach here presented on three case studies allows to reduce the time needed to perform the co-design session analyses by more than 100 times if compared to the traditional design protocol analysis (DPA) and by about 5/10 times with respect to log-file analysis. The original method is based on the mean sound power for the recognition of the correct speakers and on a particular medians’ power ratio for the distinction between speech and silence. The objective is not only to highlight the critical moments, but also to perform a semi-automatic analysis of the group dynamics within different design sessions by means of the extraction of an original set of interactivity features and a comparison between the same values obtained from manual transcriptions of the meetings. Finally, this approach is able to provide a good speaker recognition accuracy (up to 84%) alongside significantly correlated outcomes with respect to manual transcriptions.

Il lavoro presentato in questa tesi si occupa dell'analisi semiautomatica di registrazioni audio da sessioni di co-progettazione creativa; questa tipologia di sessioni è una delle tipiche fasi di progettazione e sviluppo del prodotto all'interno di aziende industriali o di consulenza e prevede la partecipazione di progettisti o ingegneri che discutono le loro scelte o testano diversi layout di prodotto. In questa tesi viene proposto un metodo che permette di effettuare una veloce valutazione dei momenti più salienti all'interno delle riunioni collaborative, in modo da renderli rapidamente disponibili all'utente finale che può analizzarli manualmente. L'applicazione dell’innovativo approccio qui presentato su tre casi studio dimostra di ridurre il tempo necessario per eseguire le analisi delle sessioni di co-progettazione di oltre 100 volte rispetto alla tradizionale analisi del protocollo di progettazione (DPA) e di circa 5/10 volte rispetto all'analisi dei file di registro. Il metodo originale si basa sulla potenza sonora media per il riconoscimento degli interlocutori corretti e su un particolare rapporto di mediane delle potenze per la distinzione tra parlato e silenzio. L'obiettivo non è solo quello di evidenziare i momenti critici, ma anche quello di eseguire un'analisi semi-automatica delle dinamiche di gruppo all'interno di diverse sessioni di progettazione mediante l'estrazione di un insieme originale di caratteristiche di interattività e un confronto fra questi stessi valori ottenuti per mezzo di trascrizioni manuali delle riunioni stesse. Infine, questo approccio è in grado di fornire una buona precisione di riconoscimento dell’interlocutore (fino all'84%) ottenendo anche dei risultati correlati in maniera significativa con le trascrizioni manuali.