Bionarrated. An audio-visual experience exploring the impact of sound on human consciousness

The project is an audio-visual experience that aims to re-establish the value of sound in user consciousness. Its goal is to create an engaging experience by merging architectural and auditory parameters, investigating the possible sculptural formations created by the intersection of sound and space. The experiment is developed through three sequential levels of examination: a theoretical research on spatial and auditory awareness; a proposal of possible configuration tools; and the construction of the final representation method. The first part of the study explores the auditory and spatial relations through human consciousness, and the existing perception measurement methods; it also includes case studies of experimental audio-visual works. These are documented with the intention of understanding the perceptual parameters to apply into spatial design. The second level of research presents a framework for a design approach that includes sound and spatial variables and possible combination strategies for the final work. The third level consists in the actual implementation of the idea which has been conducted together with a team and is divided in three sections: sound design, visual design, and technical implementation. In the “Bionarrated” interactive project, the users are inside a physically isolated set up and wearing a pair of headphones and a Virtual Reality headset. They are connected with three biosensors which measure changes in their emotional state. Three different sounds are played with the intention of triggering specific mood states; for example, sadness, happiness and relief. In each session, which is two minutes long, the real-time changes in emotional states are transformed into an organic virtual space by using architectural parameters like form, geometry, colour, shape, volume, and size. The overall experience takes approximately ten minutes and the users engage with a unique environment which is built and narrated through their personal feelings, tracking their changes under the effect of sound.

Il progetto consiste in un’esperienza audiovisiva che mira a ristabilire il valore del suono nella coscienza dell’utente. L’obiettivo è quello di creare un’esperienza coinvolgente unendo parametri architettonici e uditivi, e indagando le possibili formazioni scultoree create dall’intersezione del suono e dello spazio. L’esperimento si sviluppa attraverso tre livelli sequenziali di esame: una ricerca teorica sulla consapevolezza spaziale e uditiva; una proposta di possibili strumenti di configurazione; e la costruzione del metodo di rappresentazione finale. La prima parte dello studio esplora le relazioni uditive e spaziali nel contesto della coscienza umana e i metodi di misurazione della percezione esistenti; questa parte include anche casi studio di opere audiovisive sperimentali. Gli esempi sono documentati con l’intenzione di comprendere i parametri percettivi da applicare nello processo di design dello spazio. Il secondo livello di ricerca serve ad inquadrare l’approccio progettuale, che include variabili sonore e spaziali e possibili strategie combinate per il lavoro finale. Il terzo livello consiste nell’effettiva implementazione dell’idea, che è stata sviluppata in team e si presenta suddivisa in tre sezioni: sound design, visual design e realizzazione tecnica. Nel progetto interattivo “Bionarrated” gli utenti sono isolati dal mondo esterno e indossano un paio di cuffie e un visore per la Realtà Virtuale. Allo stesso tempo sono collegati con tre biosensori che servono a misurare i cambiamenti nel loro stato emotivo. Tre suoni diversi vengono riprodotti nelle cuffie, con l’intenzione di innescare stati d’animo specifici, come ad esempio tristezza, felicità e sollievo. In ogni sessione, che dura due minuti, i cambiamenti in tempo reale degli stati emotivi si trasformano in uno spazio virtuale organico, utilizzando parametri architettonici come geometria, colore, forma, volume e dimensione. L’esperienza complessiva dura circa dieci minuti e gli utenti interagiscono con un ambiente unico, ogni volta diverso, che viene costruito attraverso i loro sentimenti personali, monitorando i loro cambiamenti sotto l’effetto del suono.