IRIS. A musical composition tool

Music is the shorthand of emotion. Whilst composition is a vessel for emotion, it is supported by a set of guiding principles known as music theory. Music theory aims to explain why compositions work in order to replicate their effects. This process of analysis has developed a set of rules, sedimented over time from musical genres, that expedite the writing process. It is this collection of rules that composers use to aid them in articulating their emotion. Music theory, can however be daunting to internalise and usually requires years of rigorous studying to master. When assimilated it can sometimes have an unwanted effect: instead of freeing one’s own compositional style, its academicism may create a rift between composing and effortless emotional expression. The musical instruments market has continuously tried to remove the barrier to entry for aspiring composers having no theoretical background by selling compositional aids as a of blend software and hardware products. The aim of these products is to externalise as much music theory as possible to provide a simple and straightforward approach to composition. Many of these have been adopted by musicians who are diligent in musical composition, but find themselves looking for novel sources of inspiration. Existing products do however present three distinct problems that prevent them from being fully embraced by consumers. Firstly, their design is paradoxical: by simplifying composing they complicate user interaction. Secondly, they lack flexibility to adapt to a user’s level, either being too complicated or not evolving as the user progresses in their compositional journey. Thirdly, their expression does not align with the user’s,resulting in devices that do not resonate with their user’s musical language. The project brief was to counteract these three points by designing a compositional aid, consisting of both software and hardware, that would grow organically with its user, simplify communication of the product interface and re-establish the act of composing as an emotional one. The product’s architecture was inspired by the act of learning how to speak. Speaking is instinctively human and, like composing, is a means of expressing oneself through sound. It embodies a natural process shared by all species, and as such, provided an ideal framework for modelling organic growth and intuitive interaction. The architecture consisted of three modules: a sampler, a sequencer and a player which mirror the act of learning words, forming a sentence and speaking. Sampling was used as a means of gathering and storing MIDI information, sequencing enabled the selection and ordering of chords in a linear progression and the player was the source of interaction for playing the sequence. After using the flow based patching environment Max 7 to create a general structure for recording, processing and reproducing data, the compositional algorithm was integrated into the system via custom javascript objects. The algorithm, inspired by Tymoczko’s geometric interpretation of harmonic space, enabled the device to create an expandable n dimensional chord space as it memory, containing the chord qualities sampled into the device by the user. Additionally, it featured a parsimony and voicing filter that maintained the composition harmonically congruent. To avoid it becoming monolithic, the algorithm was kept as modular as possible, both within the patching environment and inside the coded objects. The end result was a melody driven harmoniser capable of organically growing with the user’s harmonic vocabulary. The second step was to bridge the gap between software and hardware by introducing the user interface. Open Stage Control, a free and open source OSC interface designer was then used to design and test the interface and user interaction. The interface underwent three design iterations. The first iteration was designed as a breakout for testing the algorithm’s functionality, omitting ergonomics and aesthetics. The second iteration was built upon the prior version with an additional focus on creating a more fluid interaction flowchart and reducing the number of input points for user interaction. After further testing, the third iteration factored in priority as well as ergonomy into the interface’s design, resulting in its final configuration. Having consolidated the device’s interface, the final step was to design its physical embodiment. Taking into account the fact that the beginner user group would be a limiting factor, the device’s features and components were tailored to be accessible . Furthermore, as the project wasn’t developed for a specific manufacturer, the device was designed to be adaptable for scalable production. Taking cult/portable/pocket user assembled synthesisers as inspiration, the device was structured based on an assembly of laminar components. touch, velocity and aftertouch interactions were incorporated at a fractional cost, by using a capacitive sensing PCB coupled with strain gauges connected as a Wheatsone bridge and mounted onto flat springs. The final outcome was IRIS: a music composition tool and source of inspiration for composing music. Comprised of a hardware/software system, it is a musical moodboard for creating a collage of tastes and influences. It allows its user to sample and store chords, mixing harmonic palettes to create their own personal vocabulary. As more chords are stored, its vocabulary is expanded and refined, becoming the physical embodiment of its user’s personal expression. *It can be used on a project per project basis to gather influences or as a constantly evolving archive. Since it internally processes samples, exporting memory is a simple as it is to sample chords into the device. As exported files are light and editable without needing a dedicated software, IRIS is predisposed to creating a community of user generated content. These two aspects culminate to it becoming a medium for cross generational interaction unobstructed by physical boundaries, where IRIS becomes the a platform for artist collaboration.

La musica è la stesura abbreviata dell’emozione. Sebbene la composizione sia un veicolo per le emozioni, è supportata da una serie di principi guida noti come teoria musicale. La teoria musicale mira a spiegare perché le composizioni funzionano per replicare i loro effetti. Questo processo di analisi ha sviluppato un insieme di regole, sedimentate nel tempo dai generi musicali, che accelerano il processo di scrittura. È questa raccolta di regole che i compositori usano per aiutarli ad articolare la loro emozione. La teoria musicale, tuttavia, può essere scoraggiante da interiorizzare e di solito richiede anni di studi rigorosi per padroneggiarla. Una volta assimilata a volte può avere un effetto indesiderato: invece di liberare il proprio stile compositivo, il suo accademismo può creare una frattura tra la composizione e una libera espressione emotiva. Il mercato degli strumenti musicali ha continuamente cercato di rimuovere la barriera all’ingresso di aspiranti compositori privi di un formazione teorica vendendo ausili compositivi, una combinazione di prodotti software o hardware. Lo scopo di questi prodotti è di esternalizzare quanta più teoria musicale possibile per fornire un approccio semplice e diretto alla composizione. Molti di questi sono stati adottati da musicisti diligenti nella composizione musicale, ma che si trovano alla ricerca di nuove fonti di ispirazione. I prodotti esistenti presentano tuttavia tre problemi distinti che impediscono loro di essere pienamente accolti dai consumatori. In primo luogo, il loro design è paradossale: semplificando la composizione complicano l’interazione dell’utente. In secondo luogo, mancano di flessibilità per adattarsi al livello di un utente, essendo troppo complicati o non evolvendosi man mano che l’utente progredisce nel suo percorso compositivo. In terzo luogo, la loro espressione non si allinea con quella dell’utente, risultando in dispositivi che non risuonano con il linguaggio musicale dell’utente. Il brief del progetto era di contrastare questi tre punti progettando un supporto compositivo, costituito sia da software che da hardware, che crescesse organicamente con il suo utente, semplificasse la comunicazione dell’interfaccia del prodotto e ristabilisse l’atto di composizione come emozionale(?). L’architettura del prodotto è stata ispirata dall’atto di imparare a parlare. Parlare è istintivamente umano e, come comporre, è un mezzo per esprimersi attraverso il suono. Incarna un processo naturale condiviso da tutte le specie e, in quanto tale, ha fornito una struttura ideale per modellare la crescita organica e l’interazione intuitiva. L’architettura è strutturata in tre moduli: un campionatore, un sequencer e un riproduttore che rispecchiano rispettivamente l’atto di apprendere le parole, formare una frase e parlare. Il campionamento è stato utilizzato come mezzo per raccogliere e memorizzare informazioni MIDI, il sequencer ha consentito la selezione e l’ordinamento degli accordi in una progressione lineare e il riproduttore è stato la fonte di interazione per riprodurre la sequenza. Dopo aver utilizzato l’ambiente di patching flow-based Max 7 per creare una struttura generale per la registrazione, l’elaborazione e la riproduzione dei dati, l’algoritmo compositivo è stato integrato nel sistema tramite oggetti javascript personalizzati. L’algoritmo, ispirato all’interpretazione geometrica dello spazio armonico di Tymoczko, ha permesso al dispositivo di creare uno spazio di accordi n dimensionale espandibile come memoria, contenente le qualità degli accordi campionati nel dispositivo dall’utente. Inoltre, presenta un filtro di parsimonia e voicing che mantiente la composizione armonicamente congruente. Per evitare che diventasse monolitico, l’algoritmo è stato mantenuto il più modulare possibile, sia all’interno dell’ambiente di patching che all’interno degli oggetti programmati. Il risultato finale è stato un armonizzatore melody-driven in grado di crescere organicamente con il vocabolario armonico dell’utente. Il secondo passo è stato quello di colmare il divario tra software e hardware introducendo l’interfaccia utente. Open Stage Control, un designer di interfacce OSC gratuito e open source, è stato quindi utilizzato per progettare e testare l’interfaccia e l’interazione con l’utente. L’interfaccia ha subito tre iterazioni di progettazione. La prima iterazione è stata progettata come breakout per testare la funzionalità dell’algoritmo, omettendo l’ergonomia e l’estetica. La seconda iterazione è stata costruita sulla versione precedente con un’ulteriore attenzione alla creazione di un diagramma di flusso di interazione più fluido e alla riduzione del numero di punti di input per l’interazione dell’utente. Dopo ulteriori test, la terza iterazione ha tenuto conto della priorità e dell’ergonomia nel design dell’interfaccia, determinando la sua configurazione finale. Dopo aver consolidato l’interfaccia del dispositivo, il passaggio finale è stato quello di progettare la sua incarnazione fisica. Tenendo conto del fatto che il gruppo di utenti principianti è un fattore limitante, le caratteristiche e i componenti del dispositivo sono stati adattati per essere accessibili. Inoltre, poiché il progetto non è stato sviluppato per un produttore specifico, il dispositivo è stato progettato per essere adattabile alla produzione scalabile. Prendendo ispirazione dai sintetizzatori cult tascabili assemblati dall’utente, il dispositivo è stato strutturato sulla base di un assemblaggio di componenti laminari. le interazioni touch, velocity e aftertouch sono state incorporate a un costo ridotto, utilizzando un PCB di rilevamento capacitivo accoppiato con estensimetri collegati come un ponte di Wheatsone e montati su molle piane. Il risultato finale è stato IRIS: uno strumento di composizione musicale e fonte di ispirazione per comporre musica. Composto da un sistema hardware/software, è un moodboard musicale per creare un collage di gusti e influenze. Consente all’utente di campionare e memorizzare accordi, mescolando palette armonici per creare il proprio vocabolario personale. Man mano che vengono memorizzati più accordi, il suo vocabolario viene ampliato e perfezionato, diventando l’incarnazione fisica dell’espressione personale dell’utente. IRIS può essere utilizzato da progetto a progetto per raccogliere influenze o come un archivio in continua evoluzione. Dato che elabora internamente i campioni, esportare la memoria è semplice quanto lo è campionare accordi nel dispositivo. Poiché i file esportati sono leggeri e modificabili senza utilizzare un software dedicato, IRIS è predisposto a creare una comunità di user-generated-content. La somma di questi due aspetti rende il dispositivo un mezzo per l’interazione intergenerazionale non ostruita da confini fisici, dove IRIS diventa una piattaforma per la collaborazione tra artisti.