Modeling harmonic complexity in automatic music generation using conditional variational autoencoders

Is it possible to use complexity as a parameter to automatically generate music? This is the question that motivates our research. In the area of automatic music composition, several neural network models have been implemented to generate music of a certain musical genre, e.g. rock, pop, jazz, or to capture and imitate the style of a composer. Recent studies in this area of research, focus on providing the ability not only to generate music, but also to be able to condition the creative process. From previous researches we know that complexity is a parameter closely related to the amount of brain activity of the listener (the so-called "arousal potential"). It also affects a person's musical preferences. Given this close correlation with a listener's perceptions, we decide to explore the use of this parameter in music. Complexity is present in each of the aspects in which the music can be divided, e.g. chords, rhythm, melody, etc. Among these we choose to focus on the harmony. In particular, in this work we explore harmonic complexity and its use as a parameter to condition the generation of chord sequences. For the automatic generation process we exploit two conditional neural network models both based on the Variational Autoencoder. We evaluated, through a perceptual test, the ability to generate chord sequences give a desired complexity values.

È possibile utilizzare la complessità come parametro per generare musica automaticamente? Questa è la domanda che motiva la nostra ricerca. Nell'ambito della composizione musicale automatica, sono stati implementati diversi modelli di reti neurali in grado di generare musica di un certo genere musicale, e.g. rock, pop, jazz, o in grado di catturare ed imitare lo stile di un compositore. I recenti studi in quest'ambito di ricerca, si concentrano sul fornire la possibilità non solo di comporre musica, ma di poter condizionare il processo creativo. Dalle precedenti ricerche sappiamo che la complessità è un parametro strettamente correlato alla quantità di attività cerebrale dell’ascoltatore (il cosidetto "arousal potential"). Inoltre condiziona le preferenze musicali di una persona. Data questa stretta correlazione con le percezioni di un ascoltatore, abbiamo deciso di esplorare l'uso di questo parametro in musica. La complessità è presente in ognuno degli aspetti in cui la musica può essere divisa, ad esempio accordi, ritmo, melodia, ecc... Tra questi scegliamo di focalizzarci sull'armonia. In particolare, in questo lavoro esploriamo la complessità armonica ed il suo utilizzo come parametro per condizionare la generazione di sequenze di accordi. Per il processo di generazione automatica utilizziamo due modelli di rete neurale condizionati, entrambi basati sul Variational Autoencoder. Valutiamo, tramite un test percettivo, la capacità di generare sequenze di accordi scegliendo il valore di complessità desiderato.