Feature-based analysis and modelling of violin timbre

The timbre of musical instruments is one of the most complex and ambiguous case of study in music research. The lack of a mathematical formulation, the subjectivity of timbre description and the dependency on the data make this property far from being exhaustively understood. Nevertheless, timbre is a very important aspect of music and it is of great interest for manufacturers, musicologists and researchers to be able to analyse and control the sound properties of musical instruments. Among the others, the sound of the violin received particular interest for decades, due to its complex behaviour and the aura of legend that surrounds the masterpieces of the ancient Cremonese masters - Stradivari, Guarneri, Amati. The violin is a complex instrument made of tens of different pieces and materials and involving non-linear interactions between its components. Researchers correlate acoustical properties, materials and structural behaviour to timbre perception, but many aspects are still unclear. In this thesis, timbral analysis techniques are studied and applied to the specific case of violins. The choice of this class of instruments depends on different reasons: the aforementioned complexity of the bowed instruments family; the great interest in the manufacturing, music and research communities; and the availability of the remarkable collection of the Violin Museum in Cremona, that includes historical and top-quality contemporary violins. The musical timbre depends both on the physics of sound (low-level perspective) and human perception (high-level perspective). For this reason, this study is conducted at different levels of abstraction. First we recorded 50 violins including historical, top-quality and low-quality contemporary instruments, obtaining a considerably large, diverse and unique dataset which is the basis for this study. For what concerns the low-level analysis, the purpose is to investigate measurable properties of the audio signal that timbre relies on. A typical way of analysing such properties is called feature-based analysis. This approach is often used in Music Information Retrieval (MIR) and it is based on the extraction of many objective quantities from the raw audio (low-level features). These quantities have a low degree of abstraction and are obtained by means of signal processing algorithms. We define and extract a set of low-level features in order to capture various aspects of violin timbre. Since the literature suggests that timbral relations between instruments depends on the pitch, we investigate this dependency and we show that the differences between violins change with the played note. Another important aspect that we take into account is the impact of materials on the final sound. Many studies investigate the role of the varnishes used in the violin making process. We address this problem by comparing the low-level features extracted from a violin in three different stages of the varnishing procedure. The results point out that some aspects of the sound are influenced by this step. Finally, we investigate and characterize the differences between historical and contemporary violins, which is a topic of great interest for violin enthusiasts and researchers. We compare the feature extracted from the recordings and we study the differences between the two classes of instruments. The results point out that there are objective cues that allow to discern historical and contemporary violins. For what concerns the high-level perspective, we employ knowledge management tools to address the problem of the timbre description semantics. Human listeners make use of words from the natural language to describe the sound quality. Such words lack a mathematical formulation and their semantics is not formally defined. In order to make a machine able to process this type of information, a formal representation is needed. A solution is the implementation of an ontology, a knowledge management tool used in many fields of information science, particularly in the Semantic Web. We collect an informal description of timbral words during several interviews and we use it to build the ontology. Then we validate and extend the ontology with concept analysis techniques, proving its semantic validity. The core implementation of the ontology is finally enriched with other information related to the perceived timbre, like materials and low-level features. The relation between low-level properties of violin sound and perceived timbre is still unclear. For this reason, we employ machine learning techniques to model sound descriptors based on low-level features and bridge the gap between the objective and subjective description of violin timbre. We test both audio features-based methods and unsupervised feature learning based on neural networks. The results allow to discover the relation between the two faces of timbre - objective and subjective - and show that it is possible to train a machine to produce a human-like sound description with a good degree of accuracy. The techniques employed in this thesis can be generalized to other musical sources and used to implement tools that efficiently describe and model the timbral properties of musical instruments and the timbral differences between different sources.

Il timbro degli strumenti musicali è uno dei casi di studio più complessi e ambigui nel campo della ricerca musicale. La mancanza di formulazioni matematiche, la soggettività della descrizione del timbro e la dipendenza dai dati rendono questa proprietà lontana dall'essere compresa appieno. Ciononostante, il timbro è un aspetto molto importante nella musica ed è di grande interesse per costruttori, musicologi e ricercatori essere in grado di analizzare e controllare le proprietà sonore degli strumenti musicali. In particolare, il suono dei violini ha ricevuto molto interesse per decenni, per il suo comportamento complesso e per l'aura di leggenda che circonda i capolavori degli antichi maestri Cremonesi - Stradivari, Guarnieri, Amati. Il violino è uno strumento complesso composto da decine di parti e materiali diversi e caratterizzato da interazioni non lineari tra i vari componenti. I ricercatori correlano proprietà acustiche, materiali e comportamento strutturale alla percezione timbrica, ma molti aspetti sono ancora poco chiari. In questa tesi tecniche di analisi timbrica vengono studiate e applicate al caso specifico dei violini. La scelta di questa classe di strumenti dipende da diversi motivi: la sopracitata complessità della famiglia degli strumenti ad arco; il grande interesse nella comunità manifatturiera, quella musicale e quella accademica; la disponibilità della notevole collezione del Museo del Violino di Cremona, che comprende violini storici e contemporanei di grandissima qualità. Il timbro musicale dipende sia dalla fisica del suono (prospettiva di basso livello) che dalla percezione umana (prospettiva di alto livello). Per questo motivo, questo studio è condotto a diversi livelli di astrazione. Abbiamo registrato 50 violini, tra cui storici e contemporanei di varie qualità, producendo un dataset considerevolmente grande, vario e unico, che è alla base del nostro studio. Per quanto riguardo l'analisi di basso livello, lo scopo è studiare le proprietà misurabili del segnale audio su cui si basa il timbro. Il tipico approccio per analizzare queste proprietà è chiamato analisi feature-based ed è spesso usato nell'ambito del Music Information Retrieval (MIR). Esso si basa sull'estrazione di molte quantità oggettive dal segnale audio (feature di basso livello). Queste quantità hanno un basso grado di astrazione e possono esere ottenute per mezzo di algoritmi di elaborazione dei segnali. Definiamo ed estraiamo un insieme di feature di basso livello al fine di identificare vari aspetti del timbro del violino. Poichè la letteratura suggerisce una possibile dipendenza delle relazioni timbriche dal pitch, indaghiamo su tale dipendenza e mostriamo che le differenze oggettive tra violini possono variare con la nota suonata. Un altro aspetto importante che prendiamo in considerazione è l'impatto dei materiali sul suono finale. Molti studi indagano sul ruolo delle vernici usate nella costruzione dei violini. Noi affrontiamo questo problema confrontando le feature di basso livello estratte da un violino in tre diverse fasi del processo di verniciatura. I risultati indicano che alcuni aspetti del suono sono influenzati da questo processo. Infine, indaghiamo e caratterizziamo le differenze tra violini storici e contemporanei, che è un argomento di grande interesse tra appasisonati e ricercatori. Confrontiamo le feature estratte dalle registrazioni e studiamo le differenze tra le due classi di strumenti. I risultati evidenziano che ci sono aspetti oggettivi che permettono di distinguere strumenti storici e contemporanei. Per quanto riguarda la prospettiva di alto livello, impieghiamo strumenti di knowledge management per affrontare il problema della semantica della descrizione timbrica. Gli esseri umani fanno uso di parole tipiche del linguaggio naturale per descrivere i suoni. Tali parole non hanno un fondamento matematico e la loro semantica non è definita formalmente. Al fine di consentire ad una macchina di elaborare questo tipo di informazione, è necessaria una rappresentazione formale. Una soluzione è l'implementazione di un'ontologia, uno strumento usato in molti campi dell'information science, ed in particolare nel Semantic Web. In questo studio raccogliamo una descrizione informale dei descrittori timbrici per mezzo di interviste e usiamo questa descrizione per costruire l'ontologia. In seguito validiamo ed estendiamo l'ontologia con tecniche di concept analysis, dimostrandone la validità semantica. L'implementazione di base dell'ontologia è infine arricchita con altre informazioni relative alla percezione timbrica, come i materiali e le feature di basso livello. La relazione tra proprietà di basso livello del suono del violino e timbro percepito è ancora poco chiara. Per questa ragione, impieghiamo tecnche di machine learning per modellare i descrittori timbrici sulla base di feature di basso livello e coprire il cosiddetto semantic gap tra descrizione oggettiva e descrizione soggettiva del timbro del violino. A questo scopo testiamo sia metodi basati su feature predefinite che algoritmi di apprendimento automatico di feature basate su reti neurali. I risultati permettono di scoprire la relazioni tra le due facce del timbro - oggettiva e soggettiva - e mostrano che è possibile addestrare una macchina a produrre una descrizione del suono simile a quella che un essere umano darebbe, con una buona accuratezza. Le tecniche impiegate in questa tesi possono essere generalizzate ad altre sorgenti musicali e usate per implementare strumenti che descrivono e modellano in modo efficiente le proprietà timbriche di strumenti musicali e le differenze tra diverse sorgenti.