A comparison of best-worst scaling and rating scale for timbre characterisation

The subjective annotation of sounds is a key area of focus in the field of timbre. Rating scales (RS) are the most used method for annotating data, although they present several limitations related to scale biases. The Best-Worst Scaling method (BWS) has proven to be a reliable alternative to Rating Scales on semantic and visual elements, but the two methods have not been compared on an audio corpus yet. This work focuses on the comparison of RS and BWS methods applied to timbre characterisation of instrumental sounds. Our results firstly show that both methods are comparable on performance (i.e. validity and reliability), although this highly depends on the number of participants on the task. Secondly, results convey that both methods are comparable on ergonomy, and thirdly, that BWS is more robust to the complexity of the task than RS. This study also reveals that the data obtained with the RS and the BWS carry different information. Finally, this work calls for a wider use of Best-Worst-Scaling in subjective sounds annotation tasks.

L’annotazione soggettiva dei suoni è un’area chiave di attenzione nel campo del timbro. Le scale di valutazione (RS) sono il metodo più usato per l’annotazione dei dati, anche se presentano gravi limiti legati alle distorsioni della scala. Il metodo Best-Worst Scaling (BWS) ha dimostrato di essere un’alternativa affidabile alle scale di valutazione su elementi semantici e visivi, ma il confronto non è mai stato applicato a un corpus audio. Questo lavoro si concentra sul confronto dei metodi RS e BWS applicati alla caratterizzazione del timbro dei suoni strumentali. I nostri risultati mostrano in primo luogo che entrambi i metodi sono comparabili in termini di prestazioni (cioè validità e affidabilità), anche se questo dipende fortemente dal numero di partecipanti al compito. In secondo luogo, i risultati indicano che entrambi i metodi sono comparabili in termini di ergonomia e, in terzo luogo, che il BWS è più robusto rispetto alla complessità del compito rispetto al RS. Questo studio rivela anche che i dati ottenuti con la RS e il BWS portano informazioni diverse. Infine, questo lavoro richiede un uso più ampio del Best-Worst-Scaling nei compiti di annotazione dei suoni soggettivi