OMRJX : a framework for piano scores optical music recognition

Optical Music Recognition (OMR) is the OCR branch oriented to musical documents. First works on OMR are dated back to the early '70s and till nowadays, the scientific community has exerted to obtain the best from this open issue. An OMR process tries to recognize, from a scanned real page of music, all musical symbols that live that page. Unfortunately, it is, often, a very arduous task to accomplish. This master thesis will cover all past works concerning the OMR problems, emphasizing on the tools and methodologies used for a final solution. Hence, a MATLAB system framework will be developed and explained into details. The software will make use of most of the computer vision and artificial intelligence tools, adding a new solution for the OMR issue on scorewriters' not deteriorated scores. Such program is meant not only to be a simple OMR application but also the starting point for a future work about classical piano author discrimination.

Il riconoscimento automatico di partiture, detto OMR (dall'inglese optical music recognition), è una branca del riconoscimento ottico dei caratteri (OCR). OMR è un processo che acquisisce automaticamente le informazione di uno spartito elaborandole da una immagine digitalizzata di tale spartito. Possibili applicazioni possono coinvolgere l'ambito dell'archiviazione, applicazioni per non vedenti o armonizzazioni automatiche. Negli anni, molti sono stati gli sforzi affrontati nel campo dell'OMR. I pionieri furono Pruslin e Prerau che, negli anni '70 presso il MIT di Boston, gettarono le prime basi nel riconoscimento ottico di spartiti musicali. Fino alla fine degli anni '90 l'approccio base fu quello di dividere il problema in due parti, una prima estrazione del pentagramma, componente principale dello spartito, e poi un conseguente riconoscimento dei vari simboli musicali (note, pause, etc). Recentemente l'approccio sta cambiando direzione e si fanno tentativi di riconoscimento senza una iniziale rimozione dei pentagrammi, utilizzando strumenti quali catene di markov nascoste (HMM) e reti neurali. Questa tesi getta le basi per un futuro lavoro sulla tassonomia di autori classici di pianoforte. Per poter discriminare tra vari autori è neccessario ottenere delle informazioni preziose che sono contenute nello spartito stesso. OMRJX, nome del sistema creato in questo lavoro di tesi, nasce come strumento preliminare per tale raccoglimento di informazioni. Di fatto, il sistema prevede un riconoscimento totale della maggior parte delle componenti che si possono rilevare su uno spartito classico per pianoforte. Esso non pretende di risolvere il problema OMR relativo a spartiti degradati ma cerca invece una soluzione ottimale per spartiti generati da un programma di notazione musicale (e.g., Finale). Prima di affrontare l'implementazione del sistema, si è studiato lo stato dell'arte in campo OMR per poter scegliere gli strumenti più adeguati a certe determinate situazioni. OMRJX prevede un ampio utilizzo della maggior parte degli strumenti utilizzati per la visione e intelligenza artificiale. Per esempio, il riconoscimento del pentagramma e delle barre delle battute è stato effettuato utilizzando la trasformata di hough sullo spartito binarizzato. Algoritmi di clustering sono stati, invece, utilizzati per il riconoscimento di un possibile titolo dello spartito e per il riconoscimento delle teste delle note piene. Inoltre, la tesi propone due nuovi e validi algoritmi per l'identificazione del valore di tali note piene; il primo fa uso del processo di scheletrizzazione morfologica e l'altro utilizza il metodo delle proiezioni. Infine sono state ampiamente utilizzate tutte le operazioni morfologiche e le tecniche di template matching per il riconoscimento dei restanti simboli. Il sistema ha ottenuto ottimi risultati e dai test effettuati sono emerse comunque delle falle. Quindi, per tali lacune sono state pensate delle possibili soluzioni che verranno applicate in un lavoro futuro. OMRJX è stato quindi testato su una serie di possibili spartiti per pianoforte e poi confrontato anche con le prestazioni di altri software commerciali ottenendo dei risultati competitivi. In conclusione, il sistema, dal nome OMRJX, creato per questa tesi è uno software che fa uso di nuovi algoritmi per la risoluzione del problema OMR su spartiti per pianoforte, spartiti che presentano innumerevoli difficoltà viste le possibili complicazioni che la scrittura pianistica può offrire.