Στοίχιση ήχου και παρτιτούρας με χρήση Hidden Markov Models.

Abstract

Ο σκοπός αυτής της πτυχιακής εργασίας είναι η ανάπτυξη ενός συστήματος Στοίχισης Ήχου και Παρτιτούρας (ΣΗΠ), το οποίο είναι ένα πρόγραμμα για υπολογιστή που, δεδομένης μιας παρτιτούρας ενός μουσικού κομματιού και μιας ηχογράφησής του, μπορεί να ανιχνεύσει το σημείο του ηχητικού σήματος που αντιστοιχεί σε κάθε μουσικό γεγονός της παρτιτούρας. Με άλλα λόγια, μπορεί να “ακολουθήσει”, την παρτιτούρα, “ακούγοντας” την ηχογράφηση, ακριβώς όπως θα έκανε, ένας μουσικά εκπαιδευμένος, ακροατής. Υπάρχουν, διάφορες εφαρμογές της ΣΗΠ, όπως η διευκόλυνση της επεξεργασίας ψηφιακού ήχου που συχνά απαιτεί την γνώση της ακριβούς θέσης μιας συγκεκριμένης νότας ή φράσης της παρτιτούρας πάνω σε ένα ηχογραφημένο σήμα, η αυτόματη επισημείωση σε μουσικές βιβλιοθήκες με στόχο την εστιασμένη πρόσβαση σε μουσικό περιεχόμενο, η βοήθεια στην μουσική εκπαίδευση, ή γενικότερα η αυτόματη τεμαχιοποίηση ηχητικών σημάτων, μια εργασία απαραίτητη στις περισσότερες εφαρμογές που εξερευνούν μουσικό περιεχόμενο. Στο γραπτό μέρος της εργασίας, το πρώτο κεφάλαιο παρουσιάζει μια εισαγωγή σε βασικές μουσικές έννοιες, καθώς και μια περιγραφή των διάφορων υπολογιστικών διεργασιών που μελετώνται στο ερευνητικό πεδίο της Ανάκτησης Μουσικής Πληροφορίας, στις οποίες ανήκει και η ΣΗΠ. Το δεύτερο κεφάλαιο παρέχει μια εποπτεία συναφών ερευνητικών πρωτοβουλιών στη ΣΗΠ και παρουσιάζει κάποιες ενδεικτικές εφαρμογές λογισμικού. Το τρίτο κεφάλαιο είναι μια εισαγωγή στις βασικές μεθόδους αναγνώρισης προτύπων και μηχανικής μάθησης, που χρησιμοποιούνται από το υπό υλοποίηση σύστημα, δίνοντας έμφαση στη χρήση των Κρυμμένων Μοντέλων Markov (Hidden Markov Models, HMMs). Εν συνεχεία, το κεφάλαιο 4 παρουσιάζει τη μεθοδολογία που ακολουθήθηκε για την υλοποίηση ενός συστήματος ΣΗΠ. Το κεφάλαιο 5 περιγράφει τα πειράματα που διεξήχθησαν για την αξιολόγηση της αλγοριθμικής απόδοσης του συστήματος αυτού και τέλος στο κεφάλαιο 6 συζητιόνται συμπεράσματα, προτεινόμενες βελτιώσεις στο σύστημα που έχει αναπτυχθεί και μελλοντικές προοπτικές έρευνας στον τομέα αυτό.

The objective of this project is the development of an Audio to Score Alignment (ASA) system, which is a computer program that, given a score of a music piece and a recording of that same piece, it can detect the point in the signal that corresponds to each musical event of the score. In other words, it can 'follow' the score by 'listening' to the recording, similarly to human listener. There are several applications sought by ASA, such as assisting digital audio editing and post-processing that often requires knowledge of the location of a particular note or phrase in the score, allowing automatic annotation in music libraries hence permitting efficient search and retrieval, assisting musical education, or more generally providing automatic audio segmentations, a task that is a prerequisite to most applications exploring musical content. ASA is one of the several tasks targeted by Music Information Retrieval research, an interdisciplinary scientific field aiming at retrieving semantic information from digitl music representations. The first chapter provides an introduction to basic music concepts and a description of several Music Information Retrieval tasks. The second chapter provides a review of relevant research initiatives on ASA and showcases some representative software applications. The third chapter is an introduction to the basic pattern recognition and machine learning techniques used by the system under investigation, emphasizing on the use of Hidden Markov Models (HMM). Following chapter 4 presents the overall methodology and the implementation of the ASA system developed in the context of this work. Chapter 5 presents the evaluation of the implemented software and the final chapter discusses conclusions, shortcomings and future work.