Automatyczna detekcja i wizualizacja emocji w muzyce

Abstract

Przy szybkim wzroście liczby i objętości internetowych baz danych zawierających utwory muzyczne, pojawiają się potrzeby ich przeszukiwania nie tylko wg nazwy, autora czy tytułu, ale również pod kątem ich treści. Dałoby to użytkownikom dodatkową możliwość szybkiego i precyzyjnego odnajdywania żądanych plików. Czynnikiem ułatwiającym przeglądanie takich zbiorów byłoby stworzenie możliwości automatycznego rozpoznawania emocji w utworach muzycznych. Jest to problem dość złożony, gdyż różne osoby odmiennie odbierają emocje; dany fragment utworu może zawierać jedną lub kilka różnych emocji jednocześnie, te z kolei mogą się zmieniać w czasie trwania utworu. Ponadto wybór modelu emocji, czyli ile i jakich etykiet emocji użyjemy, nie jest sprawą jednoznaczną. Wszystko to spowodowało podjęcie badań nad automatyczną detekcją emocji w utworach muzycznych. Podczas realizacji automatycznej detekcji emocji znaleziono zbiór cech opisujących segmenty muzyczne. Zostały tu, między innymi, wykorzystane parametry otrzymane podczas procesu wizualizacji muzyki. Wizualizacja muzyki poprzez zaproponowaną formę i kształt figur umożliwiła słuchaczowi obserwację treści akustycznych. Ścisły związek otrzymanych obrazów z emocją zawartą w utworze przekonał autora o możliwości wykorzystania ich przy detekcji emocji. Celem niniejszej pracy jest budowa systemu zapytań służącego do przeszukiwania muzycznej bazy danych, który umożliwiałby zadawanie zapytań typu: „znajdź wszystkie utwory, które w 80 % są wesołe” lub „znajdź wszystkie utwory, które w 70% są spokojne, a w 30 % smutne”, czy też: „znajdź utwory, które zaczynają się wesoło, później są gniewne i agresywne a kończą się znowu wesoło”. Dodatkowym atutem stworzonego przez autora systemu jest możliwość obejrzenia wizualizacji znalezionych utworów. Przed rozpoczęciem wyszukiwania w bazie danych system dokonuje identyfikacji użytkownika, a następnie przydziela charakterystyczny dla danego użytkownika profil emocjonalny, wpływający na sposób przeszukiwania bazy. Do osiągnięcia tego celu zbudowano bazę danych składającą się z 498 fragmentów muzycznych, pochodzących z 83 utworów, które zawierają muzykę klasyczną takich kompozytorów, jak F. Chopin, R. Schuman, F. Schubert, E. Grieg, F. Mendelssohn- Bartholdy, itp. Baza ta została użyta do budowy zbioru klasyfikatorów służących do automatycznej indeksacji plików etykietami emocji, dla każdego reprezentatywnego profilu użytkownika oddzielnie. Do indeksacji plików użyto hierarchicznego modelu emocji składającego się z 4 głównych emocji na poziomie pierwszym i z 12 pod-emocji, po trzy dla emocji głównej, poziomu drugiego. Profile użytkowników zostały zbudowane na podstawie przeprowadzonych indeksacji plików muzycznych i ankiet wypełnionych przez grupę osób-testerów. Wyniki indeksacji poddano grupowaniu, a następnie znaleziono reprezentatywne profile użytkowników. Do budowy klasyfikatorów i przeprowadzenia grupowania użyto zbioru narzędzi dostarczanych w pakiecie WEKA. Praca ta korzysta z takich dziedzin, jak detekcja emocji, klasyfikacja wielo-etykietowa, grupowanie, wizualizacja muzyki oraz eksploracja danych.