Analiza i rozpoznawanie znaków polskiego języka migowego.

Abstract

W opisanej pracy magisterskiej autor zają się zagadnieniem rozpoznawania alfabetu polskiego języka migowego (PJM). Ze względu na specyfikę języka mało prac zostało poświęconych tej tematyce. Celem przeprowadzonego badania była detekcja i rozpoznawanie liter języka migowego na zdjęciach i krótkich nagraniach. Do rozwiązania problemu rozpoznawania znaków polskiego języka migowego została wykorzystana segmentacja obrazów, selekcja cech i klasyfkacja. Istotną różnicę tej pracy od innych prac jest to, że wykorzystane zbiory danych zostały stworzone w naturalnych warunkach (różne poziomy oświetlenia i różnorodne tła) oraz bez użycia sensorycznych rękawic do śledzenia ruchu. Pracę możemy podzielić na trzy główne części: stworzenie własnego zbioru filmów alfabetu PJM, przeprowadzenie eksperymentów na tych filmach i przeprowadzenie eksperymentów na zdjęciach. Na początku autor stworzył zbiór nagrań alfabetu PJM, który został nazwany PJMvideos. Następnie dokonał przekształceń tego zbioru tj. skalowanie, interpolacja i wybieranie klatek (ang. sampling). Później przeprowadził eksperymenty na zdjęciach oraz filmach. W pierwszej kolejności badania zostały przeprowadzone na filmach z własnego zbiory danych - PJMvideos, a potem na zdjęciach pozyskanych ze strony sun.aei.polsl.pl i własnego zbioru danych - PJMphotos. Podczas eksperymentów na filmach została przeprowadzona ekstrakcja cech z nagranych klatek. Do tego celu posłużyła sieć konwolucyjna. Natomiast do klasyfikacji gestów została użyta sieć LSTM. W przypadku eksperymentów na zdjęciach, zdjęcia zostały poddane segmentacji za pomocy zmodyfkowanej sieci UNet. Potem był etap klasyfikacji i dostrajania wytrenowanej sieci VGG16, CNN. Oprócz powyższych etapów został stworzony również generator zdjęć w celu poprawy jakości segmentacji zdjęć.