Abstract:
W opisanej pracy magisterskiej autor zają się zagadnieniem rozpoznawania
alfabetu polskiego języka migowego (PJM). Ze względu na specyfikę języka mało
prac zostało poświęconych tej tematyce. Celem przeprowadzonego badania była detekcja
i rozpoznawanie liter języka migowego na zdjęciach i krótkich nagraniach. Do rozwiązania problemu rozpoznawania znaków polskiego języka migowego została wykorzystana
segmentacja obrazów, selekcja cech i klasyfkacja. Istotną różnicę tej pracy od innych
prac jest to, że wykorzystane zbiory danych zostały stworzone w naturalnych warunkach
(różne poziomy oświetlenia i różnorodne tła) oraz bez użycia sensorycznych rękawic do
śledzenia ruchu.
Pracę możemy podzielić na trzy główne części: stworzenie własnego zbioru filmów
alfabetu PJM, przeprowadzenie eksperymentów na tych filmach i przeprowadzenie eksperymentów na zdjęciach.
Na początku autor stworzył zbiór nagrań alfabetu PJM, który został nazwany PJMvideos.
Następnie dokonał przekształceń tego zbioru tj. skalowanie, interpolacja i wybieranie
klatek (ang. sampling). Później przeprowadził eksperymenty na zdjęciach oraz
filmach. W pierwszej kolejności badania zostały przeprowadzone na filmach z własnego
zbiory danych - PJMvideos, a potem na zdjęciach pozyskanych ze strony sun.aei.polsl.pl
i własnego zbioru danych - PJMphotos. Podczas eksperymentów na filmach została przeprowadzona
ekstrakcja cech z nagranych klatek. Do tego celu posłużyła sieć konwolucyjna.
Natomiast do klasyfikacji gestów została użyta sieć LSTM. W przypadku eksperymentów
na zdjęciach, zdjęcia zostały poddane segmentacji za pomocy zmodyfkowanej sieci UNet.
Potem był etap klasyfikacji i dostrajania wytrenowanej sieci VGG16, CNN. Oprócz
powyższych etapów został stworzony również generator zdjęć w celu poprawy jakości segmentacji
zdjęć.
