Budowa silnika rekomendacyjnego przy użyciu biblioteki uczenia maszynowego MLlib

Abstract

W niniejszej pracy przedstawiony zostanie przykład użycia algorytmów uczenia maszynowego w narzędziu do przetwarzania dużych zbiorów danych – Apache Spark. Z powodu ogromnego przyrostu powstających i dostępnych danych powstała potrzeba stworzenia narzędzi do przetwarzania ogromnych ilości danych. W ostatnich latach dzięki rozwojowi algorytmów uczenia maszynowego, jak również narzędzi big data, stało się możliwe tworzenie w prosty sposób np. silników rekomendacyjnych. Jednym z głównych zastosowań silników rekomendacyjnych jest podpowiadanie dodatkowych produktów w czasie zakupów w serwisach internetowych na podstawie historii zakupów lub na podstawie bieżącej zawartości koszyka zakupowego. Silniki rekomendacyjne mogą również służyć np. do polecania nowych filmów lub książek na podstawie dotychczas wystawionych ocen. W tej pracy przedstawiona zostanie budowa silnika rekomendacyjnego dla użytkowników serwisu filmowego. Praca zostanie zrealizowana przy użyciu języka Python, pakietu pySpark, Apache Spark oraz biblioteki uczenia maszynowego MLlib wchodzącej skład Apache Spark – silnika służącego do analityki i przetwarzania dużych ilości danych.