Systemy rozproszone czy implementacje lokalne?

Abstract

Celem niniejszej pracy jest przedstawienie sugestii dotyczących metodologii przetwarzania danych. Głównym kryterium wydajności przetwarzania danych był czas wykonania poszczególnych algorytmów. Przetwarzanie różnych algorytmów było obserwowane pod wieloma kątami, takimi jak język programowania, implementacja lokalna czy rozproszona i rozmiar danych. Porównywane zostały prędkości wykonania przy użyciu jednego serwera oraz klastrów obliczeniowych, w tym celu zostało użyto środowisko Spark. Z badań wynika, że dla mniejszych rozmiarów danych, mniej więcej poniżej 1GB, nie opłaca się korzystanie z klastrów obliczeniowych. Co prawda można zauważyć zmniejszenie czasu wykonania, lecz jest ono zbyt kosztowane, aby angażować więcej niż jedną maszynę. Z kolei dla dużych danych sięgających rozmiarów 8GB i większych, warto korzystać z klastrów obliczeniowych, gdyż wzrost jest bardzo zauważalny. Wybór sprzętu i technologii może być problematycznym problemem, z którym zmaga się wiele osób chcących jak najwydajniej przetwarzać dane o dużych rozmiarach dlatego ta praca jest swego rodzaju pomocą w wyborze sprzętowym i technologicznym do rozmiaru danych.