Zastosowanie platform integracyjnych w web scrapingu na przykładzie FRENDS.

Abstract

W dzisiejszych czasach przedsiębiorstwa używają coraz większej ilości systemów, z których każdy pełni inną funkcję i często nie jest przystosowany do integracji z innymi systemami, jednak istnieje potrzeba, aby wymieniać między nimi informacje. Przykładami takich komponentów mogą być systemy CRM (Customer Relations Management) i ERP (Enterprise Resource Planning), jak również strony internetowe, posiadające dane interesujące dla przedsiębiorstwa, lecz nie posiadające publicznego API (Application Programming Interface), które pozwoliłoby na proste zdobycie tych danych. Popularnym rozwiązaniem dla tego problemu staje się użycie platform integracyjnych zdolnych do przekazywania informacji pomiędzy różnymi systemami, zmieniając format danych, jak również pozwalając na automatyzację tych przepływów. Praca pokazuje, jakie zastosowanie mają platformy integracyjne w pobieraniu danych z miejsc, które nie wystawiają publicznego API, a jedynym sposobem, aby te dane zdobyć jest web scraping. Przedstawione są tu możliwości platform integracyjnych nie tylko do pobrania takich danych, a również przetwarzania ich i wykorzystywania do integracji z innymi systemami i jest to zaprezentowane na przykładzie przypadku biznesowego. W rezultacie, na podstawie danych pobranych za pomocą web scrapingu, stworzony został prototyp integracji, która udostępnia te dane za pomocą API oraz gromadzi je w celu analizy statystycznej. Projekt pokazuje możliwości platformy integracyjnej zarówno w kontekście scrapowania danych, jak również dalszego ich przetwarzania i udostępniania innym systemom.