Zautomatyzowany system pobierania danych o lotach i oceny ofert
Platformy ofert lotów opierają się na dużych ilościach danych z zewnętrznych API, które często się zmieniają i zawierają dużo szumu. Surowe odpowiedzi z API Skyscanner obejmują tysiące kombinacji cenowych, jednak większość z nich nie stanowi wartościowych okazji. Wyzwaniem było ciągłe pobieranie aktualnych danych, ich wydajne przetwarzanie oraz wyłanianie tylko najbardziej atrakcyjnych ofert na podstawie wielu czynników, takich jak cena, sezonowość, jakość trasy czy linia lotnicza.
Zbudowaliśmy pipeline przetwarzania danych działający w tle przy użyciu Celery, który cyklicznie pobiera dane o lotach z API Skyscanner. System analizuje napływające dane w odniesieniu do wewnętrznie zdefiniowanych progów dla destynacji i regionów wylotu, a następnie ocenia każde połączenie za pomocą autorskiego algorytmu scoringowego. Algorytm uwzględnia poziom cen, sezon podróży, liczbę przesiadek, atrakcyjność destynacji oraz jakość linii lotniczej. Efektem jest stale aktualizowany strumień wyselekcjonowanych ofert lotów, które są automatycznie filtrowane i rankingowane.