Μελέτη και σύγκριση τεχνολογιών εξόρυξης γνώσης από δεδομένα ροής σε πραγματικό χρόνο – Η περίπτωση της Streaming SQL

Abstract

Στην παρούσα διπλωματική εργασία παρουσιάζεται μια μελέτη των τεχνολογιών Apache Kafka, KSQL, Apache Flink, Apache Samza, Apache Spark, και το πρότυπο Lambda Architecture. Στη συνέχεια γίνεται μια σύγκριση μεταξύ τους, παρουσιάζοντας την καταλληλότερη για πιο αποτελεσματική επεξεργασία δεδομένων ροής. Για την εξαγωγή συμπερασμάτων καθώς και για την πειραματική μελέτη/σύγκρισή τους έγινε χρήση ροών δεδομένων μεγάλης κλίμακας. Για την ανάλυση των παραπάνω τεχνολογιών χρησιμοποιήθηκε η Streaming SQL η οποία αποτελεί γλώσσα ερωτημάτων που επεκτείνει την SQL με ικανότητα επεξεργασίας ροών δεδομένων σε πραγματικό χρόνο, προσθέτει την ικανότητα χειρισμού ροών δεδομένων, οι οποίες αποτελούν άπειρες ακολουθίες πλειάδων που δεν είναι όλες διαθέσιμες ταυτόχρονα. Για το λόγο αυτό, οι πράξεις πάνω σε αυτά τα δεδομένα πρέπει να είναι μονοτονικές και τα ερωτήματα πάνω στις ροές δεδομένων είναι γενικά "συνεχή" , εκτελούνται για μεγάλες χρονικές περιόδους και επιστρέφουν βαθμιαία αποτελέσματα. Η Streaming SQL, χρησιμοποιείται συνήθως στο πλαίσιο ενός συστήματος διαχείρισης ροών δεδομένων (Data Stream Management System - DSMS), για εφαρμογές που περιλαμβάνουν αλγοριθμικές συναλλαγές, δεδομένα παιχνιδιών, αναλύσεις δεδομένων αγοράς, παρακολούθηση δικτύου, ανίχνευση, παρακολούθηση και πρόληψη ηλεκτρονικής απάτης, αναλύσεις clickstream και συμμόρφωση σε πραγματικό χρόνο.