Μελέτη αλγόριθμων απομείωσης δεδομένων ροής - πειραματική μελέτη με χρήση του ΜΟΑ

Abstract

H ραγδαία αύξηση των δεδομένων ροής δημιούργησε την ανάγκη για μια νέα προσέγγιση στον τρόπο με τον οποίο εξάγεται η πληροφορία διότι η παραδοσιακή μηχανική μάθηση δεν είναι σε θέση να αντιμετωπίσει τα νέα εμπόδια που προκύπτουν από την φύση των δεδομένων ροής. Η μείωση των δεδομένων αποτελεί μια από τις κύριες τεχνικές στον τομέα της εύρεσης γνώσης από δεδομένα ροής. Η παρούσα μελέτη επικεντρώνεται στη μείωση των δεδομένων με την μέθοδο της επιλογής στιγμιοτύπων η οποία αποτελεί ένα σημαντικό βήμα προεπεξεργασίας και εφαρμόζεται σε πολλά σενάρια μηχανικής μάθησης. Ο σκοπός της επιλογής στιγμιοτύπων είναι η μείωση των δεδομένων σε ένα πιο διαχειρίσιμο όγκο απομακρύνοντας στιγμιότυπα που αποτελούν θόρυβο ή πλεονασματικές τιμές βελτιώνοντας με αυτό τον τρόπο την υπολογιστική πολυπλοκότητα και την ακρίβεια του αλγόριθμου. Στην παρούσα εργασία συνοψίζονται θεμελιώδεις έννοιες της εξόρυξης γνώσης από δεδομένα ροής, αναλύεται η προεπεξεργασία γνώσης σε αυτά και επικεντρωνόμαστε σε μια αναλυτική παρουσίαση τεσσάρων βασικών μεθόδων μείωσης δεδομένων με επιλογή στιγμιοτύπων. Για να εμπλουτίσουμε την έρευνα διενεργούνται αναλυτικά πειράματα με την χρήση του λογισμικού ΜΟΑ για αυτές τις μεθόδους και παρουσιάζεται μια ανάλυση της προβλεπτικής τους ικανότητας, του βαθμού μείωσης που επιτυγχάνουν καθώς και του υπολογιστικού κόστους και των απαιτήσεων τους σε μνήμη. Tα κύρια συμπεράσματα στα οποία καταλήγει η έρευνα είναι ότι κάποιες μέθοδοι επιτυγχάνουν σημαντική μείωση στα δεδομένα εντούτοις όλες έχουν πολύ υψηλό υπολογιστικό κόστος κάτι που τις καθιστά ανίκανες σε αυτό το στάδιο να διαχειριστούν πραγματικά ρεύματα δεδομένων.