Εφαρμογή Apache Spark και Μηχανικής Μάθησης στο Ηλεκτρονικό Εμπόριο

Abstract

Η ανάλυση των δεδομένων χρησιμοποιείται εδώ και πάρα πολλά χρόνια σε διάφορους επιστημονικούς κλάδους όπως η πληροφορική, η ιατρική, οι οικονομικές επιστήμες κτλ. Βασικός σκοπός της είναι η εξαγωγή χρήσιμων πληροφοριών και συμπερασμάτων, ώστε να βρεθεί λύση σε κάποιο πρόβλημα ή να προβλεφθούν μελλοντικές καταστάσεις. Τα τελευταία χρόνια, υπάρχει πολύ μεγάλη αύξηση στην παραγωγή κάθε τύπου δεδομένων, σε τέτοιο βαθμό που πολλές φορές καθιστάται αδύνατο να αναλυθούν από μεμονομένους υπολογιστές, λόγω έλλειψης των απαιτούμενων πόρων. Για τον λόγο αυτό υπήρξε η ανάγκη δημιουργίας συστημάτων, που θα μπορούν να εκμεταλευτούν ταυτόχρονα τους πόρους μιας συστάδας υπολογιστών και να επεξεργαστούν παράλληλα τα δεδομένα, ώστε να αποφύγουν τυχόν προβλήματα κατά την επεξεργασία και να κάνουν τη διαδικασία πιο γρήγορη. Τα τελευταία χρόνια έχουν δημιουργηθεί πληθώρα τέτοιων συστημάτων τα οποία βελτιώνονται συνεχώς ως προς την απόδοση του, γίνοντας παράλληλα πιο φιλικά προς τον χρήστη. Ένα από τα πιο διαδεδομένα συστήματα ανάλυσης μεγάλου όγκου δεδομένων, είναι το Apache Spark. Η ακόλουθη μεταπτυχιακή εργασία έχει στόχο την αντιμετώπιση του μεγάλου όγκου δεδομένων σε αλγορίθμους μηχανικής μάθησης, με τη χρήση της παράλληλης επεξεργασίας του Apache Spark και χωρίζεται σε δύο κύρια μέρη. Στο πρώτο μέρος, μέσω βιβλιογραφικής επισκόπησης, περιγράφονται οι βασικότερες λειτουργίες του λογισμικού Apache Spark, καθώς και σημαντικές τεχνικές διαχείρισης των ιδιαιτεροτήτων μιας εφαρμογής του. Δίνεται ιδιαίτερη βαρύτητα στους αλγορίθμους μηχανικής μάθησης και σε μεθόδους που μπορούν να κάνουν ένα πρόγραμμα αποδοτικότερο. Γίνεται επίσης μελέτη του θεωρητικού υπόβαθρου του cloud computing. Το δεύτερο τμήμα αποτελεί μία πρακτική εφαρμογή του Apache Spark, όπου με τη χρήση της γλώσσας προγραμματισμόυ python, λύνεται ένα πρόβλημα μηχανικής μάθησης, το οποίο σχετίζεται με το ηλεκτρονικό εμπόριο. Το πρόγραμμα υλοποιήθηκε σε δύο διαφορετικά περιβάλλοντα (local, cluster), με στόχο την βέλτιστη πρόβλεψη αλλά και την επίτευξη μείωσης του χρόνου εκτέλεσης, εκμεταλλευόμενο τις λειτουργίες του Apache Spark. Για την υλοποίηση του προγράμματος σε περιβάλλον cluster δημιουργείται ένα cluster μέσω του Google Cloud Platform