Τα δεδομένα μεγάλης κλίμακας: τεχνικές και εργαλεία ανάλυσης τους, και η προσφορά τους ως υπηρεσία του υπολογιστικού νέφους

Abstract

Το μέγεθος των δεδομένων που παράγονται, χρησιμοποιούνται και αποθηκεύονται κάθε χρόνο αυξάνεται και είναι μεγαλύτερο από ότι στο παρελθόν. Υπάρχουν αρκετοί λόγοι για αυτή τη συνεχή αύξηση. Πρώτα από όλα, περισσότεροι χρήστες παγκοσμίως έχουν πλέον πρόσβαση στο ίντερνετ μέσα από τη χρήση των laptops, των tablets ή των smartphones. Επιπλέον το διαδίκτυο των πραγμάτων έπαιξε σημαντικό ρόλο, επειδή οι όλες οι συσκευές είναι πλέον συνδεδεμένες στο ίντερνετ και έχουν αισθητήρες που στέλνουν και λαμβάνουν δεδομένα. Ως αποτέλεσμα, πρέπει να δημιουργηθούν νέες τεχνικές ανάλυσης ώστε το μεγάλο πλήθος των δεδομένων που δημιουργούνται να μπορεί είναι διαχειρίσιμο αποτελεσματικά. Επίσης νέα εργαλεία πρέπει να αναπτυχθούν για να επεξεργαστούν αυτά τα δεδομένα. Το υπολογιστικό νέφος είναι μια νέα τεχνολογία που προσπαθεί να δώσει λύση σε αυτό το πρόβλημα παρέχοντας όλους τους απαραίτητους υπολογιστικούς και αποθηκευτικούς πόρους για τη διαχείριση των Big Data. Έτσι, δημιουργήθηκε μια νέα υπηρεσία, το Big Data as a Service, και ο στόχος του είναι να κάνει την όλη διαδικασία ανάλυσης των δεδομένων μεγάλης κλίμακας ευκολότερη και να δώσει στις εταιρείες τη δυνατότητα για επιπλέον επιχειρηματική ευφυΐα. Σε αυτή τη διπλωματική εργασία αναλύουμε πρώτα το γενικό υπόβαθρο των δεδομένων μεγάλης κλίμακας και ελέγχουμε τις σχετικές τεχνικές και εργαλεία όπως το Hadoop και το Spark. Στη πορεία αναλύουμε το υπόβαθρο του υπολογιστικού νέφους και προσπαθούμε να καθορίσουμε το Big Data as a Service, που είναι το νέο σημαντικό θέμα συζήτησης στο υπολογιστικό νέφος. Επίσης παρουσιάζουμε ολοκληρωμένες λύσεις διαχείρισης των δεδομένων μεγάλης κλίμακας σε περιβάλλον υπολογιστικού νέφους που προσφέρονται από δύο μεγάλες εταιρείες. Τέλος προσπαθούμε να κάνουμε μια σύγκριση του τοπικού περιβάλλοντος και του υπολογιστικού νέφους για τα εργαλεία των δεδομένων μεγάλης κλίμακας.