Μεγάλα δεδομένα προερχόμενα από κοινωνικά δίκτυα (επεξεργασία με hadoop mapReduce)

Abstract

Τα μέσα κοινωνικής δικτύωσης έχουν πλέον αποκτήσει τεράστια σημασία για τις αποφάσεις μάρκετινγκ των επιχειρήσεων. Ο τεράστιος όγκος δεδομένων που παράγεται σε καθημερινή βάση από τα κοινωνικά μέσα δεν μπορεί να διαχειριστεί πλέον με παραδοσιακούς τρόπους αποθήκευσης ,επεξεργασίας και ανάλυσης καθώς κατατάσσεται στον όρο Μεγάλα Δεδομένα. Με αυτού του είδους τα μεγάλα δεδομένα που προέρχονται από τα μέσα κοινωνικής δικτύωσης ασχοληθήκαμε και στην παρούσα διπλωματική εργασία. Στην βιβλιογραφική ανασκόπηση αναλύθηκαν οι ιδιαιτερότητες των μεγάλων δεδομένων, οι πηγές τους και τα είδη τους. Έγινε ανάλυση του λογισμικού Hadoop και των στοιχείων που το απαρτίζουν και αναφορά στους λόγους επιλογής του συγκεκριμένου λογισμικού. Στην παρούσα μελέτη εξετάστηκαν δεδομένα από το κοινωνικό δίκτυο Twitter αναφορικά με το hashtag Yahoo. Η εξόρυξη τους έγινε με την βιβλιοθήκη Get old tweets 3 της Python. Σε πρώτη φάση έγινε αποθήκευση των δεδομένων στην αποθήκη δεδομένων του Hadoop (HDFS) και στη συνέχεια έγινε wordcount των tweets που είχαμε στην κατοχή μας. Στη συνέχεια πάνω στα ήδη αποθηκευμένα δεδομένα έγινε ανάλυση συναισθήματος με σκοπό την κατανόηση της γνώμης των χρηστών του Twitter για τη συγκεκριμένη εταιρία. Η απόδοση πολικότητας συναισθήματος των tweets έγινε με τη βοήθεια του Textblob ,μια βιβλιοθήκη της python για εργασίες επεξεργασίας φυσικής γλώσσας. Τέλος παρουσιάστηκαν τα αποτελέσματα της ανάλυσης συναισθήματος και τα συμπεράσματα της μελέτης.