Ανάλυση μεγάλων δεδομένων με χρήση εργαλείων εξόρυξης δεδομένων : η περίπτωση μιας εφαρμογής υποστήριξης αποφάσεων εκλογικής ψήφου.

Abstract

Στα πλαίσια της παρούσας εργασίας αναλύουμε τα δεδομένα της διαδικτυακής εφαρμογής helpmevote.gr που αφορούν στην περίοδο πριν τις εκλογές του Ιανουαρίου 2015, με τεχνικές εξόρυξης γνώσης από αποθετήρια big data με βασικό στόχο την εξαγωγή χρήσιμης πληροφορίας και συμπερασμάτων ως προς τις συμπεριφορές του εκλογικού σώματος, τα στοιχεία που μπορεί να δώσει για την κοινωνική διάσταση των συμμετεχόντων (αντίληψη, προδιάθεση, στάσεις και συμπεριφορές) και συσχετίσεις μεταξύ των μεταβλητών. Ο προβληματισμός γύρω από τη χρήση των big data και την αξιοποίηση τους, γίνεται όλο και εντονότερος τα τελευταία χρόνια και έχει να κάνει με τη χρησιμότητά τους και τα παραπάνω στοιχεία τα οποία αυτά μπορούν να δώσουν στους ερευνητές και να επιστρέψουν στην κοινωνία σαν χρήσιμα στοιχεία παρατήρησης της ανθρώπινης και κοινωνικής συμπεριφοράς, με σκοπό είτε να εντοπίζονται αμεσότερα καταστάσεις που ίσως χρειάζονται μία άμεση παρέμβαση είτε απλά για παρατήρηση στα οξύμωρα της κοινωνίας και της κοινωνικής συμπεριφοράς, παραδείγματος χάρη σε επίπεδο πεποιθήσεων και αντιλήψεων τα οποία «σπάνε» κατεστημένα και πρότυπα έτσι όπως τα είχαμε έως τώρα δεδομένα. Για την ανάλυση του μεγάλου όγκου δεδομένων της εφαρμογής και την ανακάλυψη ενδεχόμενης ενδιαφέρουσας πληροφορίας, εφαρμόστηκαν τεχνικές εξόρυξης δεδομένων (data mining) με τη χρήση του λογισμικού Weka και πιο αναλυτικά εφαρμόστηκαν κανόνες συσχέτισης, δοκιμάστηκαν διάφοροι αλγόριθμοι κατηγοριοποίησης, έγινε προσπάθεια απεικόνισης των δεδομένων σε δενδροείδη μορφή και φυσικά οπτική αναπαράσταση των πληροφοριών. Η οπτική αναπαράσταση των πληροφοριών στο προεπιλεγμένο πρόγραμμα το Weka ήταν σχετικά φτωχή, οπότε αξιοποιήθηκε ακόμα ένα πρόγραμμα το οποίο εξειδικεύεται στην οπτική αναπαράσταση πληροφορίας το Tableau, όπου με πολύ απλούς τρόπους συσχετίστηκαν οπτικά μεταβλητές με σκοπό την εξαγωγή συμπεράσματος. Η όλη εργασία εξελίχθηκε σε οκτώ κεφάλαια. Στο πρώτο κεφάλαιο γίνεται μία παρουσίαση των ορισμών και των τύπων των big data, στο δεύτερο γίνεται λόγος για το data mining μεθόδους και τεχνικές που χρησιμοποιούνται σήμερα, στο τρίτο κεφάλαιο γίνεται εξειδικευμένη αναφορά στις data mining τεχνικές για big data, στο τέταρτο έχουμε την παρουσίαση της εφαρμογής helpmevote.gr. Στο 5ο κεφάλαιο παρουσιάσαμε το λογισμικό Weka στο 6 παρουσιάζεται η δημιουργία μοντέλου κατηγοριοποίησης με χρήση αλγόριθμου επιβλεπόμενης μηχανικής μάθησης με τη χρήση του Weka. Στο έβδομο κεφάλαιο πραγματοποιήσαμε την οπτική αναπαράσταση των αποτελεσμάτων με το Weka και με το Tableau και στο 8ο συζητήσαμε τα συμπεράσματα της εργασίας.

In this thesis, we analyze data from the “helpmevote.gr” web application that were gathered in the period before the January 2015 elections, using data mining techniques for big data analysis in our efforts to mine useful information and draw valuable conclusions concerning the voters actions and beliefs, knowledge that can be gained about the social aspect of the participants (beliefs, predisposition, conducts and actions) and correlation of the variables. The challenge of big data and the discussion on their use have intensified during the last few years concerning useful information for researchers, society and societal and human behavior overall, so that all issues can be addressed on time or just for recognizing patterns, breaking stereotypes and other beliefs. For the analysis of the big data gathered from the “helpmevote” application, and the revelation of interesting information, data mining techniques were implemented using the Weka software, association rules were applied, classification algorithms were tested, decision trees were produced, and the relevant visualizations were produced. The visualizations using the Weka software were relatively limited, so another program, Tableau, dedicated to visualizing relevant info was used. In a very simple manner, all interesting variables were correlated and visually expressed in order to draw valid and meaningful conclusions. The whole thesis has eight chapters. In the first chapter, we present the big data definition and types. In the second chapter, we discuss the contemporary data mining techniques. In the third, we present the dedicated data mining techniques for big data analysis. In the fourth chapter, we present and analyze the “helpmevote” web application. In the fifth chapter, we present the Weka software. In the sixth, we present mining techniques for our case of a voting decision support application analysis using Weka. In the seventh chapter, we present the visualization of the variables discussed using the Weka and the Tableau software. Concluding, the eight section is dedicated to addressing our results.