Χρήση map-reduce/hadoop για την ανάλυση κυκλοφορικών δεδομένων μεγάλου όγκου

Abstract

Στην παρούσα διπλωματική εργασία αναλύονται κυκλοφοριακά δεδομένα μεγάλου όγκου με την χρήση του προγραμματιστικού μοντέλου MapReduce και του οικοσυστήματος το Hadoop. Βασικός στόχος της εργασίας είναι ο υπολογισμός των τιμών όπως η ταχύτητα των κινούμενων οχημάτων, ο όγκος των οχημάτων και οι χρόνοι ταξιδιού, που βοηθούν στην αποτίμηση της κυκλοφοριακής κατάστασης μια πόλης. Η κυκλοφορική συμφόρηση, είναι μια κυκλοφοριακή κατάσταση η οποία είναι εξαιρετικά επιβλαβής τόσο για την ψυχική όσο και για την σωματική υγεία του ανθρώπου. Επιπλέον, η κυκλοφοριακή συμφόρηση έχει ένα τεράστιο κόστος στην οικονομία. Συνεπώς η οποιαδήποτε πληροφόρηση για τις τρέχουσες κυκλοφοριακές συνθήκες είναι εξαιρετικά χρήσιμη. Στην εν λόγω διπλωματική εργασία χρησιμοποιήθηκαν δεδομένα που αφορούν την πόλη της Θεσσαλονίκης. Τα δεδομένα αυτά είναι δεδομένα μεγάλου όγκου τα οποία εμπεριέχουν και γεωγραφική πληροφορία. Τα δυο αυτά χαρακτηριστικά των δεδομένων είναι βασικά και όρισαν τις μεθόδους που χρησιμοποιούνται, καθώς και το θεωρητικό υπόβαθρο που παρουσιάζεται. Επιπρόσθετα, πρέπει να αναφερθεί ότι τα δεδομένα είναι τόσο δεδομένα ιστορικού όσο και δεδομένα πραγματικού χρόνου. Αρχικά χρησιμοποιήθηκε το σύστημα αρχείων του Hadoop το οποίο είναι το HDFS, για να αποθηκευτούν τα δεδομένα μεγάλου όγκου που ανακτήθηκαν. Στην συνέχεια γίνεται η επεξεργασία των γεωχωρικών δεδομένων της εφαρμογής τα οποία στην συνέχεια εισάγονται στο προγραμματιστικό μοντέλο του MapReduce όπου λαμβάνουν χώρα όλοι οι υπολογισμοί των τιμών που αναφέρονται παραπάνω. Μετά το πέρας του προγραμματιστικού μοντέλου του MapReduce οι υπολογισμένες τιμές αποθηκεύονται σε μια σχεσιακή βάση δεδομένων. Επιπλέον, δημιουργούνται κυκλοφοριακά προφίλ παρόμοιων χρονικών περιόδων για τα δεδομένα πραγματικού χρόνου. Το τελικό αποτέλεσμα της παρούσας, είναι μία διαδικτυακή πύλη όπου εκεί τα δεδομένα που υπολογίστηκαν παρουσιάζονται κατηγοριοποιημένα και παρέχεται πληροφόρηση για τις κυκλοφοριακές συνθήκες τόσο για τις τρέχουσες όσο και για τις παρελθοντικές χρονικές στιγμές.