Παράλληλοι αλγόριθμοι εξόρυξης γνώσης από βάσεις δεδομένων με τεχνητά νευρωνικά δίκτυα και μηχανές διανυσμάτων υποστήριξης.

Abstract

Οι κυριότερες τεχνικές data mining συμπεριλαμβάνουν αλγορίθμους για εξόρυξη κανόνων συσχετίσεων, κατηγοριοποίηση, συσταδοποίηση, αναζήτηση ακολουθιακών προτύπων. Με τη διαθεσιμότητα της ανέξοδης αποθήκευσης και την πρόοδο στην τεχνολογία συλλογής δεδομένων, πολλοί οργανισμοί και ινστιτούτα έχουν δημιουργήσει εξαιρετικά μεγάλες βάσεις δεδομένων και αποθήκες δεδομένων. Στο πεδίο του parallel data mining εμφανίζονται νέες πολυπλοκότητες επειδή ενσωματώνονται οι τεχνικές εξόρυξης γνώσης και οι αλγόριθμοι με τις παράλληλες βάσεις δεδομένων, τον παράλληλο προγραμματισμό, και τα κατανεμημένα συστήματα υψηλών επιδόσεων. Η παράλληλη εξόρυξη γνώσης από δεδομένα επιβάλλει πολλές προκλήσεις, όπως αποδοτικές παράλληλες εκδόσεις των υπαρχόντων σειριακών αλγορίθμων, παραλληλισμός Inter-Model και Intra-Model, παραλληλισμός για δοκιμές και επικύρωση μοντέλων εξόρυξης, παραλληλισμός στην έρευνα για το καλύτερο μοντέλο, παραλληλισμός στην εφαρμογή και αξιοποίηση του μοντέλου εξόρυξης. Για τη διερεύνηση των προκλήσεων της παράλληλης εξόρυξης γνώσης χρησιμοποιούμε τα μοντέλα τεχνητών νευρωνικών δικτύων όπως τα Radial Basis Functions Neural Networks (RBFNN), τα Probabilistic Neural Networks (PNN), τα General Regression Neural Networks (GRNN) και οι Support Vector Machines (SVM) που υλοποιούνται με παράλληλους αλγορίθμους για επεξεργαστές κατανεμημένης μνήμης. Ο παραλληλισμός αλγορίθμων των RBFNN, PNN, GRNN, και SVM σε γλώσσα C και το πρότυπο MPI αποδείχθηκε αποτελεσματικός με σχεδόν γραμμικές επιταχύνσεις στις περισσότερες των περιπτώσεων, κυρίως λόγω του μικρού κόστους επικοινωνίας μεταξύ των διεργασιών, ως αποτέλεσμα του batch training. Δοκιμάσαμε αρχιτεκτονικές data parallel, neuron parallel, Pipeline και hybrid-session parallel, με στατική και δυναμική ισοκατανομή φόρτου εργασίας. Δοκιμάσαμε παραλληλισμό της διαδικασίας εκπαίδευσης με μεγάλα σύνολα εκπαίδευσης και δοκιμής από τις βάσεις δεδομένων. Όλοι οι ταξινομητές που εξετάσαμε PNN, GRNN, RBF και SVM χρησιμοποιούν συναρτήσεις πυρήνα (kernels) που έχουν παραμέτρους εύρους. Αυτές οι παράμετροι, που επηρεάζουν τη ικανότητα του κάθε ενός δικτύου να διακρίνει ανάμεσα σε διαφορετικές κλάσεις, βελτιστοποιούνται κατά τη διαδικασία εκμάθησης.