Αρχιτεκτονικές και αλγόριθμοι τεχνητών νευρωμικών δικτύων για την επίλυση συστημάτων γραμμικών εξισώσεων και προβλημάτων ταξινόμησης και προσαρμογής.

Abstract

Η πρόοδος που έχει σημειωθεί τα τελευταία χρόνια στον τομέα των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) και των VLSI κυκλωμάτων, μας δίνει τη δυνατότητα να σχεδιάσουμε αρχιτεκτονικές και να αναπτύξουμε αλγορίθμους εκπαίδευσης που εκμεταλλεύονται τη δυνατότητα παραλληλοποίησης που παρέχουν τα ΤΝΔ. Έτσι, σε πολλούς τομείς επιστημονικών εφαρμογών, όπως η επεξεργασία σήματος και εικόνας, ρομποτική, συστήματα αυτομάτου ελέγχου, κ.λ.π., όπου τα πιο πολλά προβλήματα αυτού του είδους καταλήγουν σε ένα σύστημα γραμμικών εξισώσεων, καθίσταται επιτακτική η εκμετάλλευση των πλεονεκτημάτων των νευρωνικών δικτύων (παραλληλοποίηση, δυνατότητα εκπαίδευσης) και των πλεονεκτημάτων των επαναληπτικών μεθόδων της Αριθμητικής Ανάλυσης (ταχύτητα, ακρίβεια της λύσης). Οι επαναληπτικές μέθοδοι της Αριθμητικής Ανάλυσης είναι πολύ εύκολο να υλοποιηθούν με τη χρήση Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ), επειδή οι πράξεις που απαιτούνται περιέχουν συνήθως πολλαπλασιασμό πίνακα επί διάνυσμα. Στόχος της παρούσης διατριβής είναι η παρουσίαση νέων αλγορίθμων εκπαίδευσης Γραμμικών Νευρωνικών Δικτύων που προσομοιώνουν κlασσικές μεθόδους της Αριθμητικής Ανάλυσης όπως είναι η μέθοδος Jacobi Extrapolated (JOR), η μέθοδος Successive OverRelaxation (SOR), η μέθοδος Richardson, η μέθοδος Richardson Gauss Seidel (RGS), μεθόδους κλιμακωτής μείωσης, όπως είναι η Optimal Steepest Descent (OSD) και μεθόδους συζυγούς κλίσης, όπως είναι η μέθοδος Polak-Ribiere και η μέθοδος Fletcher-Reeves. Αυτό γίνεται δυνατό με την προσαρμογή γνωστών αλγορίθμων εκπαίδευσης, όπως είναι οι αλγόριθμοι εκπαίδευσης των Widrow-Hoff (LMS learning) και ο αλγόριθμος Batch-LMS. Τα πλεονεκτήματα των νέων αλγορίθμων είναι η δυνατότητα παραλληλοποίησής τους, η ταχύτητα των υπολογισμών και η ακρίβεια της λύσης τους. Ο δεύτερος στόχος είναι η παρουσίαση νέων αρχιτεκτονικών, ώστε να μειωθεί το υπολογιστικό κόστος των αλγορίθμων εκπαίδευσης. Η εκπαίδευση των δικτύων αυτής της μορφής ανάγεται σε ένα πρόβλημα βελτιστοποίησης, όπου ζητείται να βρεθεί ο κατάλληλος συνδυασμός συνάψεων και παραμέτρων, έτσι ώστε η αρχιτεκτονική να παράγει την καλύτερη απεικόνιση μεταξύ των δεδομένων. Τα δίκτυα που προτείνονται με τους αντίστοιχους αλγόριθμους χρησιμοποιούνται για την επίλυση Συστημάτων Γραμμικών Εξισώσεων κάθε είδους (Τετραγωνικά, Υπερ- ορισμένα και Αόριστα), όπως επίσης και στην Αντιστροφή Πίνακα και ελέγχεται η απόδοσή τους (ταχύτητα σύγκλισης στη λύση του συστήματος και ακρίβεια της λύσης) σε σχέση με τους κλασσικούς αλγόριθμους εκπαίδευσης Γραμμικών Νευρωνικών Δικτύων, LMS και Batch-LMS. Με τη χρήση των δικτύων σαν ταξινομητών προτύπων (pattern classifiers) εξετάζεται η συμπεριφορά και η απόδοση των παραπάνω μεθόδων στην επίλυση προβλημάτων με πραγματικά δεδομένα, όπως είναι η συλλογή προβλημάτων Probenl, η οποία περιλαμβάνει προβλήματα που εφαρμόζονται στην Ιατρική, τη Γενετική και τη Βιομηχανία, από όπου εξάγονται χρήσιμα συμπεράσματα.