Συγκριτική μελέτη αλγορίθμων βελτιστοποίησης σε python για την εύρεση αρχιτεκτονικών νευρωνικών δικτύων

Abstract

Η συνεχής ανάπτυξη του τομέα του Deep Learning έχει οδηγήσει σε εντυπωσιακές εφαρμογές νευρωνικών δικτύων αλλά και την αυτοματοποίηση διαδικασιών σε διάφορους τομείς. Μέχρι πρότινος, η σχεδίαση αρχιτεκτονικών νευρωνικών δικτύων ήταν μία διαδικασία που υλοποιούταν χειροκίνητα από εξειδικευμένους και καταρτισμένους επαγγελματίες. Η ανάδυση του ερευνητικού πεδίου της Αναζήτησης Αρχιτεκτονικών Νευρωνικών Δικτύων έρχεται να αντιμετωπίσει το πρόβλημα της αυτοματοποίησης της εύρεσης καλών αρχιτεκτονικών για νευρωνικά δίκτυα. Σε αυτή τη μελέτη, ξεκινάμε με τη χρήση της Ενισχυτικής Μάθησης για την Αναζήτηση Αρχιτεκτονικών Νευρωνικών Δικτύων, αξιοποιώντας τον αλγόριθμο Deep Q-Learning. Έπειτα, συνεχίζουμε την έρευνά μας με την υλοποίηση ενός εξελικτικού αλγορίθμου. Τέλος, χρησιμοποιούμε ένα σύγχρονο εργαλείο για τη γλώσσα προγραμματισμού Python, το οποίο περιλαμβάνει υλοποιήσεις μεθευρετικών αλγορίθμων, με σκοπό να διεξάγουμε πειράματα και να συγκρίνουμε τρεις από αυτούς τους αλγορίθμους: Ant Colony Optimization, Particle Swarm Optimization και Artificial Bee Colony. Για να επισπεύσουμε τα πειράματά μας, χρησιμοποιούμε μερικά από τα πιο πρόσφατα ευρήματα στον κλάδο αυτό, όπως το σύνολο σημείων αναφοράς NASBench-101. Μέσω της έρευνάς μας, θα αξιολογήσουμε τις επιδόσεις των αλγορίθμων, θα τους συγκρίνουμε μεταξύ τους και με την Τυχαία Αναζήτηση και θα αναλύσουμε τις δυνάμεις αλλά και ανεπάρκειές τους.