Evaluating acceleration techniques for candidate evaluation in genetic neural architecture search

Abstract

Deep learning has developed remarkably over the last few years due to the massive improvement of computational systems as well as the fact that the volume of available data for training deep neural networks has increased significantly. In order for deep learning techniques to succeed, appropriate neural network architectures need to be selected. The process of selecting a neural network architecture is typically performed by trial and error, which is a process that requires time, knowledge of the field and is likely to lead to errors when performed by humans. Furthermore, it may exclude architectures that have not yet been used for the desired task, but would have been capable of achieving great performance. The field of neural architecture search has therefore been developed as a means of tackling the aforementioned difficulties by automatically producing optimal neural network architectures. Neural architecture search requires the use of candidate evaluation techniques in order to assess the quality of the architectures that are generated during the search procedure and thus guide the algorithm to select the best architectures within the chosen search space. As the process of candidate evaluation is usually time-consuming and requires access to adequate computational power, there is increasing interest in reducing the time and computational requirements of candidate evaluation. This thesis focuses on the evaluation of acceleration techniques for evolutionary neural architecture search. The overall aim of this thesis is to examine the use of various acceleration techniques for candidate evaluation and assess their impact on the search procedure and on the quality of the produced architectures.

Η βαθιά μηχανική μάθηση έχει γνωρίσει σημαντική ανάπτυξη τα τελευταία χρόνια λόγω της εξέλιξης των υπολογιστικών συστημάτων και του γεγονότος ότι ο όγκος των διαθέσιμων δεδομένων για εκπαίδευση των βαθιών νευρωνικών δικτύων έχει αυξηθεί σημαντικά. Προκειμένου οι τεχνικές βαθιάς μηχανικής μάθησης να επιτύχουν τους στόχους τους και να κατορθώσουν να λύσουν τα προβλήματα για τα οποία έχουν σχεδιαστεί, απαιτείται η επιλογή κατάλληλων αρχιτεκτονικών νευρωνικών δικτύων. Η επιλογή κατάλληλων αρχιτεκτονικών νευρωνικών δικτύων είναι χρονοβόρα διαδικασία και πραγματοποιείται συνήθως μέσα από μία διαδικασία δοκιμής και πλάνης η οποία απαιτεί γνώση του πεδίου εφαρμογής. Επίσης, μια τέτοια διαδικάσια είναι πιθανό να οδηγήσει σε λάθη καθώς και να αποκλείσει αρχιτεκτονικές που δεν είχαν έως τώρα χρησιμοποιηθεί για κάποιο συγκεκριμένο πρόβλημα, όμως έχουν τη δυνατότητα να ανταποκριθούν σε αυτό και να το επιλύσουν αποτελεσματικά. Για το λόγο αυτό αναπτύχθηκε το ερευνητικό πεδίο της αυτόματης αναζήτησης αρχιτεκτονικών νευρωνικών δικτύων, το οποίο στοχεύει στην ανάπτυξη τεχνικών για την ανακάλυψη βέλτιστων αρχιτεκτονικών νευρωνικών δικτύων. Οι τεχνικές αναζήτησης αρχιτεκτονικών νευρωνικών δικτύων απαιτούν τη χρήση κάποιων μεθόδων για την αξιολόγηση των παραγόμενων αρχιτεκτονικών κατά τη διάρκεια της διαδικασίας της αναζήτησης προκειμένου ο μηχανισμός αναζήτησης να καθοδηγηθεί προς τις αρχιτεκτονικές με την καλύτερη συμπεριφορά εντός του χώρου αναζήτησης που έχει επιλεχθεί. Η διαδικασία της αξιολόγησης των παραγόμενων αρχιτεκτονικών χρειάζεται συνήθως αρκετό χρόνο και υπολογιστικούς πόρους, καθώς βασίζεται στην εκπαίδευση των παραγόμενων αρχιτεκτονικών πάνω σε ένα προκαθορισμένο σύνολο δεδομένων. Προκειμένου η διαδικασία της αναζήτησης να επιταχυνθεί, η ερευνητική κοινότητα έχει στραφεί προς τη χρήση τεχνικών για την επιτάχυνση της αξιολόγησης των παραγόμενων αρχιτεκτονικών. Η διπλωματική αυτή εστιάζει στη χρήση τεχνικών επιτάχυνσης της αξιολόγησης των αρχιτεκτονικών που παράγονται κατά τη διαδικασία της αυτόματης αναζήτησης και έχει ως στόχο την αξιολόγηση διάφορων τεχνικών επιτάχυνσης και την εκτίμηση του αντικτύπου που έχουν αυτές στη διαδικασία της αναζήτησης και στην ποιότητα των παραγόμενων αρχιτεκτονικών.