Decision making in multiplayer environments: application in backgammon variants

Abstract

Tesauro’s TD-Gammon was the first major success of machine learning and artificial intelligence in general, when it demonstrated world-class performance against the human backgammon champion of that time. Even more impressively, the method used required little expert knowledge, relying on self-playing and training neural networks using reinforcement learning. However, apart from standard backgammon, several – yet unexplored – variants of the game exist, which use the same board, number of checkers and dice, but have different rules for moving the checkers, starting positions or movement direction. In this thesis we focus our research on three such popular variants in Greece and neighboring countries, named Portes, Plakoto, and Fevga (collectively called Tavli). Motivated by the successful methods of TD-Gammon, we extend and devise new reinforcement learning methods for building artificial intelligent agents and show that expert-level play can also be achieved in these games. All the resulting agents created in this thesis are packaged in a freely available program, PALAMEDES, where everyone can play against the AI. To test the effectiveness of our approach, PALAMEDES participated in two backgammon Computer Olympiads, in 2011 and 2015, with opponents some of the best backgammon-playing programs in the world, emerging victorious in both of them. Additionally, we used the trained agents and self-play experiments to analyze key characteristics of these games for the first time, identifying one major flaw in the Fevga variant. The resulting statistics are then used to devise better strategies when playing in a match setting. Finally, in order to facilitate later research efforts, we devised a framework called bcdGammon for reducing/extending the complexity of backgammon games, preserving the key characteristics of the originals.

Το πρόγραμμα TD-Gammon του Tesauro ήταν η πρώτη μεγάλη επιτυχία της μηχανικής μάθησης και της τεχνητής νοημοσύνης γενικότερα, όταν επέδειξε απόδοση παγκόσμιας κλάσης εναντίον του παγκόσμιου πρωταθλητή του ταβλιού (backgammon) εκείνη την εποχή. Ακόμη, το πιο εντυπωσιακό στοιχείο είναι ότι η χρησιμοποιηθείσα μέθοδος χρειάστηκε ελάχιστη γνώση από εξπέρ του είδους; βασιζόμενη μόνο στο παίξιμο με αντίπαλο τον εαυτό του και στην εκπαίδευση νευρωνικών δικτύων μέσω της ενισχυτικής μάθησης. Παρόλα αυτά, εκτός από το backgammon, υπάρχουν αρκετές ανεξερεύνητες παραλλαγές του ταβλιού που χρησιμοποιούν το ίδιο ταμπλό, αριθμό πουλιών και ζάρια, αλλά έχουν διαφορετικούς κανόνες για την κίνηση των πουλιών, διαφορετική αρχική θέση ή φορά κίνησης. Σε αυτή τη διατριβή επικεντρώνεται η έρευνα σε τρεις πολύ δημοφιλείς παραλλαγές στην Ελλάδα και γειτονικές χώρες, τις "Πόρτες", το "Πλακωτό" και το "Φεύγα", οι οποίες συγκεντρωτικά αποκαλούνται τάβλι. Εμπνεόμενοι από τις επιτυχημένες μεθόδους του TD-Gammon, επεκτείνουμε τις μεθόδους εκπαίδευσης και δημιουργούμε καινούργιες, ώστε να δημιουργηθούν πράκτορες τεχνητής νοημοσύνης που να παίζουν σε πολύ υψηλό επίπεδο τα παιχνίδια αυτά. Όλοι οι παραχθέντες πράκτορες ενσωματώνονται στο δωρέαν διαθέσιμο λογισμικό "Παλαμήδης", όπου ο καθένας μπορεί να παίξει με αντίπαλο την τεχνητή νοημοσύνη. Για να δοκιμαστεί η αποτελεσματικότητα της προσέγγισης που αναπτύχθηκε, ο Παλαμήδης συμμετείχε σε δύο Ολυμπιάδες Υπολογιστών στο παιχνίδι του ταβλιού, και με αντιπάλους μερικά από τα καλύτερα προγράμματα ταβλιού παγκοσμίως, κατάφερε να κερδίσει την πρώτη θέση και το χρυσό μετάλλιο και τις δύο φορές. Επιπρόσθετα, οι εκπαιδευμένοι πράκτορες χρησιμοποιήθηκαν σε συνδυασμό με προσομοιώσεις Monte-Carlo, έτσι ώστε να αναλυθούν για πρώτη φορά κάποια σημαντικά χαρακτηριστικά των παιχνιδιών, εντοπίζοντας ένα σημαντικό μειονέκτημα στο “Φεύγα”. Τα παραχθέντα στατιστικά χρησιμοποιήθηκαν για να ευρεθούν στρατηγικές παιξίματος σε συνθήκες ματς. Τέλος, προκειμένου να διευκολυνθούν μελλοντικές ερευνητικές προσπάθειες, επινοήθηκε ένα πλαίσιο που ονομάζεται bcdGammon για τη μείωση / αύξηση της πολυπλοκότητας των παιχνιδιών ταβλιού.