Αξιοποίηση τεχνολογιών αναγνώρισης χειρονομιών στη διαχείριση κινητικών δεξιοτήτων: αισθητηριοκινητική ανάδραση ως μηχανισμός παιχνιδοποίησης

Abstract

Η παρούσα διδακτορική διατριβή παρουσιάζει ένα πρωτότυπο μεθοδολογικό πλαίσιο για την αξιοποίηση της τεχνολογίας αναγνώρισης χειρονομιών στον τομέα της διαχείρισης μίας δεξιοτεχνίας εστιάζοντας στην κινητική δεξιότητα και στην εκμάθηση δεξιοτεχνικών χειρονομιών. Ετσι οι τεχνολογίες σύλληψης κινήσεων, εκπαίδευσης μηχανής και αναγνώρισης χειρονομιών (Κρυφά Μαρκοβιανά Μοντέλα και Δυναμική Περιτύλιξη Χρόνου) χρησιμοποιούνται για την καταγραφή, ανάλυση και μοντελοποίηση των χειρονομιών η οποία επικυρώνεται από την ικανότητα της μηχανής να τις αναγνωρίσει. Για την αξιοποίηση αυτών των τεχνολογιών στη μετάδοση της γνώσης μελετάται η «δια ζώσης» μάθηση, οι αρχές που διέπουν τη σχέση και την αλληλεπίδραση δασκάλου/μαθητή. Με βάση τα συμπεράσματα που προκύπτουν από αυτήν την μελέτη προτείνεται ένα σύστημα εκπαιδευτικού χαρακτήρα, το οποίο συγκρίνει τη χειρονομία του μαθητή με τη χειρονομία μοντέλο του δασκάλου, και εντοπίζοντας τις διαφορές ως προς τις αποστάσεις των χεριών τους, παρέχει αισθητηριοκινητική ανάδραση στον μαθητή. Ενεργοποιεί την όραση και την ακοή του, τον καθοδηγεί, ενισχύει το κίνητρό του και υποστηρίζει έτσι την αυτοεξάσκηση. Η ανάλυση της επίδοσης των μαθητών με και χωρίς τη χρήση του συστήματος ανέδειξε το δυναμικό και τη θετική συμβολή που μπορεί να έχει στην μάθηση κινητικών δεξιοτήτων.

This Phd study presents a prototype methodological framework for the valorization of gesture recognition technologies in the field of know-how management focusing of the learning of expert gestures. Motion capture and recognition technologies are used together with machine learning (Hidden Markov Models, Dynamic Time Warping) for the recording, the analysis and modeling of gestures that is confirmed by machine's ability to recognize the gestures. For the valorization of these technologies in know-how management, the “in-person” transmission and the relations and interactions between the expert/master and the apprentice are studied. Based on the conclusions from this study a learning system is proposed, comparing apprentice's gesture with expert's model and identifying the differences concerning hands' distance. This system them guides the learner in the performance of the gesture providing a sensorimotor feedback. It activates his vision and hearing, reinforces his motivation and supports self-trainings.The analysis of learners' performance with and without the use of the system revealed the potential and the positive contribution that this system could have in the learning of expert gestures.