Συμβολή στην αναγνώριση και έντυπη αναπαραγωγή της Ελληνικής Νοηματικής Γλώσσας

Abstract

Σε αυτή τη διδακτορική διατριβή παρουσιάζεται ένα σύστημα αναγνώρισης της Ελληνικής Νοηματικής Γλώσσας από εικόνες video. Ένα διάνυσμα χαρακτηριστικών εξάγεται από κάθε εικόνα video με υπολογισμό ιδιοτήτων της χειρομορφής. Το σύστημα αποτελείται από δύο επιμέρους υποσυστήματα. Το πρώτο αναγνωρίζει λέξεις και προτάσεις που σχηματίζονται με το δακτυλικό αλφάβητο της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ) χρησιμοποιώντας Κρυμμένα Μαρκοβιανά Μοντέλα (HMMs), καθένα από τα οποία μοντελοποιεί ένα γράμμα του δακτυλικού αλφαβήτου. Το δεύτερο υποσύστημα μοντελοποιεί λέξεις του δακτυλικού αλφαβήτου και νεύματα, αναπαριστώντας κάθε λέξη και νεύμα με ένα HMM. Στην τελευταία περίπτωση πετυχαίνεται από το ίδιο σύστημα η αναγνώριση δύο διαφορετικού τύπου δεδομένων -54 λέξεων του δακτυλικού αλφαβήτου και 14 νευμάτων- με πολύ καλά ποσοστά αναγνώρισης. Η αναγνώριση αφορά τόσο σε μεμονωμένα νεύματα και λέξεις, όσο και σε συνεχόμενα νεύματα και / ή λέξεις. Η αναγνώριση δύο διαφορετικού τύπου δεδομένων ακόμα και στην ίδια πρόταση συνιστά μια σημαντική πρωτοτυπία της διατριβής.

A Greek Sign Language recognition system is presented in this thesis. Data are obtained from video frames. A feature vector is extracted from each video frame by using geometrical properties of the hand morph. The system consists of two subsystems. The first one recognizes words and phrases that are constituted of Greek Sign Language alphabet letters. Each letter is modelled by a Hidden Markov Model (HMM). The second subsystem recognizes both words made up from Greek Sign Language alphabet letters and also signs. Each word and sign is modelled by a different HMM. Fifty four words and fourteen signs are recognized in both isolated and continuous recognition terms, giving high recognition results. The system can be easily extended by adding new words or signs. Grammars and dictionaries have been used to improve system's performance. One of the system's originalities is its ability to recognize two different types of data, Greek sign language alphabet words and signs, which can appear in the same phrase.