Αξιολόγηση πολυμεσικού μαθησιακού υλικού με εφαρμογή της θεωρίας απόκρισης ερωτήματος (IRT) σε συστήματα ηλεκτρονικής μάθησης

Abstract

Βασικός στόχος της παρούσας διατριβής είναι ο σχεδιασμός και η ανάπτυξη ενός μεθοδολογικού και αρχιτεκτονικού πλαισίου για την ενσωμάτωση ενός εργαλείου ανάλυσης βασισμένου στη Θεωρία Απόκρισης Ερωτήματος (Item Response Theory - IRT) σε ένα σύστημα ηλεκτρονικής μάθησης, αποσκοπώντας στη διασφάλιση της υψηλής ποιότητας των τεστ αυτοαξιολόγησης και την αποτελεσματική επαναχρησιμοποίηση των καταλληλότερων από τις ερωτήσεις τους. Συγκεκριμένα, περιγράφεται μια εύχρηστη μεθοδολογία ερμηνείας και αξιοποίησης των αποτελεσμάτων της ανάλυσης IRT από τον εκάστοτε δημιουργό πολυμεσικού μαθησιακού υλικού, ανεξαρτήτως του επιπέδου γνώσεων στατιστικής που κατέχει. Η μεθοδολογία αυτή εφαρμόζεται στο αναβαθμισμένο σύστημα ηλεκτρονικής μάθησης και δοκιμάζεται με επιτυχία σε πραγματικές συνθήκες, αναδεικνύοντας προβληματικές ερωτήσεις η αφαίρεση των οποίων βελτίωνε; το εκάστοτε τεστ. Με σκοπό την εκτίμηση αξιοπιστίας των προαναφερθέντων αποτελεσμάτων, ορίζονται τέσσερις στατιστικοί δείκτες εκτίμησης ποιότητας που υπολογίζονται σε πλήθος συνδυασμών μεγέθους τεστ, κατανομής ικανοτήτων και αριθμού εξεταζομένων. Οι προκύπτουσες τιμές είναι ιδιαίτερα ενθαρρυντικές, καθώς αποδεικνύουν ότι η προτεινόμενη μεθοδολογία μπορεί να χρησιμοποιηθεί αποτελεσματικά ακόμα και σε συνθήκες ακαδημαϊκών μαθημάτων με μικρό δείγμα εξεταζομένων.

The scope of this thesis is to provide a methodological and architectural framework which embeds in a Learning Management System (LMS) a user-friendly analysis tool based in Item Response Theory (IRT) in order to maintain a high level of quality in the self-assessment tests and help test developers decide whether a test item can be reused as is, should be revised before reuse or should be taken out of the active stem pool. Additionally, it introduces a comprehensible way to present IRT analysis results without delving into unnecessary details. Instead of memorizing numerous commands and scenarios from technical manuals, test developers can easily detect problematic questions from the familiar user interface of a LMS. Finally, this thesis uses introduces four quality indices as a means to evaluate the accuracy of the IRT analysis and provide test developers with a success rate of detecting potentially flawed items, thus proving that when used appropriately by a LMS, IRT can improve the assessment quality, increase the efficiency of the testing process, and provide in-depth descriptions of item and test properties.