Ενώ τα Μεγάλα Γλωσσικά Μοντέλα (LLM) έχουν επιτύχει σχεδόν άριστη απόδοση στην επίλυση μαθηματικών προβλημάτων λυκείου, η ικανότητά τους να αξιολογούν τις ποικίλες διαδικασίες συλλογισμού πραγματικών ανθρώπινων μαθητών παραμένει ανεπαρκώς εξετασμένη.
Για να γεφυρωθεί αυτό το χάσμα, εισάγεται το RealMath-Eval, ένα αυστηρά σχολιασμένο σημείο αναφοράς που περιλαμβάνει 224 πραγματικές απαντήσεις εξετάσεων από λύκεια.
Η αρχική αξιολόγηση αποκαλύπτει ότι ακόμη και οι πιο προηγμένοι κριτές LLM αντιμετωπίζουν σημαντικές δυσκολίες σε αυτή την εργασία, παρουσιάζοντας ένα υψηλό Μέσο Τετραγωνικό Σφάλμα (MSE) της τάξης του $sim$2.96 σε σύγκριση με την αξιολόγηση ειδικών ανθρώπων.
Προκειμένου να διερευνηθεί μια εύλογη εξήγηση, αυτή η απόδοση αντιπαραβάλλεται με ένα περιβάλλον ελέγχου, όπου οι ίδιοι κριτές αξιολογούν συνθετικές λύσεις που έχουν παραχθεί από LLM. Εντοπίζεται ένα έντονο «Κενό Αξιολόγησης»: οι κριτές είναι σημαντικά πιο ακριβείς και συνεπείς σε συνθετικό κείμενο (MSE $sim$1.17), αλλά δυσκολεύονται να γενικεύσουν τον αυθεντικό συλλογισμό των μαθητών.
Μέσω ανάλυσης σημασιολογικής ενσωμάτωσης, διαπιστώνεται ότι τα συνθετικά σφάλματα υποφέρουν από μια «δομική κατάρρευση» σε προβλέψιμους, χαμηλής διάστασης γραμμικούς υποχώρους, ενώ τα ανθρώπινα σφάλματα διαμορφώνουν έναν πιο ποικιλόμορφο χώρο σφαλμάτων.
Επιπλέον, ανιχνευτές γενετικής πιθανότητας υποδεικνύουν ότι ο ανθρώπινος συλλογισμός περιλαμβάνει σημαντικά υψηλότερη πληροφοριακή έκπληξη, γεγονός που υποδηλώνει ότι οι μεταβάσεις στον συλλογισμό των μαθητών είναι περισσότερο εκτός κατανομής για τα τρέχοντα μοντέλα.
Τέλος, διαπιστώνεται ότι η μεταφορά στυλ επιφανειακού επιπέδου αποτυγχάνει να κλείσει αυτό το χάσμα. Τα ευρήματα υποδηλώνουν ότι οι τρέχουσες διαδικασίες αξιολόγησης των LLM, οι οποίες βασίζονται σε μεγάλο βαθμό σε συνθετικά δεδομένα, ενδέχεται να μην συλλαμβάνουν επαρκώς την ποικιλομορφία του αυθεντικού μαθηματικού συλλογισμού των μαθητών.
