Η ορθή ανάλυση μαθηματικών τύπων από αρχεία PDF είναι κρίσιμη για την εκπαίδευση μεγάλων γλωσσικών μοντέλων και τη δημιουργία επιστημονικών βάσεων γνώσης. Ωστόσο, τα υφιστάμενα σημεία αναφοράς είτε παραλείπουν τους τύπους είτε στερούνται σημασιολογικών μετρικών αξιολόγησης.
Παρουσιάζεται ένα πλαίσιο αξιολόγησης βασισμένο σε συνθετικά PDF με ακριβή δεδομένα αναφοράς LaTeX, επιτρέποντας συστηματικό έλεγχο διάταξης, τύπων και χαρακτηριστικών περιεχομένου.
Για την αξιολόγηση, εφαρμόζεται η μέθοδος «LLM-ως-κριτής» (LLM-as-a-judge) για την εκτίμηση της σημασιολογικής ισοδυναμίας των αναλυμένων τύπων, συλλαμβάνοντας το μαθηματικό νόημα πέρα από τις επιφανειακές διαφορές σημειογραφίας.
Η προσέγγιση επικυρώθηκε μέσω ανθρώπινης μελέτης (250 ζεύγη τύπων, 750 αξιολογήσεις από 30 αξιολογητές), επιδεικνύοντας συντελεστή συσχέτισης Pearson r=0.78 με την ανθρώπινη κρίση, έναντι r=0.34 για αντιστοίχιση χαρακτήρων (CDM) και r~0 για ομοιότητα κειμένου.
Μια ανθεκτική, διφασική διαδικασία αντιστοίχισης, που συνδυάζει εξαγωγή βάσει LLM με ασαφή επικύρωση, ευθυγραμμίζει αξιόπιστα τους αναλυμένους τύπους με τα δεδομένα αναφοράς, παρά τις ασυνέπειες μορφοποίησης μεταξύ των αναλυτών.
Η αξιολόγηση άνω των 20 σύγχρονων αναλυτών PDF σε 100 συνθετικά έγγραφα με πάνω από 2.000 τύπους αποκάλυψε σημαντικές διαφορές στην απόδοση, προσφέροντας πρακτική καθοδήγηση για την επιλογή αναλυτών σε περαιτέρω εφαρμογές.
Ο κώδικας και τα δεδομένα αναφοράς είναι διαθέσιμα στις διευθύνσεις: https://github.com/phorn1/pdf-parse-bench και https://github.com/phorn1/formula-metric-study.
Πηγή: arXiv:2512.09874v2
