arXiv:2605.02241v2 Τύπος Ανακοίνωσης: αντικατάσταση
Η αξιοπιστία εκτίμησης της ορθότητας από ένα μικρό γλωσσικό μοντέλο καθορίζει τη δυνατότητα δρομολόγησης από τοπικό σε υπολογιστικό νέφος – κλιμακώνοντας ερωτήματα που ένα φθηνό τοπικό μοντέλο δεν μπορεί να χειριστεί – χωρίς επιβλεπόμενα δεδομένα εκπαίδευσης.
Δεδομένου ότι το κόστος συμπερασματολογίας κυριαρχεί στους προϋπολογισμούς ανάπτυξης μεγάλων γλωσσικών μοντέλων (LLM), η δρομολόγηση των περισσότερων ερωτημάτων σε ένα φθηνό τοπικό μοντέλο, με τις ακριβές κλήσεις στο cloud να προορίζονται για δύσκολες περιπτώσεις, αποτελεί κοινή στρατηγική ελέγχου κόστους.
Η έρευνα συγκρίνει σήματα εμπιστοσύνης μηδενικής εκπαίδευσης (zero-shot) με επιβλεπόμενες βασικές γραμμές τύπου RouteLLM, σε τρεις οικογένειες μοντέλων 7-8B και δύο σύνολα δεδομένων (1.000 και 500 ερωτήματα ανά μοντέλο, αντιστοίχως).
Η μέση λογαριθμική πιθανότητα διακριτικού (token log-probability), η οποία δεν απαιτεί δεδομένα εκπαίδευσης, ισοδυναμεί ή υπερβαίνει τις επιβλεπόμενες βασικές γραμμές εντός της κατανομής (AUROC 0.650-0.714 έναντι 0.644-0.676) και τις ξεπερνά σημαντικά εκτός κατανομής (0.717-0.833 έναντι 0.512-0.564), διότι μετρά μια ιδιότητα της παραγωγής του μοντέλου και όχι την κατανομή των ερωτημάτων.
Επιπλέον, η μελέτη προτείνει την αυτοαξιολόγηση υπό συνθήκες ανάκτησης (retrieval-conditional self-assessment), ένα σήμα προ-παραγωγής που εισάγει επιλεκτικά ανακτημένη γνώση σε υψηλή ομοιότητα, βελτιώνοντας την απλή αυτοαξιολόγηση κατά +0.069 AUROC με 3-10 φορές χαμηλότερη καθυστέρηση από τη λογαριθμική πιθανότητα.
Μια επιβλεπόμενη βασική γραμμή, εκπαιδευμένη σε 1.000 επισημασμένα παραδείγματα, δεν ξεπερνά ποτέ το σήμα μηδενικής εκπαίδευσης.
Ο κώδικας, τα δεδομένα και τα αρχεία καταγραφής των πειραμάτων έχουν δημοσιευθεί.
