Τα μεγάλα γλωσσικά μοντέλα παρουσιάζουν μια δελεαστική λύση για την αντιμετώπιση της κρίσης στην αξιολόγηση ομοτίμων. Ωστόσο, η παρούσα μελέτη θέσης υποστηρίζει ότι τα σημερινά συστήματα τεχνητής νοημοσύνης δεν πρέπει να χρησιμοποιούνται για την παραγωγή αξιολογήσεων εργασιών. Η θέση αυτή βασίζεται σε μια εμπειρική σύγκριση αξιολογήσεων που δημιουργήθηκαν από ανθρώπους έναντι εκείνων που δημιουργήθηκαν από τεχνητή νοημοσύνη για το ICLR 2026, καθώς και σε μια αξιολόγηση της επίδρασης της αυτοματοποιημένης αναδιατύπωσης εργασιών σε διαφορετικούς αξιολογητές τεχνητής νοημοσύνης.
Εντοπίζονται δύο κρίσιμα ζητήματα:
- Οι αξιολογητές τεχνητής νοημοσύνης παρουσιάζουν ένα φαινόμενο “κοινού νου” υπερβολικής συμφωνίας εντός και μεταξύ των εργασιών, γεγονός που μειώνει την ποικιλομορφία των προοπτικών.
- Οι βαθμολογίες αξιολόγησης της τεχνητής νοημοσύνης είναι εύκολα χειραγωγήσιμες μέσω της “νομιμοποίησης εργασιών” (paper laundering): η εντολή σε ένα μεγάλο γλωσσικό μοντέλο να αναδιατυπώσει μια εργασία μπορεί να αυξήσει σημαντικά τις βαθμολογίες από τους αξιολογητές τεχνητής νοημοσύνης, αποδεικνύοντας ότι οι αξιολογητές LLM είναι εύκολο να χειραγωγηθούν μέσω στιλιστικών αλλαγών και όχι βάσει των επιστημονικών αποτελεσμάτων.
Ωστόσο, η μη χειραγωγησιμότητα και η ποικιλομορφία των αξιολογήσεων αποτελούν αναγκαίες αλλά όχι επαρκείς προϋποθέσεις για την αυτοματοποίηση. Υποστηρίζεται ότι η αντιμετώπιση της κρίσης στην αξιολόγηση ομοτίμων απαιτεί μια επιστήμη της αυτοματοποίησης της αξιολόγησης ομοτίμων – και όχι γενικής χρήσης μεγάλα γλωσσικά μοντέλα που αναπτύσσονται χωρίς αυστηρή αξιολόγηση.
