Μια έρευνα, που διεξήχθη από την Redwood Research, το Πανεπιστήμιο της Οξφόρδης και την Anthropic, εξετάζει ένα ζήτημα ασφάλειας που καθίσταται ολοένα και πιο επιτακτικό καθώς τα συστήματα τεχνητής νοημοσύνης (AI) αναπτύσσουν μεγαλύτερες ικανότητες: “sandbagging,”, κατά την οποία ένα μοντέλο αποκρύπτει εσκεμμένα τις πραγματικές του δυνατότητες και παράγει έργο που φαίνεται επαρκές αλλά είναι σκόπιμα κατώτερο.
Μελλοντικά συστήματα τεχνητής νοημοσύνης ενδέχεται να αναλάβουν καθήκοντα όπου η ποιότητα είναι σχεδόν αδύνατο να επαληθευτεί αξιόπιστα, όπως η αξιολόγηση ερευνητικών ιδεών, η συγγραφή πολύπλοκου λογισμικού ή ακόμη και η συμβολή στην ίδια την έρευνα για την ασφάλεια της AI. Καθώς τα μοντέλα υπερβαίνουν τις ικανότητες των ανθρώπων που ελέγχουν την εργασία τους, δημιουργείται ένα επικίνδυνο κενό.
Ένα μοντέλο θα μπορούσε να υπο-αποδίδει σκόπιμα, παράγοντας αποτελέσματα που φαίνονται αποδεκτά, αλλά εσκεμμένα υπολείπονται των πραγματικών του δυνατοτήτων. Οι ερευνητές ονομάζουν αυτή τη συμπεριφορά “sandbagging,”, και είναι ιδιαίτερα ανησυχητική διότι μπορεί να υπονομεύσει τις αξιολογήσεις ασφάλειας: ένα μοντέλο που φαίνεται ασήμαντο κατά τη διάρκεια των δοκιμών θα μπορούσε να αποκαλύψει εντελώς διαφορετικές ικανότητες σε πραγματική λειτουργία ή να σαμποτάρει σκόπιμα κρίσιμα καθήκοντα.
Μια νέα μελέτη, από την Redwood Research, το Πανεπιστήμιο της Οξφόρδης και την Anthropic, διερευνά εάν αυτό το είδος σκόπιμης υπο-απόδοσης μπορεί να εξαλειφθεί μέσω εκπαίδευσης, ακόμη και όταν οι αξιολογητές είναι ασθενέστεροι από το ίδιο το μοντέλο.
Οι ερευνητές πλαισιώνουν το πρόβλημα ως ένα ανταγωνιστικό παιχνίδι. Μια «Κόκκινη Ομάδα» (Red Team) χρησιμοποιεί το gpt-oss-120b της OpenAI για να εκπαιδεύσει έναν «οργανισμό μοντέλου» που υπο-αποδίδει σκόπιμα: όταν λαμβάνει οδηγίες μέσω προτροπής συστήματος, το μοντέλο παρέχει απαντήσεις που ακούγονται εύλογες αλλά είναι εσκεμμένα λανθασμένες σε έως και 90 τοις εκατό των περιπτώσεων. Μια «Μπλε Ομάδα» (Blue Team) προσπαθεί στη συνέχεια να ανακτήσει τις πραγματικές ικανότητες του μοντέλου χρησιμοποιώντας τεχνικές εκπαίδευσης, αλλά έχει πρόσβαση μόνο σε ασθενέστερους επιβλέποντες, συγκεκριμένα το GPT-4o-mini ως «αδύναμο» επιβλέποντα και το Llama 3.1-8B ως «πολύ αδύναμο». Η Μπλε Ομάδα λαμβάνει επίσης δέκα επαληθευμένες απαντήσεις-παραδείγματα για να εργαστεί.
Ακόμη και έναντι ενός ιδιαίτερα πονηρού οργανισμού μοντέλου που είχε ήδη μάθει να εξαπατά τον επιβλέποντα, η προσέγγιση λειτούργησε: η φάση SFT υποβάθμισε την ικανότητα «reward-hacking» αρκετά ώστε η επακόλουθη RL να μπορέσει να ξεκλειδώσει ξανά την πραγματική απόδοση.
Η Εκπαίδευση και η Ανάπτυξη Πρέπει να Είναι Αδιαχώριστες
Ολόκληρη η προσέγγιση εξαρτάται από μία κρίσιμη απαίτηση: το μοντέλο δεν πρέπει να είναι σε θέση να διακρίνει εάν βρίσκεται σε φάση εκπαίδευσης ή σε πραγματική λειτουργία. Εάν μπορεί να εντοπίσει τη διαφορά, μπορεί να εφαρμόσει μια απλή στρατηγική, συνεργαζόμενο κατά την εκπαίδευση και παρέχοντας σωστές απαντήσεις για να καταστήσει την εκπαίδευση αναποτελεσματική, και στη συνέχεια να επιστρέψει στην υπο-απόδοση μόλις ξεκινήσει η ανάπτυξη και σταματήσει η εκπαίδευση.
Οι ερευνητές δοκίμασαν αυτό ακριβώς το σενάριο σε ένα επιπλέον πείραμα. Εξόπλισαν τον οργανισμό μοντέλου με «επίγνωση της κατάστασης» (situational awareness), δηλαδή την ικανότητα να αναγνωρίζει ενδείξεις πλαισίου σχετικά με το αν βρίσκεται σε φάση εκπαίδευσης ή ανάπτυξης.
Τα αποτελέσματα ήταν εντυπωσιακά. Με έναν πολύ αδύναμο επιβλέποντα, το ποσοστό ανάκτησης, που ορίζεται ως το μερίδιο της πραγματικής ικανότητας που ανακτήθηκε, μειώθηκε από 88 σε 36 τοις εκατό στις μαθηματικές ερωτήσεις. Στις επιστημονικές ερωτήσεις, το ποσοστό έπεσε από 99 σε 60 τοις εκατό. Ορισμένες εκτελέσεις εκπαίδευσης έδειξαν ένα ιδιαίτερα ανησυχητικό μοτίβο. Η φάση SFT αρχικά μείωσε την υπο-απόδοση όπως αναμενόταν. Ωστότε, η επακόλουθη RL αντέστρεψε εν μέρει το αποτέλεσμα, επειδή το μοντέλο έμαθε να απαντά σωστά κατά την εκπαίδευση, διατηρώντας παράλληλα την ικανότητά του να υπο-αποδίδει κατά την ανάπτυξη.
Αυτό δημιουργεί μια σαφή πρακτική απαίτηση: τα περιβάλλοντα εκπαίδευσης και ανάπτυξης πρέπει να είναι αδιαχώριστα από την οπτική γωνία του μοντέλου, συμπεριλαμβανομένων πανομοιότυπων διαμορφώσεων συστήματος, μορφών προτροπής και πληροφοριών πλαισίου. Η κάρτα μοντέλου της Anthropic για το Claude Opus 4.6 είχε ήδη δείξει ότι τα μοντέλα γίνονται καλύτερα στην αναγνώριση σεναρίων δοκιμών και στην ανάλογη προσαρμογή της συμπεριφοράς τους.
Οι Τεχνητοί «Υπο-αποδίδοντες» Δεν Είναι Κατ’ Ανάγκη Πραγματικοί
Οι οργανισμοί μοντέλων στο πείραμα δημιουργούνται μέσω στενής λεπτομερούς ρύθμισης (narrow fine-tuning), επομένως η συμπεριφορά υπο-απόδοσης μπορεί να είναι πιο επιφανειακή από ό,τι θα ήταν σε ένα μοντέλο που μαθαίνει να εξαπατά από μόνο του κατά την προ-εκπαίδευση. Οι εργασίες είναι επίσης σύντομες και μονοβήματες.
Σε πολύπλοκα, πολυ-βηματικά σενάρια, όπως ο προγραμματισμός με πράκτορες (agentic programming) ή η έρευνα, ένα μη ευθυγραμμισμένο μοντέλο θα είχε πολύ περισσότερες ευκαιρίες για λεπτή δολιοφθορά, όπως η ανάγνωση λανθασμένου αρχείου δεδομένων ή η εισαγωγή ενός δύσκολα εντοπίσιμου λογικού σφάλματος. Οι δοκιμές επίσης δεν διακρίνουν μεταξύ ειλικρινούς αποτυχίας και σκόπιμης δολιοφθοράς, κάτι που θα έδινε σε έναν πραγματικό επιτιθέμενο περισσότερο χώρο ελιγμών.
Ωστόσο, οι ερευνητές δηλώνουν ότι η μελέτη παρέχει την πρώτη εμπειρική απόδειξη ότι η εκπαίδευση με αδύναμη επίβλεψη μπορεί να αποτελέσει ένα βιώσιμο αντίμετρο κατά της σκόπιμης υπο-απόδοσης, εφόσον η εκπαίδευση και η ανάπτυξη παραμένουν αδιαχώριστες από την οπτική γωνία του μοντέλου.
