Artificial Intelligence 2 λεπτά ανάγνωσης

Μελέτη εξετάζει την επίμονη ανακατεύθυνση σε αναδρομικούς βρόχους γλωσσικών μοντέλων

Οι αναδρομικοί βρόχοι γλωσσικών μοντέλων συχνά καταλήγουν σε αναγνωρίσιμα μοτίβα που μοιάζουν με ελκυστές. Το πρακτικό ερώτημα που τίθεται είναι πόση ποσότητα εισαγόμενου κειμένου απαιτείται για να μετακινηθεί ένας σταθεροποιημένος βρόχος σε διαφορετική κατάσταση, καθώς και αν αυτή η μετακίνηση διαρκεί. Η παρούσα έρευνα εξετάζει αυτό το φαινόμενο σε αναδρομικούς βρόχους 30 βημάτων, όπου οι κανόνες ενημέρωσης του πλαισίου –προσθήκη (append), αντικατάσταση (replace) και ενημερώσεις διαλόγου (dialog updates)– εκθέτουν διαφορετικά ιστορικά στον ίδιο γεννήτορα.

Το κύριο εύρημα υποδεικνύει ότι η επίμονη ανακατεύθυνση σε αναδρομικούς βρόχους λειτουργίας προσθήκης (append-mode) εξαρτάται από την πολιτική μνήμης. Υπό συνθήκες περικοπής ουράς 12.000 χαρακτήρων, η συνεκτική με τον προορισμό επιμονή σταθεροποιείται περίπου στο 16%, ενώ η διατηρούμενη διαφυγή από την αρχική λεκάνη έλξης φτάνει περίπου το 36% σε δόση 400· καμία από αυτές τις τιμές δεν υπερβαίνει το 50%. Αντίθετα, με πρωτόκολλο πλήρους ιστορικού, η διατηρούμενη διαφυγή από την αρχική λεκάνη έλξης υπερβαίνει το 50% περίπου στα 400 tokens και κορεσμούς στο 75-80% στα 1.500 tokens. Η συνεκτική με τον προορισμό επιμονή φτάνει για πρώτη φορά το 0,50 περίπου στα 1.500 tokens (Wilson 95% CI [0.41, 0.61]).

Μια τετραμερής συστοιχία διαψεύσεως, η οποία περιλαμβάνει έλεγχο ετερογένειας, σάρωση κοκκομετρίας με ιεραρχική μακρο-συγχώνευση, διαγνωστικό εντροπίας μετάβασης και συνέχεια τροχιάς μακρού ορίζοντα, αναδιατυπώνει την πτώση της συνεκτικής με τον προορισμό επιμονής σε υψηλή δόση. Αυτή η πτώση ερμηνεύεται ως ένα χαρακτηριστικό ευαίσθητο στον ορισμό του τελικού σημείου και με πεπερασμένο ορίζοντα, αντί για μια σταθερή δομική ασυμμετρία. Το ήμισυ του κανονικού μεγέθους αποδίδεται στον χρονισμό του τελικού σημείου· το υπόλοιπο μειώνεται κατά 73% από -0,143 στο βήμα 29 σε -0,039 στο βήμα 79 υπό την παγωμένη κανονική βάση συστάδων, με το διάστημα bootstrap να περιλαμβάνει το μηδέν.

Η ακατέργαστη εναλλαγή σε λειτουργία αντικατάστασης (replace-mode) είναι σχεδόν κορεσμένη υπό το προεπιλεγμένο πρωτόκολλο, αλλά αντικατοπτρίζει κυρίως την επανεγγραφή επαναφοράς κατάστασης. Οι δοκιμές λειτουργίας εισαγωγής (insert-mode) τη μειώνουν στο 12-32%. Αναφέρονται 37 πειράματα που διεξήχθησαν στο γλωσσικό μοντέλο gpt-4o-mini, με ενδο-προμηθευτική αναπαραγωγή στο gpt-4.1-nano. Οι αξιολογήσεις αναδρομικών βρόχων πρέπει να διακρίνουν την παροδική κίνηση από τη διαρκή διαφυγή, να αφαιρούν τα στοχαστικά κατώτατα όρια και να αντιμετωπίζουν τους κανόνες ενημέρωσης πλαισίου ως επιλογές σχεδιασμού σχετικές με την ασφάλεια.