Η εμφάνιση δυσαρμονίας, όπου η λεπτομερής προσαρμογή σε στενές, μη επιβλαβείς εργασίες προκαλεί επιβλαβείς συμπεριφορές, αποτελεί σημαντική πρόκληση για την ασφάλεια της AI σε μεγάλα γλωσσικά μοντέλα (LLMs). Παρά την αυξανόμενη εμπειρική τεκμηρίωση, ο υποκείμενος μηχανισμός παραμένει ασαφής. Για την κατανόηση αυτού του φαινομένου, προτείνεται μια γεωμετρική θεώρηση βασισμένη στη γεωμετρία της υπέρθεσης χαρακτηριστικών. Καθώς τα χαρακτηριστικά κωδικοποιούνται σε επικαλυπτόμενες αναπαραστάσεις, η προσαρμογή που ενισχύει ένα χαρακτηριστικό στόχο ενισχύει επίσης ακούσια τα κοντινά χαρακτηριστικά λόγω της ομοιότητάς τους.
Δίνεται μια απλή παράγωγη σε επίπεδο κλίσης αυτού του φαινομένου και δοκιμάζεται εμπειρικά σε πολλαπλά LLMs (Gemma-2 2B/9B/27B, LLaMA-3.1 8B, GPT-OSS 20B). Χρησιμοποιώντας αραιούς αυτοκωδικοποιητές (SAEs), εντοπίζονται χαρακτηριστικά που συνδέονται με δεδομένα που προκαλούν δυσαρμονία και επιβλαβείς συμπεριφορές, και δείχνουν ότι είναι γεωμετρικά πιο κοντά το ένα στο άλλο από χαρακτηριστικά που προέρχονται από δεδομένα που δεν προκαλούν δυσαρμονία. Αυτή η τάση γενικεύεται σε διάφορους τομείς (π.χ., υγεία, καριέρα, νομικές συμβουλές).
Τέλος, δείχνεται ότι μια προσέγγιση ευαισθητοποιημένη στη γεωμετρία, η οποία φιλτράρει δείγματα εκπαίδευσης που είναι πιο κοντά σε τοξικά χαρακτηριστικά, μειώνει τη δυσαρμονία κατά 34.5%, ξεπερνώντας σημαντικά την τυχαία αφαίρεση και επιτυγχάνοντας παρόμοια ή ελαφρώς χαμηλότερη δυσαρμονία από το φιλτράρισμα που βασίζεται στην κρίση LLM. Η μελέτη συνδέει την εμφάνιση δυσαρμονίας με την υπέρθεση χαρακτηριστικών, παρέχοντας μια βάση για την κατανόηση και μείωση αυτού του φαινομένου.
