Η διαγραφή εννοιών έχει αναδειχθεί ως μια πολλά υποσχόμενη μέθοδος για τον μετριασμό ανεπιθύμητου ή μη ασφαλούς περιεχομένου εντός των μοντέλων διάχυσης. Ωστόσο, οι υφιστάμενες προσεγγίσεις εξακολουθούν να αντιμετωπίζουν σημαντικούς περιορισμούς. Παρόλο που οι μέθοδοι που βασίζονται στην εκπαίδευση αποδεικνύονται αποτελεσματικές, το υψηλό υπολογιστικό τους κόστος περιορίζει την επεκτασιμότητά τους. Αντιθέτως, οι μέθοδοι που βασίζονται στην επεξεργασία είναι πιο αποδοτικές και ευκολότερες στην ανάπτυξη. Εντούτοις, δυσκολεύονται να επιτύχουν ταυτόχρονα ακριβή διαγραφή εννοιών και να διατηρήσουν τη συνολική παραγωγική ικανότητα.
Η παρούσα εργασία αναγνωρίζει αυτόν τον θεμελιώδη περιορισμό των μεθόδων επεξεργασίας ως την εξάρτησή τους από προσθετικές ενημερώσεις παραμέτρων. Η εμπειρική ανάλυση που διεξήχθη αποκαλύπτει ότι η σημασιολογία των εννοιών εξαρτάται πρωτίστως από την κατεύθυνση των νευρώνων και όχι από το μέγεθός τους. Παράλληλα, η συνολική παραγωγική ικανότητα βασίζεται στην γωνιακή γεωμετρία των νευρώνων. Δεδομένου ότι οι προσθετικές ενημερώσεις εμπλέκουν εγγενώς την κατεύθυνση, το μέγεθος και την γωνιακή γεωμετρία, αναπόφευκτα εισάγουν ακούσια παρεμβολή μεταξύ της διαγραφής εννοιών και της συνολικής απόδοσης παραγωγής.
Για την αντιμετώπιση αυτού του ζητήματος, προτείνεται η Ορθογώνια Διαγραφή Εννοιών (Orthogonal Concept Erasure – OCE). Η OCE αναδιατυπώνει τη διαγραφή που βασίζεται στην επεξεργασία ως πολλαπλασιαστικές ενημερώσεις παραμέτρων, υιοθετώντας μια γεωμετρική οπτική. Πιο συγκεκριμένα, η OCE εφαρμόζει ορθογώνιους μετασχηματισμούς ανά στρώμα, οι οποίοι προκύπτουν από μια λύση κλειστής μορφής στις παραμέτρους. Αυτό επιτρέπει την ακριβή διαγραφή εννοιών, διατηρώντας ταυτόχρονα το μέγεθος των νευρώνων και την γωνιακή τους γεωμετρία.
Επιπλέον, για την αντιμετώπιση των αντικρουόμενων περιορισμών στη διαγραφή πολλαπλών εννοιών, η OCE εισάγει έναν στόχο σε επίπεδο υποχώρου, ο οποίος περιλαμβάνει δομημένη χειραγώγηση υποχώρων. Αυτό οδηγεί σε μια πιο αποτελεσματική και επεκτάσιμη διαγραφή. Εκτεταμένα πειράματα, τόσο σε διαγραφή μεμονωμένων όσο και πολλαπλών εννοιών, καταδεικνύουν ότι η OCE υπερτερεί των υφιστάμενων μεθόδων όσον αφορά την διαγραφή εννοιών και τη διατήρηση μη-στόχων. Η μέθοδος είναι ικανή να διαγράψει έως και 100 έννοιες σε 4,3 δευτερόλεπτα.
Κώδικας: https://github.com/HansSunY/OCE
Πηγή: arXiv
