Τα Μεγάλα Μοντέλα Όρασης-Γλώσσας (LVLMs), εκπαιδευμένα σε δεδομένα ευρείας διαδικτυακής κλίμακας, αντιμετωπίζουν τον κίνδυνο απομνημόνευσης και αναδημιουργίας οπτικού υλικού με πνευματικά δικαιώματα, συμπεριλαμβανομένων χαρακτήρων και λογοτύπων, γεγονός που εγείρει σημαντικά ζητήματα.
Η μηχανική απεκπαίδευση (machine unlearning) παρέχει μια μέθοδο για τον περιορισμό αυτών των κινδύνων. Ωστόσο, η αξιολόγηση της αποτελεσματικότητάς της, ειδικά στο σύνθετο πολυτροπικό πλαίσιο των LVLMs, παραμένει ένα ανοιχτό ζήτημα.
Οι υφιστάμενες μέθοδοι αξιολόγησης συχνά δεν διαθέτουν την απαιτούμενη ανθεκτικότητα ή αποτυγχάνουν να αποτυπώσουν τις λεπτομέρειες της διατροπικής διαγραφής εννοιών.
Για την αντιμετώπιση αυτού του σημαντικού κενού, παρουσιάζεται το σημείο αναφοράς CoVUBench, το οποίο αποτελεί το πρώτο πλαίσιο ειδικά σχεδιασμένο για την αξιολόγηση της απεκπαίδευσης περιεχομένου με πνευματικά δικαιώματα στα LVLMs.
Το CoVUBench αξιοποιεί διαδικαστικά παραγόμενα, νομικά ασφαλή συνθετικά δεδομένα, σε συνδυασμό με συστηματικές οπτικές παραλλαγές που περιλαμβάνουν συνθετικές μεταβολές και ποικίλες εκδηλώσεις πεδίου. Αυτό διασφαλίζει μια ρεαλιστική και στιβαρή αξιολόγηση της γενίκευσης της απεκπαίδευσης.
Το περιεκτικό πολυτροπικό πρωτόκολλο αξιολόγησης που εφαρμόζεται εκτιμά τόσο την αποτελεσματικότητα της λήθης, από την οπτική γωνία του κατόχου των πνευματικών δικαιωμάτων, όσο και τη διατήρηση της συνολικής χρησιμότητας του μοντέλου, από την πλευρά του αναπτύκτη.
Κατά συνέπεια, το CoVUBench προσφέρει ένα τυποποιημένο εργαλείο για την προώθηση της ανάπτυξης υπεύθυνων και αποτελεσματικών μεθόδων απεκπαίδευσης για τα LVLMs.
