Artificial Intelligence 2 λεπτά ανάγνωσης

Πρόταση πλαισίου Mosaic για διαγραφή πολλαπλών εννοιών σε μοντέλα T2I

Η διαγραφή εννοιών έχει αναδειχθεί ως κρίσιμη ερευνητική κατεύθυνση, με στόχο τη διασφάλιση της ασφαλούς και ηθικής σύνθεσης εικόνων εντός των μοντέλων Text-to-Image (T2I). Παρόλο που οι υφιστάμενες έρευνες έχουν εξετάσει τη διαγραφή εννοιών σε διάφορα πλαίσια, συνήθως βασίζονται στην υπόθεση ύπαρξης μίας μόνο έννοιας-στόχου ανά εικόνα. Αυτός ο περιορισμός καθίσταται ολοένα και πιο εμφανής στα σύγχρονα μοντέλα T2I, τα οποία είναι ικανά να παράγουν σύνθετες σκηνές που περιλαμβάνουν ταυτόχρονα πολλαπλές έννοιες.

Προς αντιμετώπιση αυτού του κενού, εισάγεται η σύνθετη διαγραφή πολλαπλών εννοιών, η οποία αποτελεί μία νέα εργασία με σκοπό την ταυτόχρονη αφαίρεση πολλαπλών εννοιών-στόχων εντός μίας και μόνο σκηνής. Επιπλέον, προτείνεται το CoME-Bench, ένα σημείο αναφοράς ειδικά σχεδιασμένο για την αξιολόγηση της σύνθετης διαγραφής πολλαπλών εννοιών, το οποίο καλύπτει τόσο σενάρια ενδοκατηγορίας όσο και διακατηγορίας.

Επιπροσθέτως, παρουσιάζεται το Mosaic, ένα καινοτόμο πλαίσιο για τη διαγραφή πολλαπλών εννοιών σε μοντέλα T2I που βασίζονται σε ροή. Το πλαίσιο αυτό αξιοποιεί τη χωρική εντοπιότητα των εννοιών-στόχων εντός του διανυσματικού πεδίου, χρησιμοποιώντας ειδικές μάσκες και επιλεκτική ανάμειξη αυτών, χωρίς την ανάγκη πρόσθετης βελτιστοποίησης. Εκτεταμένες πειραματικές δοκιμές καταδεικνύουν ότι το Mosaic επιτυγχάνει την αποτελεσματική αφαίρεση πολλαπλών εννοιών-στόχων σε πολύπλοκες συνθετικές σκηνές, διατηρώντας παράλληλα τα μη-στόχους περιβάλλοντα.