Artificial Intelligence 2 λεπτά ανάγνωσης

QASA: Βελτίωση πολυτροπικής ανάλυσης συναισθήματος με ενίσχυση δεδομένων.

Τα πολυτροπικά μεγάλα γλωσσικά μοντέλα έχουν επιδείξει σημαντική ικανότητα στην καταγραφή σημασιολογικών αναπαραστάσεων για την πολυτροπική ανάλυση συναισθήματος. Ωστόσο, η δυνατότητά τους να μαθαίνουν σταθερά και γενικεύσιμα πολυτροπικά χαρακτηριστικά περιορίζεται από την έλλειψη υψηλής ποιότητας δεδομένων εκπαίδευσης. Για την αντιμετώπιση αυτού του ζητήματος, προτείνεται η μέθοδος QASA (Quality-Aware Semantic Augmentation), η οποία αξιοποιεί μοντέλα διάχυσης για την παραγωγή επαυξημένων οπτικών και ακουστικών δειγμάτων, υποστηρίζοντας έτσι την πολυτροπική μάθηση. Τα παραγόμενα δείγματα ενδέχεται να παρουσιάζουν διακυμάνσεις στην ποιότητα και να εμφανίζουν διατροπικές ασυνέπειες. Προς διαχείριση αυτών, εισάγεται μια αποσυνδεδεμένη μονάδα βαθμολόγησης ευαίσθητη στην ποιότητα, η οποία αναθέτει βάρη εκπαίδευσης με βάση την αξιοπιστία κάθε επαυξημένου δείγματος. Αυτή η προσέγγιση μειώνει την επίδραση των δεδομένων χαμηλής ποιότητας και συμβάλλει σε μια πιο σταθερή και ανθεκτική εκπαίδευση του μοντέλου.

Το πλαίσιο συνδυάζει τις γενετικές δυνατότητες των μοντέλων διάχυσης με τη σημασιολογική συλλογιστική των πολυτροπικών μεγάλων μοντέλων, προσφέροντας μια αυτοματοποιημένη στρατηγική ενίσχυσης δεδομένων που δεν απαιτεί ανθρώπινη επισήμανση. Παράλληλα, βελτιώνει τη γενίκευση και την ανθεκτικότητα υπό συνθήκες περιορισμένων δεδομένων υψηλής ποιότητας. Πειράματα που διεξήχθησαν στο σύνολο δεδομένων CH-SIMS καταδεικνύουν ότι η QASA επιφέρει σχετική αύξηση 18,0% στην ακρίβεια πέντε κατηγοριών (Acc5) και 5,9% στην δυαδική ακρίβεια (Acc2), αντίστοιχα. Επιπλέον, υπερτερεί των υφιστάμενων μεθόδων στα σημεία αναφοράς CMU-MOSI και MUStARD.