Η πολυτροπική αναγνώριση πρόθεσης (MMIR) αντιμετωπίζει προβλήματα ασθενούς σημασιολογικής θεμελίωσης και μειωμένης ανθεκτικότητας σε συνθήκες θορύβου ή σπάνιων κατηγοριών.
Προτείνεται το MVCL-DAF++, επέκταση του MVCL-DAF, το οποίο ενσωματώνει δύο βασικές ενότητες:
(1) Ευθυγράμμιση αντίθεσης με επίγνωση πρωτοτύπου, ευθυγραμμίζοντας περιπτώσεις με πρωτότυπα επιπέδου κλάσης για ενίσχυση της σημασιολογικής συνέπειας.
και (2) Σύντηξη προσοχής από το γενικό στο ειδικό, ενσωματώνοντας παγκόσμιες περιλήψεις τροπικότητας με χαρακτηριστικά επιπέδου διακριτικού για ιεραρχική διατροπική αλληλεπίδραση.
Σε MIntRec και MIntRec2.0, το MVCL-DAF++ πέτυχε νέα αποτελέσματα αιχμής, βελτιώνοντας την αναγνώριση σπάνιων κατηγοριών κατά +1.05% και +4.18% WF1, αντιστοίχως.
Τα αποτελέσματα αυτά καταδεικνύουν την αποτελεσματικότητα της καθοδηγούμενης από πρωτότυπα μάθησης και της σύντηξης από το γενικό στο ειδικό για στιβαρή πολυτροπική κατανόηση.
Ο πηγαίος κώδικας είναι διαθέσιμος στη διεύθυνση: https://github.com/chr1s623/MVCL-DAF-PlusPlus.
