Τα μοντέλα παραγωγής βίντεο ενσωματώνουν τον φυσικό ρεαλισμό ως προτεραιότητα. Το anime παραβιάζει σκόπιμα τους νόμους της φυσικής, χρησιμοποιώντας τεχνικές όπως θολώματα, καρέ πρόσκρουσης και μετατοπίσεις chibi. Οι χιλιάδες συνυπάρχουσες καλλιτεχνικές συμβάσεις του δεν παράγουν ένα ενιαίο “physics of anime” που ένα μοντέλο μπορεί να αφομοιώσει. Ως εκ τούτου, τα μοντέλα που βασίζονται στη φυσική είτε υποβαθμίζουν την καλλιτεχνική διάσταση που χαρακτηρίζει το μέσο είτε καταρρέουν λόγω της στιλιστικής του ποικιλομορφίας. Παρουσιάζουμε το AniMatrix, ένα μοντέλο παραγωγής βίντεο που στοχεύει στην καλλιτεχνική, και όχι στη φυσική, ορθότητα. Αυτό επιτυγχάνεται μέσω ενός μηχανισμού ρύθμισης διπλού καναλιού και μιας τριών σταδίων μετάβασης: επαναπροσδιορισμός της ορθότητας, παράκαμψη της προτεραιότητας της φυσικής και διάκριση της τέχνης από την αποτυχία.
Επαναπροσδιορισμός της Ορθότητας: Σύστημα Γνώσης Παραγωγής και AniCaption
Αρχικά, ένα Σύστημα Γνώσης Παραγωγής κωδικοποιεί το anime ως μια δομημένη ταξινόμηση ελεγχόμενων μεταβλητών παραγωγής (Στυλ, Κίνηση, Κάμερα, Οπτικά Εφέ). Το AniCaption εξάγει αυτές τις μεταβλητές από τα pixel ως σκηνοθετικές οδηγίες. Ένας εκπαιδεύσιμος κωδικοποιητής ετικετών διατηρεί τη δομή πεδίου-τιμής αυτής της ταξινόμησης, ενώ ένας παγωμένος κωδικοποιητής T5 διαχειρίζεται την ελεύθερης μορφής αφήγηση. Η έγχυση διπλής διαδρομής (cross-attention για λεπτομερή έλεγχο, διαμόρφωση AdaLN για καθολική επιβολή) διασφαλίζει ότι οι κατηγορικές οδηγίες δεν αραιώνονται ποτέ.
Παράκαμψη της Προτεραιότητας της Φυσικής: Πρόγραμμα Σπουδών Στυλ-Κίνησης-Παραμόρφωσης
Δεύτερον, ένα πρόγραμμα σπουδών στυλ-κίνησης-παραμόρφωσης μεταβαίνει το μοντέλο από σχεδόν φυσική κίνηση σε πλήρη εκφραστικότητα anime.
Διάκριση της Τέχνης από την Αποτυχία: Βελτιστοποίηση Προτιμήσεων με Επίγνωση Παραμόρφωσης
Τρίτον, η βελτιστοποίηση προτιμήσεων με επίγνωση παραμόρφωσης, χρησιμοποιώντας ένα μοντέλο ανταμοιβής ειδικό για τον τομέα, διαχωρίζει την σκόπιμη καλλιτεχνική έκφραση από την παθολογική κατάρρευση.
Αξιολόγηση Απόδοσης και Μελλοντική Κυκλοφορία
Σε μια ειδική για το anime ανθρώπινη αξιολόγηση, όπου βαθμολογήθηκαν πέντε διαστάσεις παραγωγής, το AniMatrix κατατάσσεται πρώτο σε τέσσερις από τις πέντε. Οι μεγαλύτερες βελτιώσεις έναντι του Seedance-Pro 1.0 παρατηρήθηκαν στην Κατανόηση Προτροπών (+0.70, +22.4%) και στην Καλλιτεχνική Κίνηση (+0.55, +16.9%).
Τα βάρη του μοντέλου AniMatrix και ο κώδικας συμπερασμάτων θα διατεθούν δημόσια.
