Τα βίντεο αποτελούν εγγενώς δισδιάστατες προβολές ενός δυναμικού τρισδιάστατου κόσμου. Ωστόσο, η ανάλυσή μας υποδεικνύει ότι τα μοντέλα διάχυσης βίντεο, τα οποία εκπαιδεύονται αποκλειστικά σε ακατέργαστα δεδομένα βίντεο, συχνά αδυνατούν να αποτυπώσουν ουσιαστική γεωμετρικά ευαίσθητη δομή στις μαθημένες αναπαραστάσεις τους.
Προκειμένου να γεφυρωθεί το χάσμα μεταξύ των μοντέλων διάχυσης βίντεο και της υποκείμενης τρισδιάστατης φύσης του φυσικού κόσμου, προτείνεται η μέθοδος Geometry Forcing. Πρόκειται για μια απλή αλλά αποτελεσματική προσέγγιση που ενθαρρύνει τα μοντέλα διάχυσης βίντεο να εσωτερικεύσουν τρισδιάστατες αναπαραστάσεις. Η βασική μας διαπίστωση είναι η καθοδήγηση των ενδιάμεσων αναπαραστάσεων του μοντέλου προς μια γεωμετρικά ευαίσθητη δομή, η οποία αποτελεί ένα γεωμετρικό θεμελιώδες μοντέλο.
Για τον σκοπό αυτό, εισάγονται δύο συμπληρωματικοί στόχοι ευθυγράμμισης: η Γωνιακή Ευθυγράμμιση (Angular Alignment), η οποία επιβάλλει κατευθυντική συνέπεια μέσω της ομοιότητας συνημιτόνου, και η Ευθυγράμμιση Κλίμακας (Scale Alignment), η οποία διατηρεί πληροφορίες σχετικές με την κλίμακα στις αναπαραστάσεις διάχυσης.
Η μέθοδος Geometry Forcing αξιολογείται σε εργασίες παραγωγής βίντεο που εξαρτώνται τόσο από την οπτική γωνία της κάμερας όσο και από την εκτελούμενη ενέργεια. Τα πειραματικά αποτελέσματα καταδεικνύουν ότι η προτεινόμενη μέθοδος βελτιώνει σημαντικά την οπτική ποιότητα και την τρισδιάστατη συνέπεια σε σύγκριση με τις βασικές μεθόδους.
Σελίδα έργου: https://GeometryForcing.github.io
