Μια εμπειρική μελέτη, η οποία διεξήχθη στο γεωμετρικό έργο της εκμάθησης διατομικών δυναμικών, αποκαλύπτει ότι η ιδιότητα της αναλλοίωτης συμμετρίας (equivariance) αποκτά μεγαλύτερη σημασία σε ευρύτερες κλίμακες. Η έρευνα καταδεικνύει μια σαφή συμπεριφορά κλιμάκωσης νόμου δύναμης, όσον αφορά τα δεδομένα, τις παραμέτρους και την υπολογιστική ισχύ, με «εκθέτες εξαρτώμενους από την αρχιτεκτονική».
Συγκεκριμένα, παρατηρείται ότι οι αρχιτεκτονικές με αναλλοίωτη συμμετρία, οι οποίες αξιοποιούν τη συμμετρία της εργασίας, επιτυγχάνουν καλύτερη κλιμάκωση σε σύγκριση με μη-αναλλοίωτα μοντέλα. Επιπλέον, εντός των αρχιτεκτονικών με αναλλοίωτη συμμετρία, οι αναπαραστάσεις υψηλότερης τάξης οδηγούν σε βελτιωμένους εκθέτες κλιμάκωσης.
Η ανάλυσή μας υποδεικνύει επίσης ότι για βέλτιστη εκπαίδευση ως προς την υπολογιστική ισχύ, τα μεγέθη των δεδομένων και των μοντέλων πρέπει να κλιμακώνονται παράλληλα, ανεξαρτήτως της αρχιτεκτονικής.
Σε γενικές γραμμές, αυτά τα ευρήματα υποδηλώνουν ότι, αντίθετα με την κοινή πεποίθηση, δεν πρέπει να αφήνουμε το μοντέλο να ανακαλύπτει θεμελιώδεις επαγωγικές προκαταλήψεις, όπως η συμμετρία, ιδίως καθώς αυξάνεται η κλίμακα, διότι αυτές μεταβάλλουν την εγγενή δυσκολία του έργου και τους νόμους κλιμάκωσής του.
