Η κατανόηση της υλοποίησης υπολογισμών από τη συνδεσιμότητα σε βιολογικά και τεχνητά νευρωνικά δίκτυα αποτελεί κεντρικό πρόβλημα σε νευροεπιστήμη και μηχανική μάθηση. Στα νευρωνικά συστήματα, η δομική και λειτουργική συνδεσιμότητα αποκλίνουν, ωθώντας σε προσεγγίσεις πέραν των άμεσων συνδέσεων.
Η παρούσα εργασία δείχνει ότι η χωροχρονική λειτουργία των επαναληπτικών νευρωνικών δικτύων (RNNs) σε ιεραρχικά αρθρωτές εργασίες ανακτάται με ανάλυση του γραφήματος και των πολυ-βηματικών διαδρομών εισόδου-εξόδου, αποκαλύπτοντας τη χρονική δρομολόγηση πληροφοριών.
Αυτή η οπτική επαναπροσδιορίζει την κανονικοποίηση: εάν η λειτουργία υλοποιείται μέσω πολυ-βηματικής επικοινωνίας, τότε τυπικές ποινές, όπως η κανονικοποίηση L1 που δρουν σε μεμονωμένα βάρη, περιορίζουν τη δομή ενός βήματος αντί τις πολυ-βηματικές διαδρομές που υποστηρίζουν τον υπολογισμό.
Ωθούμενοι από αυτό, εισάγουμε τα resolvent-RNNs (R-RNNs), τα οποία περιορίζουν τις πολυ-βηματικές διαδρομές, επιτυγχάνοντας αποτελεσματικότερη κανονικοποίηση. Συγκριτικά με την κανονικοποίηση L1, τα R-RNNs επιδεικνύουν βελτιωμένη απόδοση ευθυγραμμισμένη με τη δομή της εργασίας, ακόμη και με αραιό σήμα, και ισχυρότερη ευθυγράμμιση αραιότητας-λειτουργίας, που αντικατοπτρίζεται στην αυξημένη ανθεκτικότητά τους υπό ισχυρή κανονικοποίηση.
Συνολικά, τα αποτελέσματά μας αναγνωρίζουν την πολυ-βηματική επικοινωνία ως βασική αρχή σύνδεσης δομής-λειτουργίας σε επαναληπτικά δίκτυα, υποδεικνύοντας ότι η αραιότητα πρέπει να ορίζεται σε λειτουργικές διαδρομές αντί σε μεμονωμένες παραμέτρους.
