Η μάθηση συντομεύσεων προκαλεί την εξάρτηση των μοντέλων βαθιάς μάθησης από μη ουσιώδη χαρακτηριστικά δεδομένων. Ο σχηματισμός της, όμως, στην εκπαίδευση βαθιών νευρωνικών δικτύων παραμένει θεωρητικά ανεξήγητος.
Η εργασία αυτή ορίζει επίσημα τα βασικά και συντομευτικά χαρακτηριστικά, χρησιμοποιώντας τη θεωρία εξελικτικών παιγνίων για να αναλύσει την προέλευση της μεροληψίας συντομεύσεων και των νευρωνικών εφαπτομενικών χαρακτηριστικών τους ως στρατηγικών, με την υπόθεση ύπαρξης βασικών και συντομευτικών υποδικτύων.
Διαπιστώνεται ότι η κάθοδος κλίσης (GD) και η στοχαστική κάθοδος κλίσης (SGD) καταλήγουν σε δύο διακριτές στοχαστικά σταθερές καταστάσεις, που αντιστοιχούν σε διαφορετικές στρατηγικές: η πρώτη βελτιστοποιεί το υποδίκτυο συντομεύσεων, η δεύτερη το βασικό.
Ερευνάται η επίδραση αυτών των στρατηγικών στη μεροληψία συντομεύσεων μέσω συνεχούς στοχαστικής διαφορικής εξίσωσης, αποκαλύπτοντας τον αντίκτυπο του θορύβου δεδομένων και βελτιστοποίησης στον σχηματισμό της.
Συνοπτικά, η εργασία χρησιμοποιεί τη θεωρία εξελικτικών παιγνίων για να χαρακτηρίσει τη δυναμική σχηματισμού της μεροληψίας συντομεύσεων και να προσφέρει θεωρητική οπτική για τον μετριασμό της.
