Τα μικρά γλωσσικά μοντέλα παρουσιάζουν αδυναμία στην εκτέλεση σπάνιων εργασιών. Αυτό το φαινόμενο παρατηρείται διότι οι συχνότερα εμφανιζόμενες εργασίες υπερκαλύπτουν και διαγράφουν διαρκώς τις γνώσεις που έχουν αποκτηθεί από το μοντέλο σχετικά με τις λιγότερο συνηθισμένες ή εξειδικευμένες εργασίες. Μια πρόσφατη επιστημονική μελέτη, η οποία διεξήχθη με τη χρήση γλωσσικών μοντέλων που κυμαίνονταν σε μέγεθος από 4 εκατομμύρια έως 4 δισεκατομμύρια παραμέτρους, ανέδειξε με σαφήνεια και λεπτομέρεια αυτόν τον υποκείμενο μηχανισμό. Η εν λόγω έρευνα προσφέρει επίσης μια εφαρμόσιμη και πρακτική λύση: αντί της απλής κλιμάκωσης του μεγέθους των μοντέλων, ενδέχεται να είναι επαρκής η συστηματική αύξηση της συχνότητας εμφάνισης της εκάστοτε στοχευμένης εργασίας εντός των δεδομένων εκπαίδευσης.
