Προκλήσεις στην Εκπαίδευση Μεγάλων Γλωσσικών Μοντέλων
Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) έχουν επιδείξει αξιοσημείωτες δυνατότητες, ωστόσο οι τεράστιες υπολογιστικές τους απαιτήσεις κατά την εκπαίδευση παραμένουν ένα κρίσιμο εμπόδιο για την ευρεία υιοθέτησή τους. Η εκπαίδευση χαμηλής τάξης έχει προσελκύσει το ενδιαφέρον τα τελευταία χρόνια, καθώς μπορεί να μειώσει σημαντικά τη χρήση μνήμης κατά την εκπαίδευση. Παράλληλα, η εφαρμογή δομημένης αραιότητας 2:4 σε βάρη και ενεργοποιήσεις, με σκοπό την αξιοποίηση της υποστήριξης των GPU της NVIDIA για τη δομημένη αραιή μορφή 2:4, έχει αναδειχθεί σε πολλά υποσχόμενη κατεύθυνση. Εντούτοις, οι υφιστάμενες μέθοδοι χαμηλής τάξης συχνά διατηρούν τους πίνακες ενεργοποίησης σε πλήρη τάξη, γεγονός που κυριαρχεί στην κατανάλωση μνήμης και περιορίζει την απόδοση κατά την εκπαίδευση με μεγάλα πακέτα δεδομένων (batches). Επιπλέον, η άμεση εφαρμογή αραιότητας στα βάρη συχνά οδηγεί σε μη αμελητέα υποβάθμιση της απόδοσης.
Πρόταση του Πλαισίου ELAS για Αποδοτική Προεκπαίδευση
Προκειμένου να επιτευχθεί αποδοτική προεκπαίδευση των LLMs, η παρούσα εργασία προτείνει το ELAS: Efficient pre-training of Low-rank LLMs via 2:4 Activation Sparsity, ένα καινοτόμο πλαίσιο για μοντέλα χαμηλής τάξης μέσω αραιότητας ενεργοποίησης 2:4. Το ELAS εφαρμόζει τετραγωνικές συναρτήσεις ενεργοποίησης ReLU στα δίκτυα εμπρόσθιας τροφοδοσίας (feed-forward networks) σε μοντέλα χαμηλής τάξης και υλοποιεί δομημένη αραιότητα 2:4 στις ενεργοποιήσεις μετά την τετραγωνική λειτουργία ReLU.
Αξιολόγηση και Αποτελέσματα του ELAS σε Μοντέλα LLaMA
Η αξιολόγηση του ELAS πραγματοποιήθηκε μέσω πειραμάτων προεκπαίδευσης σε μοντέλα LLaMA, με εύρος παραμέτρων από 60 εκατομμύρια έως 1 δισεκατομμύριο. Τα αποτελέσματα καταδεικνύουν ότι το ELAS διατηρεί την απόδοση με ελάχιστη υποβάθμιση μετά την εφαρμογή της αραιότητας ενεργοποίησης 2:4, επιτυγχάνοντας παράλληλα επιτάχυνση στην εκπαίδευση και την εξαγωγή συμπερασμάτων (inference). Επιπλέον, το ELAS μειώνει το πρόσθετο κόστος μνήμης των ενεργοποιήσεων, ιδίως σε περιπτώσεις μεγάλων πακέτων δεδομένων.
Διαθεσιμότητα Κώδικα
Ο κώδικας είναι διαθέσιμος στο ELAS Repo.
