Η λεπτομερής ρύθμιση Μεγάλων Γλωσσικών Μοντέλων (LLMs) μέσω της Προσαρμογής Χαμηλής Βαθμίδας (LoRA) παρέχει μια αποδοτική ως προς τους πόρους μέθοδο για εξατομίκευση ή εξειδίκευση. Ωστόσο, η LoRA παρουσιάζει μεγάλη ευαισθησία στις επιλογές των υπερπαραμέτρων, ενώ η εξαντλητική αναζήτηση αυτών είναι υπολογιστικά δαπανηρή. Για την αντιμετώπιση αυτού του ζητήματος, προτείνεται ένα πλαίσιο Βελτιστοποίησης Bayes (BO) το οποίο αξιοποιεί την ειδική γνώση προ-εκπαιδευμένων LLMs για την αποτελεσματική αναζήτηση των υπερπαραμέτρων της LoRA.
Η προσέγγιση αυτή επαναχρησιμοποιεί ένα προ-εκπαιδευμένο LLM ως μια μονάδα χαρτογράφησης από διακριτό σε συνεχές, με σκοπό τη σύνδεση των υπερπαραμέτρων και της ειδικής γνώσης τους με έναν συνεχή διανυσματικό χώρο, εντός του οποίου διεξάγεται η Βελτιστοποίηση Bayes. Ο σχεδιασμός και ο έλεγχος της χαρτογράφησης επιτυγχάνονται μέσω γλωσσικής προτροπής, παρέχοντας μια κειμενική προτροπή με επίγνωση του πεδίου, η οποία περιγράφει τις σχέσεις μεταξύ των υπερπαραμέτρων και τους αντίστοιχους ρόλους τους. Αυτό καθιστά εφικτή την σαφή εισαγωγή ειδικής γνώσης σχετικά με τη LoRA στο LLM, χρησιμοποιώντας φυσική γλώσσα.
Επιπλέον, εισάγεται ένα επιπρόσθετο εκπαιδεύσιμο διακριτικό (token) για την καταγραφή υπολειπόμενων πληροφοριών που είναι δύσκολο να περιγραφούν γλωσσικά στην προτροπή. Αυτό συμβάλλει στη Βελτιστοποίηση Bayes να επιλέγει υπερπαραμέτρους με υψηλότερη απόδοση. Επιπροσθέτως, μεταξύ της απόδοσης που επιτυγχάνεται από πλήρη και υποσύνολα δεδομένων εκπαίδευσης σε καθεστώτα εκπαίδευσης LoRA, εισάγεται μια εκπαίδευση και αξιολόγηση μέσω αντιπροσώπου (proxy) χρησιμοποιώντας ένα υποσύνολο δεδομένων. Αυτό βελτιώνει σημαντικά την αποδοτικότητα της προτεινόμενης μεθόδου.
Αποδεικνύεται ότι η υπερπαράμετρος που ανακαλύφθηκε με περίπου 30 επαναλήψεις επιτυγχάνει βελτίωση απόδοσης άνω του 20% σε σύγκριση με τις τυπικές υπερπαραμέτρους που προέκυψαν από περίπου 45.000 συνδυασμούς.
Σελίδα έργου: https://baekseongeun.github.io/lora-bo/
