Artificial Intelligence 2 λεπτά ανάγνωσης

Ανακοίνωση από arXiv:2605.02520v1: Σύγκριση Στρατηγικών Ανάκτησης στη Βιοϊατρική

Η μελέτη εξετάζει την Ανάκτηση Ενισχυμένης Γενεάς (RAG), η οποία αποτελεί αξιόπιστη μέθοδο για την ενσωμάτωση εξωτερικής γνώσης στις εξόδους μεγάλων γλωσσικών μοντέλων (LLM). Παρά την ευρεία χρήση της, η βέλτιστη στρατηγική ανάκτησης στη βιοϊατρική δεν έχει αξιολογηθεί συστηματικά με πολλαπλά κριτήρια. Το παρόν έγγραφο παρέχει μια συστηματική εμπειρική σύγκριση πέντε στρατηγικών ανάκτησης – Αναζήτηση Πυκνών Διανυσμάτων, Υβριδική BM25 + Πυκνή Ανάκτηση, Επανεκτίμηση με Εγκάρσιο Κωδικοποιητή, Πολυδιάστατη Επέκταση Ερωτημάτων και Μέγιστη Οριακή Σημασία (MMR) – εντός ενός αγωγού RAG για βιοϊατρικά ερωτήματα και απαντήσεις.

Όλες οι στρατηγικές χρησιμοποιούν ένα σταθερό μοντέλο γενεάς (GPT-4o-mini), μια κοινή βάση δεδομένων διανυσμάτων (ChromaDB) και τις ενσωματώσεις text-embedding-3-small της OpenAI, διασφαλίζοντας ότι οι διαφορές οφείλονται αποκλειστικά στην ανάκτηση. Η αξιολόγηση πραγματοποιείται σε 250 ζεύγη ερωτήσεων-απαντήσεων από ένα προκατεργασμένο υποσύνολο του δείγματος BioASQ (rag-mini-bioasq) χρησιμοποιώντας τέσσερις μετρικές DeepEval: ακρίβεια στο πλαίσιο, ανάκληση στο πλαίσιο, πιστότητα και σχετικότητα απάντησης, με αναφορές σε 95% διαστήματα εμπιστοσύνης. Περιλαμβάνεται και αφαίρεση χωρίς πλαίσιο ως κατώτερο όριο.

Η Επανεκτίμηση με Εγκάρσιο Κωδικοποιητή επιτυγχάνει την καλύτερη συνολική βαθμολογία (0.827) και την υψηλότερη ακρίβεια στο πλαίσιο (0.852), επιβεβαιώνοντας ότι η αλληλεπίδραση ερώτησης-εγγράφου προσφέρει μετρήσιμα κέρδη ανάκτησης. Αν και ο σχεδιασμός της Πολυδιάστατης Επέκτασης Ερωτημάτων επικεντρώνεται στην ανάκληση, παρουσιάζει τη χαμηλότερη ακρίβεια στο πλαίσιο (0.671), υποδεικνύοντας ότι η απλή διαφοροποίηση ερωτήσεων εισάγει θόρυβο ανάκτησης. Η MMR θυσιάζει τη σχετικότητα απάντησης για ποικιλία, ενώ η βασική Πυκνή ανάκτηση (συνολική 0.822) βρίσκεται πολύ κοντά στη κορυφαία στρατηγική.

Όλες οι συνθήκες RAG υπερέχουν σημαντικά της αφαίρεσης χωρίς πλαίσιο στη σχετικότητα απάντησης (0.658-0.701 έναντι 0.287), επιβεβαιώνοντας την πρακτική αξία της ανάκτησης. Ο πλήρης αγωγός, οι υπερπαράμετροι και ο κώδικας αξιολόγησης είναι διαθέσιμοι στο κοινό.