Ερευνητές του Πανεπιστημίου Πρίνστον δημιούργησαν το CEO-Bench, μια δοκιμή όπου παράγοντες τεχνητής νοημοσύνης (AI agents) καλούνται να διαχειριστούν μια φανταστική εταιρεία λογισμικού για 500 προσομοιωμένες ημέρες. Τα περισσότερα από τα τρέχοντα μοντέλα οδηγούνται σε πτώχευση, ενώ ένας απλός ευρετικός κανόνας, χωρίς τη χρήση τεχνητής νοημοσύνης, υπερτερεί σχεδόν όλων αυτών.
Οι παράγοντες τεχνητής νοημοσύνης βελτιώνονται συνεχώς σε εξειδικευμένες εργασίες: τη διόρθωση ενός σφάλματος, την τήρηση μιας πολιτικής εξυπηρέτησης σε μια συνομιλία ή την ολοκλήρωση μιας διαδικασίας εργασίας μέσω διαδικτύου. Αυτές οι εργασίες μοιράζονται μια απλή δομή, σύμφωνα με τη μελέτη του Πρίνστον: ο παράγοντας λαμβάνει έναν σαφή στόχο, ενεργεί σύντομα και λαμβάνει άμεση ανατροφοδότηση. Πολλές σημαντικές εργασίες του πραγματικού κόσμου δεν μοιάζουν καθόλου με αυτό. Περιλαμβάνουν μακρές αλυσίδες αποφάσεων υπό συνθήκες αβεβαιότητας, όπου απαιτείται ο καθορισμός προτεραιοτήτων, η κατανομή περιορισμένων πόρων, η ανάγνωση θορυβωδών σημάτων και η προσαρμογή σε μεταβαλλόμενες συνθήκες.
Για να δοκιμάσουν ακριβώς αυτές τις δεξιότητες, οι ερευνητές ανέπτυξαν το CEO-Bench. Το σημείο αναφοράς προσομοιώνει ένα ρεαλιστικό παράδειγμα αυτού του είδους εργασίας μακροπρόθεσμου ορίζοντα: τη λειτουργία μιας νεοφυούς επιχείρησης για 500 προσομοιωμένες ημέρες.
Οι ερευνητές αναφέρουν ένα διάσημο παράδειγμα: το 1997, η Apple απείχε 90 ημέρες από την πτώχευση. Ο Στιβ Τζομπς σχεδίασε ένα απλό πλέγμα δύο επί δύο – καταναλωτικά και επαγγελματικά, επιτραπέζια και φορητά – και αποφάσισε ότι η Apple θα κατασκεύαζε προϊόντα μόνο για αυτά τα τέσσερα τεταρτημόρια. Ακολούθησαν το iMac, το iPod και το iPhone.
Αυτός ο τύπος στρατηγικής κατευθυντήριας νοημοσύνης διαφέρει θεμελιωδώς από αυτό που κάνουν οι παράγοντες τεχνητής νοημοσύνης σήμερα, υποστηρίζουν οι συγγραφείς. Οι παράγοντες βελτιώνονται γρήγορα σε μεμονωμένες εργασίες. Αλλά η καθοδήγηση ενός ολόκληρου οργανισμού προς μακροπρόθεσμους στόχους; Αυτό είναι ένα εντελώς διαφορετικό πρόβλημα. Το CEO-Bench αποτελεί μια πρώτη προσπάθεια μέτρησης ακριβώς αυτής της «κατευθυντήριας νοημοσύνης».
Ένας Διευθύνων Σύμβουλος Τεχνητής Νοημοσύνης για μια φανταστική εταιρεία λογισμικού
Στο CEO-Bench, ένας παράγοντας διαχειρίζεται μια φανταστική εταιρεία λογισμικού συνδρομητικών υπηρεσιών με την ονομασία NovaMind. Ξεκινά με μηδέν πελάτες και ένα εκατομμύριο δολάρια στην τράπεζα. Η απόδοση μετράται με βάση την οικονομική κατάσταση. Εάν το υπόλοιπο πέσει κάτω από το μηδέν έστω και μία φορά, η εταιρεία κηρύσσεται σε πτώχευση και η προσομοίωση τερματίζεται.
Ο παράγοντας ελέγχει την εταιρεία μέσω ενός Python API με 34 εργαλεία και μια βάση δεδομένων με 19 πίνακες. Αντί να εκδίδει απλώς μεμονωμένες εντολές, γράφει τον δικό του κώδικα, υποβάλλει ερωτήματα στη βάση δεδομένων με SQL και δημιουργεί προσαρμοσμένες ροές εργασίας από τα αποτελέσματα. Αυτό τον φέρνει αντιμέτωπο με τις ίδιες προκλήσεις που θα αντιμετώπιζε ένας ανθρώπινος Διευθύνων Σύμβουλος, αναφέρουν οι ερευνητές.
Η πιο ενδεικτική σύγκριση γίνεται με έναν απλό ευρετικό κανόνα που δεν χρησιμοποιεί καθόλου γλωσσικό μοντέλο. Αυτός ο κανόνας καθορίζει σταθερές τιμές, ποσοστώσεις και επίπεδα υπηρεσιών, εστιάζει τη διαφήμιση και τη στοχευμένη ανάπτυξη σε ένα μικρό σύνολο τμημάτων πελατών και προσαρμόζει την χωρητικότητα με βάση την πρόσφατη χρήση. Αυτός ο ευρετικός κανόνας φτάνει τα 15,76 εκατομμύρια δολάρια, ξεπερνώντας κάθε μοντέλο εκτός από τα Fable 5, Opus 4.8 και GPT-5.5.
Οι ερευνητές εκτιμούν επίσης χονδρικά το ανώτερο όριο των επιτεύξιμων τελικών μετρητών σε περίπου 2,2 δισεκατομμύρια δολάρια. Ακόμη και οι καλύτεροι παράγοντες υπολείπονται κατά πολύ. Η δοκιμή απέχει πολύ από το να έχει φτάσει στο μέγιστο των δυνατοτήτων της, λένε οι συγγραφείς.
Η εξερεύνηση υπερτερεί της προσοχής
Η ανάλυση των τροχιών αποφάσεων αποκαλύπτει σαφείς διαφορές συμπεριφοράς. Το GPT-5.5 και το Claude Opus 4.8 συνεχίζουν να δοκιμάζουν νέες στρατηγικές καθώς οι συνθήκες αλλάζουν, είτε αυτό σημαίνει αύξηση της απόκτησης πελατών, προσαρμογή των επιπέδων υπηρεσιών, είτε μετατόπιση των προϋπολογισμών υποστήριξης και Ε&Α. Το Claude Opus 4.7, κυρίως ανταποκρίνεται σε αναποδιές. Αυτή η παθητική προσέγγιση επιτρέπει στο μοντέλο να επιβιώσει μέχρι το τέλος, αλλά το εμποδίζει να αποκομίσει κέρδος.
Είναι ενδιαφέρον ότι τα Opus 4.8 και GPT-5.5 φτάνουν σε παρόμοια τελικά αποτελέσματα μέσω πολύ διαφορετικών διαδρομών: το Opus 4.8 αποκτά περισσότερους πελάτες νωρίς, αλλά πέφτει σε μηδέν πελάτες στα μέσα της προσομοίωσης, ενώ το GPT-5.5 διατηρεί την πελατειακή του βάση καθ’ όλη τη διάρκεια. Και τα δύο γράφουν εκπληκτικά εξελιγμένο κώδικα. Το Opus 4.8 δημιουργεί τη δική του εσωτερική προσομοίωση που μοντελοποιεί ομάδες πελατών για να προβλέψει τη μελλοντική ταμειακή ροή. Το GPT-5.5 αναζητά στο ιστορικό διαπραγματεύσεων στη βάση δεδομένων για να αποκαλύψει κρυφές προτιμήσεις πελατών.
Οι ερευνητές μετρούν τέσσερις ικανότητες που συσχετίζονται με την επιτυχία:
- την αποκάλυψη κρυφών πληροφοριών, όπως ποιο κανάλι διαφήμισης λειτουργεί καλύτερα για ένα δεδομένο τμήμα πελατών,
- την πρόβλεψη του μέλλοντος, μετρούμενη με προβλέψεις ταμειακών ροών εβδομάδων,
- την γρήγορη προσαρμογή στην αλλαγή, μετρούμενη με την αντίδραση σε μια κίνηση ανταγωνιστή,
- και τον προγραμματισμό εκ των προτέρων, μετρούμενο εν μέρει από σενάρια «αν-τότε» που εμφανίζονται στις σημειώσεις του παράγοντα.
Σε όλα τα τέσσερα σημεία, τα Opus 4.8 και GPT-5.5 σημειώνουν πάνω από τον μέσο όρο των άλλων μοντέλων.
Το περιβάλλον εργαλείων έχει επίσης σημασία
Ένα άλλο εύρημα αφορά το περιβάλλον λογισμικού που χρησιμοποιούν οι παράγοντες για να δράσουν. Οι ερευνητές δοκίμασαν επίσης το Claude Opus 4.7 με το Claude Code και το GPT-5.5 με το Codex, δύο δημοφιλείς βοηθούς κωδικοποίησης. Και στις δύο περιπτώσεις, οι παράγοντες έδρασαν πολύ λιγότερο συχνά και είχαν χειρότερη απόδοση. Οι ερευνητές υποψιάζονται ότι οι προτροπές συστήματος σε αυτά τα εργαλεία, οι οποίες είναι ρυθμισμένες για ανάπτυξη λογισμικού, αποτελούν την αιτία.
Η συντόμευση του χρονικού ορίζοντα δεν επιλύει επίσης το πρόβλημα. Όταν η προσομοίωση συμπιέζεται σε 50 ημέρες, μόνο το GPT-5.5 καταφέρνει να ολοκληρώσει με κέρδος. Τα περισσότερα μοντέλα, καταλήγουν οι ερευνητές, παραμένουν αδύναμα στον συντονισμό αποφάσεων ακόμη και προς έναν βραχυπρόθεσμο στόχο.
Οι συγγραφείς αναγνωρίζουν περιορισμούς στη ρύθμισή τους. Το προϊόν αντιπροσωπεύεται, αλλά δεν βρήκαν αξιόπιστο τρόπο αξιολόγησης ποιοτικών αλλαγών προϊόντων. Η συμμόρφωση, η ασφάλεια και η άντληση κεφαλαίων παραλείπονται για να διατηρηθεί κάθε εκτέλεση οικονομικά εφικτή. Ωστόσο, το CEO-Bench εκθέτει ένα χάσμα μεταξύ της τοπικής ικανότητας εργαλείων των σημερινών μοντέλων και της ικανότητας να συνδέουν ενέργειες σε μακροπρόθεσμους ορίζοντες σε μια συνεκτική στρατηγική, λένε.
