Ένας πράκτορας τεχνητής νοημοσύνης (ΤΝ) κατόρθωσε να διαμορφώσει τον βραχίονα, να τον χρησιμοποιήσει για οπτική αναγνώριση και αργή σύλληψη αντικειμένων, καθώς και να εκπαιδεύσει ένα άλλο μοντέλο ΤΝ για την ανύψωση και τοποθέτηση συγκεκριμένων αντικειμένων. Ενώ κάποιοι υποστηρίζουν ότι η Γενική Τεχνητή Νοημοσύνη (AGI) απέχει ακόμα αρκετά χρόνια, ο συγγραφέας αστειευόμενος σημειώνει ότι πιθανώς αυτό ισχύει.
Τα αποτελέσματα αυτά έχουν πείσει τον συγγραφέα ότι ενδέχεται να βρισκόμαστε στο κατώφλι μιας σημαντικής ανακάλυψης στον τομέα της ρομποτικής. Η εκπαίδευση και ο έλεγχος των ρομπότ απαιτούσαν στο παρελθόν σημαντικές δεξιότητες. Τα σύγχρονα μοντέλα τεχνητής νοημοσύνης καθιστούν πλέον αυτή τη διαδικασία σχεδόν εύκολη.
«AI-powered coding is super exciting because it has the potential to bridge the gap between conventional engineering methods, which are reliable but don’t generalize, and contemporary vision-language-action models, which generalize but are not yet reliable,» δηλώνει ο Κεν Γκόλντμπεργκ, ρομποτιστής στο Πανεπιστήμιο της Καλιφόρνιας στο Μπέρκλεϊ (UC Berkeley), ο οποίος διερευνά αυτή την προσέγγιση.
Ο συγγραφέας προμηθεύτηκε έναν προσυναρμολογημένο βραχίονα με την ονομασία LeRobot 101. Αυτός αποτελεί μέρος ενός έργου ανοιχτού κώδικα της HuggingFace, το οποίο καθιστά σχετικά οικονομική την έναρξη της κατασκευής και του πειραματισμού με τη ρομποτική.
Το LeRobot περιλαμβάνει δύο βραχίονες: έναν βραχίονα ελέγχου, τον οποίο χειρίζεται ένα άτομο χρησιμοποιώντας μια λαβή και μια σκανδάλη, και έναν βραχίονα-ακόλουθο με κάμερα, ο οποίος αναπαράγει αυτές τις κινήσεις. Είναι δυνατή η εκπαίδευση ενός μοντέλου ΤΝ, ώστε να μάθει πώς να κινεί τον βραχίονα-ακόλουθο ανταποκρινόμενο σε όσα βλέπει μέσω της κάμερας.
Κατασκευή με το OpenClaw
Πριν από τη χρήση του OpenClaw, ο συγγραφέας αφιέρωσε αρκετές ώρες προσπαθώντας να συνδέσει και να βαθμονομήσει το ρομπότ, φτάνοντας σε ένα σημείο να προκαλέσει σχεδόν βλάβη στους κινητήρες, οι οποίοι υπερθερμάνθηκαν.
Στη συνέχεια, με τη βοήθεια των OpenClaw και Codex, κατέστη δυνατή η «vibe-κωδικοποίηση» ενός απλού προγράμματος που έκλεινε τη λαβίδα του ρομπότ όταν εντόπιζε μια κόκκινη μπάλα. Στο τερματικό, το Codex ανέλαβε την περίπλοκη εργασία της διαμόρφωσης των συνδέσεων με το ρομπότ. Έπειτα, με τη συνδρομή του συγγραφέα, βαθμονόμησε τις θέσεις των αρθρώσεών του. Επίσης, συνέταξε ένα σενάριο Python που χρησιμοποιούσε διάφορες βιβλιοθήκες για την αναγνώριση και τη σύλληψη της εν λόγω μπάλας. Η «vibe-κωδικοποίηση» δεν είναι βέβαια τέλεια, και οι «παραισθήσεις» μπορούν να εισάγουν σφάλματα, ειδικά όταν εργάζεται κανείς με διαφορετικό υλικό, αλλά τα αποτελέσματα ήταν εντυπωσιακά.
Αυτό ήταν ένα αξιόλογο αποτέλεσμα, αλλά όχι ακριβώς επιπέδου «Εξολοθρευτή». Στη συνέχεια, ο συγγραφέας επιχείρησε να χρησιμοποιήσει το OpenClaw για την εκπαίδευση ενός μοντέλου που θα έλεγχε τον βραχίονα. Πειραματίστηκαν με διάφορες προσεγγίσεις, και το OpenClaw αποδείχθηκε ικανό να καθοδηγήσει τη διαδικασία και να ελέγχει το ποσοστό σφάλματος του μοντέλου μετά από κάθε εκπαιδευτική εκτέλεση.
Ο Κώδικας ως Πολιτική
Η ιδέα ότι ο προγραμματισμός με τη δύναμη της τεχνητής νοημοσύνης θα μπορούσε να προσφέρει έναν ισχυρό νέο τρόπο κατασκευής ρομπότ αναδείχθηκε για πρώτη φορά σε μια ερευνητική εργασία του 2022, η οποία ονόμασε την προσέγγιση «κώδικας ως πολιτική». Έκτοτε, οι δεξιότητες προγραμματισμού της ΤΝ έχουν προχωρήσει με ιλιγγιώδη ρυθμό, και η μέθοδος «κώδικας ως πολιτική» έχει κερδίσει έδαφος σε πολλά εργαστήρια.
Η ερευνητική ομάδα του Κεν Γκόλντμπεργκ, σε συνεργασία με ερευνητές από την Nvidia, το Πανεπιστήμιο Carnegie Mellon και το Πανεπιστήμιο του Στάνφορντ, ανέπτυξε πρόσφατα ένα νέο σημείο αναφοράς, το CaP-X, για τη μέτρηση των ρομποτικών δυνατοτήτων των μοντέλων κωδικοποίησης. Είναι ενδιαφέρον ότι το CaP-X δείχνει πως το καλύτερο μοντέλο για τον προγραμματισμό ρομπότ δεν είναι το Claude ή το ChatGPT, αλλά το Gemini — πιθανώς επειδή η Google DeepMind έχει επικεντρωθεί στην εκπαίδευση των μοντέλων της ώστε να είναι πολυτροπικά και να κατανοούν τον φυσικό κόσμο. Μαζί με το σημείο αναφοράς, οι ερευνητές δημιούργησαν το CaP-Gym, ένα περιβάλλον που επιτρέπει στους πράκτορες κωδικοποίησης να ελέγχουν τόσο προσομοιωμένα όσο και πραγματικά ρομπότ. Ανέπτυξαν επίσης το CaP-Agent0, ένα πρακτορικό πλαίσιο που ενισχύει την απόδοση των μοντέλων κωδικοποίησης τόσο πολύ, ώστε να ξεπερνούν μοντέλα που έχουν εκπαιδευτεί να ελέγχουν απευθείας τις κινήσεις ενός ρομπότ σε ορισμένες εργασίες χειρισμού.
Η ομάδα του Κεν Γκόλντμπεργκ συνεργάζεται με την Nvidia για να διερευνήσει τις δυνατότητες της προσέγγισης «κώδικας ως πολιτική». Ο συγγραφέας συνομίλησε με τον Σπένσερ Χουάνγκ (γιο του Τζένσεν Χουάνγκ), ο οποίος έχει συμμετάσχει στη διοργάνωση hackathons εντός της εταιρείας, ώστε οι άνθρωποι να δοκιμάσουν τις ικανότητές τους στην «vibe-κωδικοποίηση» ρομπότ. Ο Χουάνγκ εργάζεται επί του παρόντος σε ένα ερευνητικό έργο με τον Γκόλντμπεργκ, το οποίο αναμένεται να καταστήσει την προσέγγιση «κώδικας ως πολιτική» συμβατή με περισσότερα εργαλεία λογισμικού ρομπότ.
«Nearly anyone can get into robotics, which is the true holy grail,» Huang tells me. Making it possible for people to control robots with spoken or typed commands, or , is the «critical unlock for robots in society,» he adds.
