Αρκετά χρόνια μετά, τα τείχη του κάστρου παραμένουν ασφαλή. Πέρα από μια σύντομη περίοδο πανικού κατά την αρχική εμφάνιση του DeepSeek, τα μοντέλα τεχνητής νοημοσύνης ανοιχτού κώδικα δεν έχουν επιδείξει σημαντικά ανώτερες επιδόσεις σε σύγκριση με τα ιδιόκτητα μοντέλα. Ωστόσο, κανένα από τα κορυφαία εργαστήρια στον τομέα—όπως η OpenAI, η Anthropic και η Google—δεν διαθέτει μια πραγματική «αμυντική τάφρο» για να υπερηφανεύεται. Η εταιρεία που όντως διαθέτει μια τέτοια τάφρο είναι η Nvidia. Ο Διευθύνων Σύμβουλος της Nvidia, Jensen Huang, έχει χαρακτηρίσει αυτή την τάφρο ως τον πολυτιμότερο «θησαυρό» της εταιρείας. Δεν πρόκειται, όπως θα μπορούσε κανείς να υποθέσει για μια εταιρεία κατασκευής τσιπ, για ένα κομμάτι υλικού. Αντιθέτως, πρόκειται για κάτι που ονομάζεται CUDA. Αυτό που ακούγεται σαν μια χημική ένωση έχει καθιερωθεί ως η μοναδική πραγματική αμυντική τάφρος στον χώρο της τεχνητής νοημοσύνης.
Για να γίνει πιο κατανοητό, ας εξετάσουμε ένα απλό παράδειγμα. Ας υποθέσουμε ότι αναθέτουμε σε μια μηχανή την εργασία να συμπληρώσει έναν πίνακα πολλαπλασιασμού 9×9. Χρησιμοποιώντας έναν υπολογιστή με έναν μόνο πυρήνα επεξεργασίας, και οι 81 πράξεις εκτελούνται με σειρά, μία προς μία. Αντίθετα, ένα σύστημα με εννέα πυρήνες μπορεί να κατανείμει τις εργασίες έτσι ώστε κάθε πυρήνας να αναλάβει μια διαφορετική στήλη—για παράδειγμα, ο ένας από το 1×1 έως το 1×9, ο άλλος από το 2×1 έως το 2×9, και ούτω καθεξής—επιτυγχάνοντας έτσι μια εννιαπλάσια αύξηση στην ταχύτητα εκτέλεσης. Οι σύγχρονες μονάδες επεξεργασίας γραφικών (GPUs) μπορούν να λειτουργήσουν ακόμα πιο έξυπνα. Για παράδειγμα, εάν προγραμματιστούν να αναγνωρίζουν την αντιμεταθετική ιδιότητα του πολλαπλασιασμού—όπως το 7×9 = 9×7—μπορούν να αποφύγουν την επανάληψη εργασιών, μειώνοντας τις 81 πράξεις σε μόλις 45, σχεδόν υποδιπλασιάζοντας τον φόρτο εργασίας. Όταν μια μόνο εκπαίδευση μοντέλου μπορεί να κοστίσει εκατό εκατομμύρια δολάρια, κάθε βελτιστοποίηση έχει τεράστια σημασία.
Οι GPUs της Nvidia αρχικά σχεδιάστηκαν και κατασκευάστηκαν για την απόδοση γραφικών σε βιντεοπαιχνίδια. Στις αρχές της δεκαετίας του 2000, ένας φοιτητής διδακτορικού στο Πανεπιστήμιο του Στάνφορντ, ονόματι Ian Buck, ο οποίος αρχικά ασχολήθηκε με τις GPUs ως λάτρης των παιχνιδιών, συνειδητοποίησε ότι η αρχιτεκτονική τους θα μπορούσε να επαναχρησιμοποιηθεί για γενικούς υπολογισμούς υψηλής απόδοσης. Δημιούργησε μια γλώσσα προγραμματισμού που ονομάστηκε Brook, προσλήφθηκε από την Nvidia, και, μαζί με τον John Nickolls, ηγήθηκε της ανάπτυξης του CUDA. Εάν η τεχνητή νοημοσύνη οδηγήσει στην εποχή μιας μόνιμης υποκατηγορίας εργαζομένων γραφείου και αυτόνομων όπλων, αρκεί να γνωρίζετε ότι όλα αυτά θα οφείλονται στο γεγονός ότι κάποιος, κάπου, παίζοντας το παιχνίδι Doom, σκέφτηκε ότι το όσχεο ενός δαίμονα θα έπρεπε να κουνιέται με 60 καρέ ανά δευτερόλεπτο.
Το CUDA δεν αποτελεί μια γλώσσα προγραμματισμού από μόνο του, αλλά μια «πλατφόρμα». Χρησιμοποιώ αυτή την κάπως ασαφή λέξη διότι, παρόμοια με το πώς οι New York Times είναι μια εφημερίδα που λειτουργεί και ως εταιρεία παιχνιδιών, το CUDA έχει εξελιχθεί, με την πάροδο των ετών, σε ένα σύνθετο σύνολο βιβλιοθηκών λογισμικού ειδικά σχεδιασμένων για την τεχνητή νοημοσύνη. Κάθε λειτουργία αυτών των βιβλιοθηκών μειώνει νανοδευτερόλεπτα από μεμονωμένες μαθηματικές πράξεις—και αθροιστικά, αυτές οι βελτιώσεις κάνουν τις GPUs, στην ορολογία του κλάδου, να λειτουργούν με εξαιρετικά υψηλή ταχύτητα, ή αλλιώς «να κάνουν brrr».
Για να επεκτείνουμε την μεταφορά, οι χειροποίητες βιβλιοθήκες CUDA, βελτιστοποιημένες για μια συγκεκριμένη πράξη πινάκων, είναι ισοδύναμες με εργαλεία κουζίνας σχεδιασμένα για μία και μόνο εργασία—όπως ένα εργαλείο για την αφαίρεση κουκουτσιών από κεράσια ή ένα εργαλείο για τον καθαρισμό γαρίδων—τα οποία αποτελούν πολυτέλειες για τους οικιακούς μάγειρες, αλλά είναι απαραίτητα αν πρέπει να καθαρίσετε 10.000 γαρίδες. Αυτό μας επαναφέρει στην περίπτωση του DeepSeek. Οι μηχανικοί του DeepSeek προχώρησαν κάτω από αυτό το ήδη βαθύ επίπεδο αφαίρεσης, για να εργαστούν απευθείας στην PTX, μια μορφή γλώσσας assembly για τις GPUs της Nvidia. Ας υποθέσουμε ότι η εργασία είναι το ξεφλούδισμα σκόρδου. Μια μη βελτιστοποιημένη GPU θα έδινε την εντολή: «Peel the skin with your fingernails.» Το CUDA μπορεί να δώσει την οδηγία: «Smash the clove with the flat of a knife.» Η PTX, από την άλλη πλευρά, επιτρέπει την υπαγόρευση κάθε υπο-οδηγίας με ακρίβεια: «Lift the blade 2.35 inches above the cutting board, make it parallel to the clove’s equator, and strike downward with your palm at a force of 36.2 newtons.»
Είναι πλέον εμφανές γιατί το CUDA είναι τόσο πολύτιμο για την Nvidia—και γιατί είναι τόσο δύσκολο για οποιονδήποτε άλλο να το ανταγωνιστεί. Η βελτιστοποίηση της απόδοσης των GPUs αποτελεί ένα εξαιρετικά περίπλοκο και απαιτητικό πρόβλημα. Δεν μπορεί κανείς απλώς να επιστρατεύσει έναν άπειρο προπτυχιακό φοιτητή από την Market Street, να του δώσει ένα σχέδιο Claude Max και να περιμένει από αυτόν να προγραμματίσει πυρήνες GPU. Η συγγραφή κώδικα σε αυτό το επίπεδο είναι μια επίπονη και χρονοβόρα διαδικασία—εκτός αν είστε ένας εξαιρετικά ικανός προγραμματιστής, όπως αυτοί που εργάζονται στην DeepSeek.
Μια απλή πράξη πολλαπλασιασμού πινάκων, η οποία συνήθως απαιτεί τρεις γραμμές κώδικα στο PyTorch—ένα ευρέως χρησιμοποιούμενο πλαίσιο μηχανικής μάθησης—απαίτησε πάνω από 50 γραμμές κώδικα στο CUDA. Η επίτευξη της μέγιστης δυνατής απόδοσης, όπως αποδεικνύεται, είναι μια αξιοθαύμαστη αλλά εξαιρετικά κουραστική διαδικασία. Έχοντας «βουτήξει το δάχτυλό μου στην τάφρο», μπορώ να επιβεβαιώσω ότι είναι πράγματι βαθιά και απροσπέλαστη.
Η κυριαρχία του CUDA δεν βασίζεται μόνο στην ποιότητα του οικοσυστήματός του, αλλά και σε ένα φαινόμενο «κλειδώματος» (lock-in effect). Δεδομένου ότι τα σύγχρονα πλαίσια μηχανικής μάθησης είναι δομημένα πάνω στο CUDA, το οποίο λειτουργεί αποκλειστικά σε τσιπ της Nvidia, τα τσιπ της AMD υπολείπονται σε απόδοση, ακόμη και όταν διαθέτουν περισσότερους πυρήνες και μνήμη. Η σύγκριση των τσιπ είναι σαν τη σύγκριση αγωνιστικών αυτοκινήτων σε θεωρητικό επίπεδο, ενώ η πραγματική απόδοση μπορεί να μετρηθεί μόνο στην πίστα.
Μια δεύτερη αποκάλυψη: Είχα την πρόθεση να πραγματοποιήσω συγκριτικές δοκιμές (benchmarking) σε δύο τσιπ, αλλά δεν υπήρχε τρόπος να καλύψω τα έξοδα για μια Nvidia H100 και μια AMD MI300X χωρίς να καταλήξω στη «μαύρη λίστα» της Condé Nast. Αντ’ αυτού, θα πρέπει να βασιστείτε στην αξιοπιστία ανεξάρτητων ερευνητών, οι οποίοι διαπίστωσαν ότι, ακόμη και με ανώτερες προδιαγραφές στα χαρτιά, η AMD υπερκεράστηκε.
Το πλεονέκτημα της Nvidia στον τομέα του λογισμικού ενδέχεται να οφείλεται στο γεγονός ότι, ασυνήθιστα για μια εταιρεία κατασκευής τσιπ, προσλαμβάνει περισσότερους μηχανικούς λογισμικού παρά μηχανικούς υλικού. Εάν ήμουν επικεφαλής της AMD, ίσως ακολουθούσα την ίδια στρατηγική. (Αλλά ποιος με ρωτάει;)
Εν τω μεταξύ, η απάντηση της AMD στο CUDA, το ROCm, έχει ένα ακόμα χειρότερο όνομα από το CUDA—προφέρεται «ροκ καμ»; (Ξεχάστε την πρόσληψη περισσότερων προγραμματιστών—αποκτήστε μια νέα ομάδα μάρκετινγκ.) Επιπλέον, έχει αντιμετωπίσει τόσα πολλά προβλήματα που το subreddit του μοιάζει με ομάδα υποστήριξης.
Ας μην ξεχνάμε την Intel. Ενώ είναι εύκολο να την απορρίψουμε ως μια αποτυχημένη εταιρεία κατασκευής τσιπ, η πρόσφατη ιστορία της αποκαλύπτει ότι είναι επίσης μια αποτυχημένη εταιρεία λογισμικού. Σε μια τελευταία προσπάθεια να διατηρήσει τη συνάφειά της, κυκλοφόρησε το oneAPI, αλλά από το 2026, γνωρίζουμε με βεβαιότητα ότι το CUDA εξακολουθεί να κυριαρχεί. Εάν υπάρχει κάποιος σοβαρός ανταγωνιστής, αυτός είναι η Modular, με επικεφαλής τον θρυλικό σχεδιαστή γλωσσών προγραμματισμού, ο οποίος συγκαταλέγει στις δημιουργίες του την Swift της Apple και το LLVM.
Ωστόσο, το κοινό μυστικό είναι ότι, όπως ακριβώς οι θεωρητικοί φυσικοί δεν μπορούν να αλλάξουν ένα ελαστικό για να σώσουν τη ζωή τους, οι περισσότεροι ερευνητές τεχνητής νοημοσύνης δεν μπορούν να γράψουν ούτε μία γραμμή κώδικα C++. Υπάρχουν πολύ λίγοι καλοί μηχανικοί πυρήνων GPU εν ζωή, και πολλοί από αυτούς απασχολούνται σε εταιρείες. Πριν οι influencers αρχίσουν να εμπορεύονται την επιρροή τους, αυτοί οι μηχανικοί εργάζονταν επιμελώς στο CUDA χωρίς αναγνώριση. Ακόμη και οι αξιόπιστοι κώδικες τεχνητής νοημοσύνης δυσκολεύονται ακόμα με τον κώδικα πυρήνων.
Η Nvidia, τελικά, ενδέχεται να βρίσκεται πιο κοντά στην Apple παρά στην AMD ή την Intel. Είναι μια εξαιρετική εταιρεία υλικού ακριβώς επειδή είναι μια εταιρεία λογισμικού. Η «αμυντική τάφρος» της Apple έναντι του Android δεν ήταν ποτέ μόνο το iPhone, αλλά το συνολικό οικοσύστημα: το iOS, το App Store και οι προγραμματιστές του. Σίγουρα, μπορείτε να διπλώσετε ένα Samsung Galaxy στη μέση, αλλά θέλετε πραγματικά να χρησιμοποιήσετε το Samsung Pay; Εν τω μεταξύ, η βιομηχανία θα πρέπει να συμβιβαστεί με τις προκλητικές τιμές της Nvidia.
Αυτό αποτελεί το πρώτο μέρος μιας τριμερούς σειράς άρθρων του Machine Readable σχετικά με τις γλώσσες που υποστηρίζουν την τεχνητή νοημοσύνη.
