Η Amazon ανακοίνωσε ότι πρόσφατα πέτυχε μια σημαντική εξέλιξη στον σχεδιασμό δικτύων και ότι αναπτύσσει αθόρυβα τη νέα τεχνολογία στα κέντρα δεδομένων της από τα τέλη του περασμένου έτους. Η εταιρεία ισχυρίζεται ότι έχει αυξήσει σημαντικά τις ταχύτητες μεταφοράς δεδομένων, ενώ παράλληλα έχει μειώσει την κατανάλωση ενέργειας, προσδίδοντας ενδεχομένως στον τεχνολογικό κολοσσό ένα ανταγωνιστικό πλεονέκτημα, καθώς οι εταιρείες επιδιώκουν να κατασκευάσουν ολοένα και ταχύτερα συστήματα στο cloud.
Η νέα τεχνολογία βασίζεται σε έναν «ημι-τυχαίο» σχεδιασμό, ο οποίος συνδυάζει στοιχεία παραδοσιακών, δομημένων δικτύων δεδομένων με τα πλεονεκτήματα απόδοσης πιο τυχαίων αρχιτεκτονικών. Ερευνητές έχουν εξερευνήσει τα τυχαία δίκτυα για δεκαετίες, αλλά η τεχνολογία δεν είχε ποτέ εφαρμοστεί επιτυχώς σε μεγάλη κλίμακα. Τώρα, η Amazon πιστεύει ότι έχει βρει τη λύση.
Το γεγονός ότι η Amazon χρησιμοποιεί αυτή την τεχνολογία στον πραγματικό κόσμο είναι «αξιοσημείωτο», δηλώνει ο Brighten Godfrey, καθηγητής επιστήμης υπολογιστών στο Πανεπιστήμιο του Ιλινόις στην Urbana-Champaign και ειδικός σε θέματα δικτύωσης, ο οποίος δεν συμμετείχε στην έρευνα της Amazon. Ο Godfrey συνυπέγραψε μια θεμελιώδη εργασία του 2012 σχετικά με τα τυχαία γραφήματα δικτύων, τα οποία, όπως αναφέρει, αποτελούν «ένα πρόβλημα που προκαλεί σύγχυση στην επίλυσή του, γενικά».
Μια ομάδα μηχανικών και ερευνητών της Amazon Web Services, συμπεριλαμβανομένων αρκετών που προσελήφθησαν από τον ακαδημαϊκό χώρο, εργάζεται πάνω στο πρόβλημα της τυχαίας δικτύωσης από το 2023. Η Amazon σχεδίασε επίσης ένα νέο κομμάτι εξοπλισμού κέντρων δεδομένων, το οποίο ονόμασε ShuffleBox, και το οποίο ανακατεύει αυτόματα τα καλώδια που απαιτούνται για αυτό το είδος δικτύωσης.
«We eliminated the bottlenecks that come with traditional networking designs» δήλωσε ο Matt Rehder, αντιπρόεδρος του AWS Network Engineering, σε αποκλειστική συνέντευξη στο WIRED. «We think we’re the only ones who have done this at scale.»
Επιδράσεις Δικτύου
Η Amazon παρουσίασε λεπτομερώς τον νέο της σχεδιασμό δικτύωσης σε μια εργασία που δημοσιεύθηκε τον περασμένο μήνα με τίτλο «RNG: Flat Datacenter Networks at Scale». Το RNG αποτελεί ακρωνύμιο του όρου «resilient network graphs» (ανθεκτικά γραφήματα δικτύου), τα οποία δεν είναι ούτε πλήρως δομημένα ούτε πλήρως τυχαία.
Είναι ενδιαφέρον ότι η ομάδα της Amazon πίσω από το RNG δεν εστιάζει αυτή την πρόταση δικτύωσης γύρω από την παραγωγική τεχνητή νοημοσύνη. Πρόκειται για την αύξηση της αποδοτικότητας της καθημερινής αρχιτεκτονικής των κέντρων δεδομένων της εταιρείας. «RNG is a great fit for our core demands, but AI training data patterns are far more coordinated and centrally orchestrated, so they don’t approximate a random graph,» αναφέρει ο Rehder.
Από τα μέσα της δεκαετίας του 1980, τα δίκτυα επικοινωνιών – από τις τηλεπικοινωνίες έως τα κέντρα δεδομένων – έχουν σχεδιαστεί κυρίως με μια τοπολογία «fat-tree», η οποία περιλαμβάνει δύο ή τρία κάθετα επίπεδα μεταγωγέων και δρομολογητών. Αυτά συνδέονται με «χοντρούς» κόμβους στην κορυφή της δομής, όπου υπάρχουν πολλαπλοί δρομολογητές του ίδιου τύπου, και λεπτότερα κλαδιά προς τα κάτω. Με απλά λόγια, σε ένα δίκτυο fat-tree, τα δεδομένα κινούνται πάνω-κάτω στην ιεραρχία. Το αυξημένο εύρος ζώνης κοντά στην κορυφή της δομής, όπου τα δεδομένα διαχωρίζονται, συμβάλλει στην εξάλειψη των σημείων συμφόρησης.
Με την πάροδο του χρόνου, η τεχνολογική βιομηχανία έχει αναπτύξει και εφαρμόσει παραλλαγές της αρχιτεκτονικής fat-tree. Ωστόσο, ο σχεδιασμός έχει περιθώρια βελτίωσης. Είναι γενικά αξιόπιστος, αλλά και άκαμπτος, αναποτελεσματικός και απαιτεί πολύπλοκη καλωδίωση. Δηλαδή, πραγματικά φυσικά καλώδια.
Εάν έχετε βρεθεί ποτέ σε ένα κέντρο δεδομένων ή σε ένα δωμάτιο διακομιστών γραφείου, πιθανότατα έχετε δει φωλιές από πολύχρωμα καλώδια να ξεχύνονται από μεταλλικά ράφια. Η καλωδίωση είναι ένα από τα μεγαλύτερα κόστη στη δικτύωση, λέει ο Rehder, και τα παγκόσμια κέντρα δεδομένων της Amazon συνδέονται επί του παρόντος με 20 εκατομμύρια χιλιόμετρα οπτικών ινών. Αυτή είναι περίπου η απόσταση που θα χρειαζόταν για να ταξιδέψει κανείς από τη Γη στη Σελήνη και πίσω 25 φορές.
Το 2012, καθώς η ζήτηση για υπηρεσίες cloud computing εκτοξευόταν, μια ομάδα ερευνητών στο Πανεπιστήμιο του Ιλινόις Urbana-Champaign, συμπεριλαμβανομένου του Godfrey, εισήγαγε μια έννοια γνωστή ως Jellyfish. Οι σταθεροί σχεδιασμοί δικτύων που χρησιμοποιούνταν τότε δυσκολεύονταν να ανταποκριθούν στην αυξανόμενη ζήτηση, οπότε οι ερευνητές πρότειναν μια «high-capacity network interconnect which, , yields itself naturally to incremental expansion.» Πίστευαν ότι αυτή η τυχαία προσέγγιση θα μπορούσε να είναι πιο αποδοτική και επεκτάσιμη από τα δίκτυα που κατασκευάζονται χρησιμοποιώντας την αρχιτεκτονική fat-tree.
«We gave it the name Jellyfish because it’s fluid,» λέει ο Godfrey. «You can connect the routers and switches randomly and it becomes this flexible pool of network capacity, which is very efficient.»
Ωστόσο, το Jellyfish εισήγαγε επίσης νέες προκλήσεις στη διάταξη, τη δρομολόγηση δεδομένων και την καλωδίωση. Η δρομολόγηση σε τυχαία γραφήματα είναι πιο περίπλοκη, λέει ο Godfrey, επειδή υπάρχουν πολύ περισσότερες και πολυποίκιλες διαδρομές που μπορούν να ακολουθήσουν τα δεδομένα από την πηγή τους στον προορισμό τους. Η καλωδίωση είναι δυσκολότερη επειδή τα τελικά σημεία των καλωδίων επιλέγονται τυχαία.
Λίγα χρόνια αργότερα, η Google άρχισε να πειραματίζεται με μια άλλη λύση: Άρχισε να ενσωματώνει την οπτική μεταγωγή κυκλωμάτων, ή OCS, στους σχεδιασμούς των δικτύων της. Αυτή η προσέγγιση χρησιμοποιεί μικροσκοπικούς καθρέφτες για να ανακλούν το φως από μια θύρα εισόδου σε μια θύρα εξόδου, κάτι που επιτρέπει στην Google να αναδιαμορφώνει την οπτική καλωδίωση σε πραγματικό χρόνο. Αλλά, και πάλι: Αυτό προσθέτει ένα ορισμένο επίπεδο μηχανικής πολυπλοκότητας, καθώς και κόστος.
Τόσο Τυχαίο
Η Amazon, εν τω μεταξύ, αναζητούσε το «ιερό δισκοπότηρο», λέει ο Giacomo Bernardi, ο οποίος είναι ένας από τους κύριους συγγραφείς της νέας εργασίας, μαζί με τους Amazon Scholars Ratul Mahajan και C.S. Seshandhri. Σε έναν ιδανικό κόσμο, ένα δίκτυο δεδομένων θα ήταν επίπεδο και αποδοτικό, ανθεκτικό σε βλάβες υλικού, αρκετά τυχαίο ώστε να μεγιστοποιεί την απόδοση, και επαρκώς επεκτάσιμο ώστε να αναπτύσσεται χωρίς να γίνεται δυσκίνητο. Θα βασιζόταν επίσης σε απλούστερη, βελτιστοποιημένη καλωδίωση αντί για ολοένα και πιο πολύπλοκα συστήματα οπτικών ινών.
Όταν αυτός και οι συνάδελφοί του άρχισαν να προσπαθούν να κατασκευάσουν ένα τέτοιο δίκτυο, ο Bernardi λέει ότι είχε ήδη εμμονή με την πλακόστρωση Penrose, ένα είδος μη περιοδικής πλακόστρωσης που πήρε το όνομά της από τον Βρετανό φυσικό Roger Penrose. (Άλλοι ερευνητές έχουν εμπνευστεί τόσο πολύ που προσπάθησαν να μεταφράσουν τα μοτίβα σε κώδικα διόρθωσης σφαλμάτων σε κβαντικούς υπολογιστές.) Ο Bernardi αναρωτήθηκε αν η Amazon θα μπορούσε να χρησιμοποιήσει μια παρόμοια κατασκευή και να δημιουργήσει ένα επίπεδο «πλέγμα» και η ομάδα του προσπάθησε να κατασκευάσει μια προσομοίωση του πώς θα μπορούσε να μοιάζει αυτό.
Δεν λειτούργησε. Η πλακόστρωση Penrose ήταν πολλά υποσχόμενη στα χαρτιά, λέει ο Bernardi, αλλά το προσομοιωμένο δίκτυο δεδομένων ήταν αναξιόπιστο, και οι ερευνητές δεν πέτυχαν τα κέρδη αποδοτικότητας που ήλπιζαν. Πέτυχαν καλύτερα αποτελέσματα, συνειδητοποίησε, όταν αντικατέστησαν τα πιο δομημένα μέρη του σχεδιασμού του δικτύου με τυχαιότητα. «We ‘embraced the chaos,’ and adopted a quasi-random approach,» εξηγεί ο Bernardi.
Ένα κρίσιμο συστατικό αυτού του σχεδιασμού είναι το ShuffleBox, μια νέα οπτική συσκευή που ανέπτυξε η Amazon και η οποία αναμειγνύει εσωτερικά τις συνδέσεις μεταξύ των δρομολογητών. Κατά τη διάρκεια μιας σύντομης περιήγησης σε ένα από τα εργαστήρια δικτύωσης της Amazon στο Cupertino, το WIRED μπόρεσε να δει τη χαοτική δέσμη καλωδίων που συνδέουν τους δρομολογητές σε μια παραδοσιακή δομή fat-tree, και να τα συγκρίνει δίπλα-δίπλα με τα τακτοποιημένα κύματα καλωδίων που περνούσαν μέσα από τα ShuffleBoxes στον νέο σχεδιασμό.
Ο Rehder δηλώνει ότι ο σχεδιασμός RNG της Amazon έχει καταστήσει τα κέντρα δεδομένων της εταιρείας τόσο πιο αποδοτικά όσο και πιο ανθεκτικά. Σε σύγκριση με τα παραδοσιακά δίκτυα, ισχυρίζεται ότι χρησιμοποιεί 69% λιγότερους δρομολογητές και μεταγωγείς, παρέχει 33% υψηλότερη απόδοση δεδομένων, μειώνει την κατανάλωση ενέργειας του δικτύου κατά 40% και μειώνει το λειτουργικό κόστος κατά 27%.
Η πρώτη εφαρμογή του RNG πραγματοποιήθηκε σε ένα κέντρο δεδομένων στο Δουβλίνο το 2024. Στη συνέχεια, η Amazon επέκτεινε την τεχνολογία σε κέντρα δεδομένων στη Γερμανία και την Ισπανία. Η εταιρεία αναφέρει ότι πλέον, τα περισσότερα νεοκατασκευασμένα κέντρα δεδομένων εξοπλίζονται με το πρωτόκολλο δικτύωσης RNG.
