Η νέα τεχνολογία βασίζεται σε έναν «ημι-τυχαίο» σχεδιασμό, ο οποίος συνδυάζει στοιχεία παραδοσιακών, δομημένων δικτύων δεδομένων με τα πλεονεκτήματα απόδοσης που προσφέρουν οι πιο τυχαίες αρχιτεκτονικές. Ερευνητές έχουν μελετήσει τα τυχαία δίκτυα για δεκαετίες, ωστόσο η συγκεκριμένη τεχνολογία δεν είχε ποτέ εφαρμοστεί επιτυχώς σε μεγάλη κλίμακα. Πλέον, η Amazon εκτιμά ότι έχει επιλύσει αυτό το πρόβλημα.
Το γεγονός ότι η Amazon εφαρμόζει αυτή την τεχνολογία σε πραγματικές συνθήκες χαρακτηρίζεται ως «αξιοσημείωτο», σύμφωνα με τον Brighten Godfrey, καθηγητή επιστήμης υπολογιστών στο Πανεπιστήμιο του Ιλινόις Urbana-Champaign και ειδικό σε θέματα δικτύωσης, ο οποίος δεν συμμετείχε στην έρευνα της Amazon. Ο καθηγητής Godfrey συνυπέγραψε μια θεμελιώδη εργασία το 2012 σχετικά με τα τυχαία γραφήματα δικτύων, τα οποία, όπως δηλώνει, αποτελούν ένα «mind-bending problem to solve, in general».
Μια ομάδα μηχανικών και ερευνητών της Amazon Web Services (AWS), συμπεριλαμβανομένων αρκετών που προσελήφθησαν από τον ακαδημαϊκό χώρο, εργάζεται πάνω στο πρόβλημα της τυχαίας δικτύωσης από το 2023. Η Amazon σχεδίασε επίσης ένα νέο κομμάτι εξοπλισμού για κέντρα δεδομένων, το οποίο ονόμασε ShuffleBox. Αυτή η συσκευή ανακατεύει αυτόματα τα καλώδια που απαιτούνται για αυτό το είδος δικτύωσης.
«We eliminated the bottlenecks that come with traditional networking designs», δήλωσε ο Matt Rehder, αντιπρόεδρος του τμήματος Μηχανικής Δικτύων της AWS, σε αποκλειστική συνέντευξη στο WIRED. «We think we’re the only ones who have done this at scale».
Επιδράσεις Δικτύου
Η Amazon παρουσίασε λεπτομερώς τον νέο της σχεδιασμό δικτύωσης σε μια εργασία που δημοσιεύθηκε τον προηγούμενο μήνα, με τίτλο «RNG: Flat Datacenter Networks at Scale». Η συντομογραφία RNG σημαίνει «resilient network graphs» (ανθεκτικά γραφήματα δικτύων), τα οποία δεν είναι ούτε πλήρως δομημένα ούτε πλήρως τυχαία.
Είναι ενδιαφέρον ότι η ομάδα της Amazon που βρίσκεται πίσω από το RNG δεν προωθεί αυτή τη δικτυακή λύση γύρω από την παραγωγική τεχνητή νοημοσύνη (AI). Ο στόχος είναι η βελτίωση της αποδοτικότητας της καθημερινής αρχιτεκτονικής των κέντρων δεδομένων της εταιρείας. «RNG is a great fit for our core demands, but AI training data patterns are far more coordinated and centrally orchestrated, so they don’t approximate a random graph», δηλώνει ο Rehder.
Από τα μέσα της δεκαετίας του 1980, τα δίκτυα επικοινωνιών – από τις τηλεπικοινωνίες έως τα κέντρα δεδομένων – έχουν σχεδιαστεί κυρίως με μια τοπολογία «fat-tree» (δέντρο με παχείς κόμβους), η οποία περιλαμβάνει δύο ή τρία κάθετα επίπεδα μεταγωγέων (switches) και δρομολογητών (routers). Αυτά συνδέονται με «παχείς» κόμβους στην κορυφή της δομής, όπου υπάρχουν πολλαπλοί δρομολογητές του ίδιου τύπου, και λεπτότερα κλαδιά προς τα κάτω. Με απλά λόγια, σε ένα δίκτυο fat-tree, τα δεδομένα κινούνται πάνω και κάτω στην ιεραρχία. Το αυξημένο εύρος ζώνης κοντά στην κορυφή της δομής, όπου τα δεδομένα διαχωρίζονται, συμβάλλει στην εξάλειψη των σημείων συμφόρησης.
Με την πάροδο του χρόνου, η τεχνολογική βιομηχανία έχει αναπτύξει και εφαρμόσει παραλλαγές της αρχιτεκτονικής fat-tree. Ωστόσο, ο σχεδιασμός αυτός παρουσιάζει περιθώρια βελτίωσης. Αν και γενικά αξιόπιστος, είναι επίσης άκαμπτος, αναποτελεσματικός και απαιτεί πολύπλοκη καλωδίωση. Εννοείται, φυσικά, πραγματικά φυσικά καλώδια.
Εάν κάποιος έχει βρεθεί ποτέ σε ένα κέντρο δεδομένων ή σε ένα δωμάτιο διακομιστών ενός κτιρίου γραφείων, πιθανότατα έχει δει συστάδες πολύχρωμων καλωδίων να ξεχύνονται από μεταλλικά ράφια. Η καλωδίωση αποτελεί ένα από τα μεγαλύτερα κόστη στη δικτύωση, όπως αναφέρει ο Rehder, και τα παγκόσμια κέντρα δεδομένων της Amazon συνδέονται επί του παρόντος με 20 εκατομμύρια χιλιόμετρα οπτικών ινών. Αυτή η απόσταση είναι περίπου ίση με το ταξίδι από τη Γη στη Σελήνη και πίσω, 25 φορές.
Το 2012, καθώς η ζήτηση για υπηρεσίες υπολογιστικού νέφους (cloud computing) εκτοξευόταν, μια ομάδα ερευνητών στο Πανεπιστήμιο του Ιλινόις Urbana-Champaign, συμπεριλαμβανομένου του Godfrey, εισήγαγε μια έννοια γνωστή ως Jellyfish. Οι σταθεροί σχεδιασμοί δικτύων που χρησιμοποιούνταν τότε δυσκολεύονταν να ανταποκριθούν στην αυξανόμενη ζήτηση, οπότε οι ερευνητές πρότειναν μια «high-capacity network interconnect which, , yields itself naturally to incremental expansion». Πίστευαν ότι αυτή η τυχαία προσέγγιση θα μπορούσε να είναι πιο αποδοτική και επεκτάσιμη από τα δίκτυα που κατασκευάζονται με την αρχιτεκτονική fat-tree.
«We gave it the name Jellyfish because it’s fluid», λέει ο Godfrey. «You can connect the routers and switches randomly and it becomes this flexible pool of network capacity, which is very efficient».
Ωστόσο, το Jellyfish εισήγαγε επίσης νέες προκλήσεις στη διάταξη, τη δρομολόγηση δεδομένων και την καλωδίωση. Η δρομολόγηση σε τυχαία γραφήματα είναι πιο περίπλοκη, εξηγεί ο Godfrey, διότι υπάρχουν πολύ περισσότερες και διαφοροποιημένες διαδρομές που μπορούν να ακολουθήσουν τα δεδομένα από την πηγή τους στον προορισμό τους. Η καλωδίωση είναι δυσκολότερη επειδή τα τελικά σημεία των καλωδίων επιλέγονται τυχαία.
Λίγα χρόνια αργότερα, η Google άρχισε να πειραματίζεται με μια άλλη λύση: ενσωμάτωσε την οπτική μεταγωγή κυκλωμάτων, ή OCS (optical circuit switching), στους σχεδιασμούς των δικτύων της. Αυτή η προσέγγιση χρησιμοποιεί μικροσκοπικούς καθρέφτες για να ανακλά το φως από μια θύρα εισόδου σε μια θύρα εξόδου, επιτρέποντας στην Google να αναδιαμορφώνει την οπτική καλωδίωση σε πραγματικό χρόνο. Ωστόσο, και πάλι, αυτό προσθέτει ένα ορισμένο επίπεδο μηχανικής πολυπλοκότητας, καθώς και κόστος.
Τόσο Τυχαίο
Εν τω μεταξύ, η Amazon αναζητούσε το «ιερό δισκοπότηρο», όπως αναφέρει ο Giacomo Bernardi, ένας από τους κύριους συγγραφείς της νέας εργασίας, μαζί με τους Amazon Scholars Ratul Mahajan και Seshadhri Comandur. Σε έναν ιδανικό κόσμο, ένα δίκτυο δεδομένων θα ήταν επίπεδο και αποδοτικό, ανθεκτικό σε βλάβες υλικού, αρκετά τυχαίο ώστε να μεγιστοποιεί την απόδοση, και επαρκώς επεκτάσιμο ώστε να αναπτύσσεται χωρίς να γίνεται δυσκίνητο. Θα βασιζόταν επίσης σε απλούστερη, βελτιωμένη καλωδίωση αντί για ολοένα και πιο πολύπλοκα συστήματα οπτικών ινών.
Όταν ο ίδιος και οι συνάδελφοί του ξεκίνησαν να προσπαθούν να κατασκευάσουν ένα τέτοιο δίκτυο, ο Bernardi δηλώνει ότι είχε ήδη εμμονή με την πλακόστρωση Penrose, ένα είδος απεριοδικής πλακόστρωσης που πήρε το όνομά της από τον Βρετανό φυσικό Roger Penrose. (Άλλοι ερευνητές έχουν εμπνευστεί τόσο πολύ που έχουν προσπαθήσει να μεταφράσουν τα μοτίβα σε κώδικα διόρθωσης σφαλμάτων σε κβαντικούς υπολογιστές.) Ο Bernardi αναρωτήθηκε αν η Amazon θα μπορούσε να χρησιμοποιήσει μια παρόμοια κατασκευή και να δημιουργήσει ένα επίπεδο «πλέγμα», και η ομάδα του προσπάθησε να δημιουργήσει μια προσομοίωση του πώς θα μπορούσε να μοιάζει αυτό.
Ωστόσο, η προσπάθεια δεν απέδωσε. Η πλακόστρωση Penrose φαινόταν πολλά υποσχόμενη στα χαρτιά, όπως αναφέρει ο Bernardi, αλλά το προσομοιωμένο δίκτυο δεδομένων αποδείχθηκε αναξιόπιστο, και οι ερευνητές δεν πέτυχαν τα κέρδη αποδοτικότητας που ήλπιζαν. Συνειδητοποίησε ότι καλύτερα αποτελέσματα επιτεύχθηκαν όταν αντικατέστησαν τα πιο δομημένα μέρη του σχεδιασμού του δικτύου με τυχαιότητα. «We ‘embraced the chaos,’ and adopted a quasi-random approach», εξηγεί ο Bernardi.
Ένα κρίσιμο συστατικό αυτού του σχεδιασμού είναι το ShuffleBox, η νέα οπτική συσκευή που ανέπτυξε η Amazon και η οποία αναμειγνύει εσωτερικά τις συνδέσεις μεταξύ των δρομολογητών. Κατά τη διάρκεια μιας σύντομης περιήγησης σε ένα από τα εργαστήρια δικτύωσης της Amazon στο Κουπερτίνο, το WIRED είχε τη δυνατότητα να δει τη χαοτική δέσμη καλωδίων που συνδέουν τους δρομολογητές σε μια παραδοσιακή δομή fat-tree, και να τα συγκρίνει δίπλα-δίπλα με τα τακτοποιημένα κύματα καλωβίων που διέρχονται μέσω των ShuffleBoxes στον νέο σχεδιασμό.
Ο Rehder δηλώνει ότι ο σχεδιασμός RNG της Amazon έχει καταστήσει τα κέντρα δεδομένων της εταιρείας τόσο πιο αποδοτικά όσο και πιο ανθεκτικά. Σε σύγκριση με τα παραδοσιακά δίκτυα, ισχυρίζεται ότι χρησιμοποιεί 69% λιγότερους δρομολογητές και μεταγωγείς, προσφέρει 33% υψηλότερη απόδοση δεδομένων, μειώνει την κατανάλωση ενέργειας του δικτύου κατά 40% και μειώνει τα λειτουργικά κόστη κατά 27%.
Η πρώτη εφαρμογή του RNG τέθηκε σε λειτουργία σε ένα κέντρο δεδομένων στο Δουβλίνο το 2024. Στη συνέχεια, η Amazon επέκτεινε την τεχνολογία σε κέντρα δεδομένων στη Γερμανία και την Ισπανία. Η εταιρεία αναφέρει ότι πλέον, τα περισσότερα νεοκατασκευασμένα κέντρα δεδομένων εξοπλίζονται με το πρωτόκολλο δικτύωσης RNG.
Πηγή: wired.com
