Câblage Spine-and-Leaf | Corning

La croissance en taille des réseaux au cours de la dernière décennie a conduit à une transition des architectures de réseau classiques à 3 niveaux vers une architecture plus plate et plus large. Avec son approche de connectivité entièrement maillée, l'architecture " Spine-Leaf " fournit  les performances réseau à haute vitesse prévisibles dont nous rêvions ainsi que la fiabilité de notre structure de switchs.

Parallèlement à ses avantages, l'architecture " Spine-Leaf " présente des défis pour le câblage structuré. Dans cet article, nous examinerons comment construire et croître une architecture " Spine-Leaf " à quatre branches, progresser vers des architectures plus grandes (comme un réseau à 16 branches), maintenir la capacité de switch et la redondance. Nous explorerons également les avantages et les inconvénients de deux approches dans la construction de notre zone de distribution principale de câblage structuré : l'une avec des câbles de raccordement à fibre classique et l'autre avec des modules de maillage optique.

Depuis son arrivée dans les années 1980 en tant que protocole de réseau local (LAN), Ethernet, avec son algorithme simple et ses coûts de production moins chers a été le moteur de l'évolution des Data Centers et de l'Internet. Un switch Ethernet examine chaque paquet qu'il reçoit avant de le commuter. Il ouvre uniquement l'enveloppe extérieure pour lire l'adresse de couche 2 sans se soucier de la lecture de l'adresse IP. Cela permet à un switch Ethernet de déplacer les paquets très rapidement.

Malgré son efficacité, Ethernet présente également quelques lacunes lorsque la taille du réseau augmente. Dans un réseau composé de plusieurs switchs Ethernet, afin d'empêcher les paquets de diffusion tels que les requêtes ARP (Address Resolution Protocol) de se répandre et de boucler autour du réseau, une technologie appelée protocole Spanning Tree (STP) est utilisée. STP bloque les liaisons redondantes pour éviter les boucles sur le réseau. Les réseaux fonctionnant sur la technologie STP utilisent les liaisons redondantes comme basculement en cas de défaillance de la liaison principale. Cela assure la résilience de l'infrastructure au prix de la moitié de l'utilisation de la bande passante disponible.

Nous avons construit des réseaux avec une logique "Spanning tree" pendant très longtemps jusqu'à ce que nous rencontrions de nouveaux problèmes. Le premier était que nous étions principalement limités avec un réseau dual core qui ne laisse pas de place à la croissance (afin de servir un nombre croissant de clients , nos réseaux devaient se développer en conséquence). Le deuxième était la latence. Si nous avons un grand réseau, nous le divisons normalement en réseaux plus petits que nous appelons des LANS virtuels (VLANS). Cela se traduit par une latence différente pour différents types de trafic de données. Le trafic qui traverse le réseau de couche 2 au sein d'un seul VLAN a une latence différente par rapport au trafic circulant entre différents VLAN traversant le cœur de couche 3.

La plupart des applications de commerce électronique, de médias sociaux et de cloud computing modernes utilisent l'informatique distribuée pour servir leurs clients. L'informatique distribuée signifie que les serveurs communiquent avec des serveurs et travaillent en parallèle pour créer des pages web dynamiques et des réponses aux questions des clients; elle nécessite une latence équivalente. Attendre peut rendre des clients mécontents. Nous avons besoin d'une architecture capable à la fois de croître et de fournir une latence équivalente.

La solution réside dans une architecture de réseau connue sous le nom de structure spine-leaf. Le concept existe depuis 1952, lorsque Charles Clos a introduit pour la première fois le réseau de commutation de circuits à plusieurs étages, également connu sous le nom de réseaux Clos. La partie centrale de cette architecture est appelée la  " Spine " (colonne vertébrale), à partir de laquelle chaque " Leaf " (feuille) est connectée pour étendre les ressources réseau. Le réseau peut croître uniformément en ajoutant simplement plus de switchs de " Spine " ou " Leaf " sans diminuer les performances du réseau.

La section " Spine " croît horizontalement, ce qui limite les couches du réseau à deux couches par rapport à l'architecture traditionnelle 3 couches. Par exemple, avec une " Spine " bidirectionnelle, nous pouvons créer des réseaux pour jusqu'à 6000 hôtes, avec une " Spine " 4 voies, nous pouvons créer des réseaux pour jusqu'à 12000 hôtes et avec une    " Spine " 16 voies, nous pouvons aller au-delà de 100000 hôtes 10GbE.

Tous les switchs Leaf sont connectés à chaque switch Spine disponible. Cette architecture entièrement maillée permet à tout hôte connecté à n'importe quelle Leaf de connecter les autres en utilisant seulement deux hop, avec une connexion de switch à switch. Par exemple, la Leaf 1 à la Spine 1 et la Spine 1 à la Leaf 10. Étant donné qu'une couche de Spine est construite de manière redondante (en cas de défaillance d'un switch de Spine ou Leaf ), d'autres chemins et ressources peuvent être utilisés automatiquement.

Les règles de base de la construction de réseaux Spine-Leaf sont les suivantes : 

· Les principaux éléments constitutifs sont les switch Leaf et les switchs Spine.

· Tous les hôtes ne peuvent être connectés qu'à des terminaux de switchs.

· Les commutateurs Leaf contrôlent le flux de trafic entre les serveurs.

· Spine transmet le trafic le long des chemins optimaux entre les commutateurs Leaf au niveau 2 ou 3

· Le nombre de ports de liaison montante sur le switch Leaf détermine le nombre maximal de switchs Spine.

· Le nombre de ports du switch Spine détermine le nombre maximal de switchs Leaf.

Ces principes influencent la façon dont les fabricants de switch conçoivent leur équipement.

Si nous examinons un switch Spine typique, nous remarquons à première vue plusieurs emplacements d'extension (4 ou 8) pour des cartes différentes pour les liaisons montantes au switch Leaf. Les cartes peuvent se présenter sous différentes formats comme des ports 36 x 40 Gig QSFP (pour 40G) ou 32 x 100G QSFP28 (pour 100G). Les ports QSFP et QSFP28 sont vides, donc les transceivers doivent être achetés séparément sous la forme de transceivers monomodes ou multimodes ou de câbles optiques actifs (AOC), ou de câbles twinax. La règle générale est que le nombre de ports disponibles sur le switch Spine détermine le nombre de switch Leaf que vous pouvez connecter au Spine, déterminant ainsi le nombre maximum de serveurs que vous pouvez connecter au réseau.

Ensuite, nous observons des modules de supervision qui surveillent et gèrent les opérations de l'ensemble du switch. Les blocs d'alimentation fournissent une alimentation redondante et à l'arrière du switch Spine, nous avons généralement des modules de structure qui atténuent le flux de trafic entre les différentes cartes. La répartition uniforme des connexions de liaison montante du switch Leaf entre les cartes sur le switch Spine peut considérablement améliorer les performances de commutation en réduisant la quantité de trafic circulant dans le module de structure.

Si vous avez deux switchs Leaf connectés à des cartes différentes, le trafic doit passer par le backpane vertical. Cela augmente les délais de livraison de bout en bout, ce qui signifie des retards et nécessite l'achat de cartes supplémentaires, ce qui signifie des coûts supplémentaires.

Dans les sections à venir, nous verrons comment résoudre ces problèmes de câblage.

S'agissant du switch Leaf, les considérations principales sont que le nombre de ports de liaison montante définit le nombre de switchs Spine auxquels on peut se connecter et que le nombre de ports de liaison descendante définit le nombre d'hôtes pouvant se connecter au switch. Les ports de liaison montante peuvent prendre en charge des vitesses de 40G/100G et les ports de liaison descendante peuvent varier de 10G/25G/40G/50G selon le modèle.

Considérons cette situation: il y a quatre cartes sur chaque switch Spine et seulement quatre liaisons montantes sur chaque switch Leaf. Est-il possible de répartir ces quatre liaisons montantes sur huit cartes afin de maintenir la redondance et la commutation à la vitesse du trafic? Avec un transceiver 40G SR4 composé de transceivers 4x10G SR, un port 40G-SR4 peut être traité comme quatre ports 10G individuels. C'est ce qu'on appelle l'application de port breakout. La rupture des ports nous permet de nous étendre et d'avoir une redondance en développant le réseau autrement. Par exemple, il est possible de répartir 2 transceivers 40G SR4 dans des ports 8x10G et de les distribuer facilement sur huit cartes.

Pour illustrer ceci, créons une connexion croisée 10G avec des modules de répartition Corning EDGE8^®. Nous pouvons répartir tous les ports 40G QSFP au niveau Spine en utilisant des modules de dérivation de port EDGE8. Nous pouvons faire le même exercice avec les switchs Leaf. Maintenant, établissez un raccord LC entre le switch Leaf respectif et le switch Spine. Ce faisant, nous pouvons répartir les 40 ports G et les répartir sur quatre cartes différentes.

La redondance est maintenue, ce qui signifie que si vous perdez une carte, vous ne perdez que 25 % de votre bande passante. Nous avons maintenu la vitesse du trafic en nous assurant que tous les switchs Leaf soient représentés sur toutes les cartes, donc aucun trafic n'a besoin de passer par le module Spine. Chaque port surligné en jaune représente un seul port QSFP 40G.    Est-ce là la manière la plus élégante de construire ? Non, pas vraiment. C'est construire du neuf avec des outils anciens.

Il y a-t-il une meilleure manière de procéder ?

Prenons un module mesh/maillé.

Ce module maillé est connecté au switch Spine d'un côté et au switch Leaf de l'autre. Les ports latéraux Spine sont connectés à des cartes individuelles sur le switch Spine.

Lorsque nous connectons un switch Leaf du côté Leaf, il le répartit automatiquement entre les ports Spine du module maillé déjà connectés à des cartes séparées.

Nous n'avons pas à effectuer de raccords LC-LC.

Nous atteignons toujours le brassage visé au scénario précédent. Nous obtenons une redondance totale. Nos switchs peuvent performer.

Passer d'une Spine 2 voies à une Spine 4 voies est assez facile. Nous pouvons simplement utiliser un module de maillage par switch Spine et distribuer chaque liaison montante 40G de la couche Leaf sur quatre cartes sur chaque switch Spine.

À l'aide de nos modules maillés, nous connectons le côté Spine du module maillé à d'autres switchs Spine. Nous perdons la redondance au niveau de la carte et l'efficacité de la commutation, mais nous gagnons en redondance en répartissant le risque sur un Spine 16 voies. À ce stade, nous devons également investir dans des modules de matrice, car nous aurons un boîtier qui aura différents switchs Leaf sur différentes cartes dans le même châssis. Avec cette expansion finale, nous créons un réseau quatre fois plus grand qu'une Spine quatre voies.

En utilisant des modules maillés, nous pouvons réduire les coûts de connectivité de 45 %.

En remplaçant les cordons LC par des câbles MTP®, nous pouvons réduire la congestion de 75 %.

Sans tous ces boîtiers non requis pour la répartition et le raccordement des LC, nous pouvons réaliser une économie d'espace de 75 % au MDA.

L'histoire nous a montré qu'à chaque nouveau développement, nous devons inventer de nouvelles façons de faire.

Aujourd'hui, l'industrie s'oriente vers une structure en Spine et les fabricants de switchs ont des systèmes switchs avancés conçus pour cette nouvelle génération de matrice pour Data Centers.

Une exigence de base est de construire un module de câblage structuré maillé pour tirer le meilleur parti de votre investissement.

La connectivité maillée Spine-Leaf peut être obtenue en utilisant un câblage structuré de type MDA standard comparable à la construction de nouvelles choses à l'aide d'anciens outils. L'utilisation de modules maillés comme nouvel outil pour créer des réseaux de nouvelle génération peut réduire considérablement la complexité et les coûts de connectivité de la structure de votre Data Center.

Mustafa Keskin
Corning Optical Communications
Dernière mise à jour : octobre 2024