100G QSFP28 Spine-Disseny de fulles: eviteu errors de port

Un teixit de fulla-espina 100G és una de les maneres més fiables de connectar servidors 25G, enllaços ascendents de 100G, clústers d'emmagatzematge i càrregues de treball pesades a l'est-oest-en un centre de dades modern. L'atractiu de QSFP28 és la seva flexibilitat: un sol port pot portar un enllaç natiu de 100G o trencar-se en quatre connexions de servidor 25G, de manera que un commutador pot servir tant a la vora d'accés com al nucli de la tela.

Els interruptors ràpids són la part fàcil. Un disseny de 100G viu o mor de les decisions preses abans de l'ordre de compra: com s'assigna cada port, com es veu la proporció de sobresubscripcions en condicions normals i de fallada, quina òptica coincideix amb els cables reals, quanta calor afegeixen aquestes òptiques i si el teixit pot créixer cap a 400G sense una actualització de carretó elevador.

Aquesta guia és una referència de planificació-neutre per a proveïdors per als equips de xarxa i d'infraestructura. Les xifres següents segueixen les especificacions Ethernet IEEE 802.3 actuals i els acords òptics multi-font rellevants, però cada commutador i transceptor té el seu propi full de dades, així que confirmeu els números exactes del maquinari que compreu.

Com llegir els exemples d'aquesta guia.Tret que s'indiqui el contrari, assumeixen servidors únics-homed amb una NIC de 25G cadascun, 48 ports d'amfitrió per fulla, enllaços amunt-a-de fulla de 100G, una malla completa en què cada fulla es connecta a cada columna i la correcció d'errors avançada activada on l'òptica ho requereixi. L'homing dual-, les NIC més ràpides o el recompte de ports diferents canviaran tots els números que segueixen.

Què és una xarxa de fulles-espina 100G?

Spine-leaf és una arquitectura de centre de dades de dos-nivells creada a partir d'interruptors de fulla i interruptors de columna vertebral. Els interruptors de fulla es troben a la part superior de cada bastidor i proporcionen ports-per al servidor i enllaços ascendents a la columna vertebral. Els interruptors de la columna vertebral formen la columna vertebral-d'alta velocitat. Cada fulla es connecta a cada columna, de manera que el trànsit entre bastidors mou fulla a espina a fulla per un camí d'igu-longitud.

El disseny és popular perquè ofereix:

• Longitud de camí previsible i igual entre dos bastidors qualsevol
• Compatibilitat nativa per a trànsit intens-est oest
• Tots els enllaços ascendents són actius mitjançant ECMP en lloc de bloquejats per l'arbre d'abast
• Escalat horitzontal senzill - afegeix fulles per als ports, afegeix espines per a la capacitat

En un teixit de 100 G, els enllaços de fulla-a-espina dorsal funcionen a 100 G, mentre que els ports-enfrontats al servidor funcionen a 10 G, 25 G, 50 G o 100 G, segons la càrrega de treball. Avui, l'accés 25G amb enllaços ascendents de 100G és la combinació empresarial més comuna.

Disseny físic vs disseny lògic

El "disseny de xarxa" cobreix dues capes que són fàcils de combinar. Aquesta guia se centra en els ports de la capa física i de capacitat -, l'òptica, la sobresubscripció, el cablejat - perquè això és el que us comprometeu quan compreu maquinari. Però la capa lògica decideix com el teixit avança el trànsit i dóna forma a diverses opcions físiques.

A la part física, hi ha l'interruptor i la selecció de ports, velocitats de NIC, sobresubscripció, òptica, cablejat, potència i refrigeració. Al costat lògic, hi ha l'equilibri de càrrega-ECMP entre els enllaços ascendents; una superposició com ara VXLAN amb un pla de control BGP EVPN per a la capa 2 i la capa 3 de diversos-inquilís sobre una capa subjacent encaminada; dual-homing amb MLAG o MC-LAG i LACP a la vora d'accés; i error-dimensionament del domini. Per als teixits RDMA també heu de dissenyar una xarxa gairebé-sense pèrdues, que es descriu a continuació. Solucioneu el model lògic d'hora, perquè afecta el recompte d'enllaços ascendents, quantes espines voleu per a l'amplada ECMP i si les fulles es despleguen com a parells MLAG.

Pas 1 - Definiu la velocitat i la càrrega de treball del servidor

Comenceu per la càrrega de treball, no per l'òptica. Un clúster de virtualització general, un teixit d'emmagatzematge i un pod d'entrenament d'IA tenen necessitats molt diferents i el disseny adequat segueix el trànsit.

Servidors 25G amb enllaços ascendents de 100G

Per a la majoria d'entorns de núvol-empresarials i privats, l'accés de 25G amb fulles de 100G-a-enllaços ascendents de la columna vertebral és el millor punt: un gran salt per sobre de 10G mentre manté els costos raonables de la NIC, el cable i els commutadors. Una compilació típica combina enllaços descendents de 25 G, enllaços ascendents de 100 G i una proporció de 2:1 a 3:1 per a la computació general, amb una sobresubscripció més baixa reservada per a nivells sensibles d'emmagatzematge i latència-. S'adapta a la virtualització, al núvol privat, als nivells web i a la majoria dels centres de dades empresarials.

100G natiu per a emmagatzematge, IA i HPC

Algunes càrregues de treball necessiten 100G nadius al servidor: emmagatzematge distribuït i NVMe-oF, formació en IA i aprenentatge automàtic-, HPC, anàlisis a gran-escala i RDMA-de baixa latència. Aquí la sobresubscripció hauria de ser baixa - sovint no-bloquejant-la o propera - perquè el problema és el patró de trànsit, no només el volum.

Les càrregues de treball d'IA, HPC i RDMA generen trànsit dens i sincronitzat de tot-a-est-oest: molts nodes transmeten a molts nodes al mateix moment, de manera que la suavització estadística que us estalvia en un teixit de virtualització ja no s'aplica. RDMA sobre Ethernet convergent (RoCE) afegeix una segona restricció, perquè espera un teixit gairebé-sense pèrdues, que a la pràctica significa que el Control de flux prioritari (PFC) i la Notificació de congestió explícita (ECN) estan ajustats de punta a punta. Un teixit que deixa caure fotogrames sota congestió veurà com s'esfondra el rendiment de RoCE, de manera que aquests clústers solen crear-se a 1:1 amb una configuració acurada de la memòria intermèdia i de la congestió.

Pas 2 - Com calcular els ports de commutació de fulla i columna vertebral per a un teixit 100G

La planificació del port comença per la fulla, no per la columna vertebral. Treballa des dels servidors:

1. Compteu els ports orientats al servidor-per rack.
2. Decidiu si cadascun és 25G natiu, 100G natiu o un carril de sortida.
3. Reserveu els ports QSFP28 per als enllaços amunt de la columna vertebral.
4. Afegiu ports de recanvi per a creixement, redundància, prova i substitució.
5. Torneu a calcular l'excés de subscripció després de l'assignació de la ruptura, no abans.

Compteu els-ports orientats al servidor

Per a cada bastidor, indiqueu el recompte de servidors, la velocitat de la NIC, les NIC per servidor, l'habitatge únic- o dual-i els recanvis necessaris. Un bastidor de 48 servidors amb una NIC de 25 G cadascun necessita 48 ports d'amfitrió. Doble-inici d'aquests servidors a un parell de fulles i el nombre de ports d'accés al parell es duplica.

Reserveu ports d'enllaç ascendent i mireu el doble-recompte

Després dels ports d'amfitrió, reserveu els ports QSFP28 per a la columna vertebral. Aquí és on s'amaga l'error més comú: si s'utilitzen els mateixos ports QSFP28 per a la ruptura 4x25G, ja no estan disponibles com a enllaços ascendents. L'únic error de planificació més gran no és comptar malament els enllaços ascendents de 100G, sinó sobreestimar els ports d'enllaç ascendent que queden un cop l'interrupció s'ha consumit. Assigneu un desglossament abans de les matemàtiques de sobresubscripcions o la proporció que heu calculat és ficció.

Un exemple treballat ajuda. Preneu una fulla d'1U comú amb 48 ports d'amfitrió SFP28 i 8 ports QSFP28:

Amb sis enllaços ascendents que porten els 1.200G de trànsit d'accés, el full funciona a 2:1 i dos ports QSFP28 es mantenen en reserva. Doneu a cada port un paper únic i explícit en un full de càlcul abans de dimensionar qualsevol altra cosa.

Deixar capacitat excedent

No consumiu tots els ports el primer dia. Reserveu espai per a servidors nous, espines addicionals, enllaços de prova temporals,-intercanvis de ports fallits, tocs de supervisió i migració. Una mica de capacitat no utilitzada és molt més barata que un redisseny.

Pas 3 - Calcula la subscripció excessiva, inclosa la N-1

La sobresubscripció compara l'amplada de banda total del servidor-encara en una fulla amb l'amplada de banda total de l'enllaç ascendent a la columna vertebral:

Relació de sobresubscripcions=ample de banda total d'enllaç descendent/amplada de banda total d'enllaç ascendent

Per a la fulla de dalt, 48 x 25G=1,200G cap avall i 6 x 100G=600G cap amunt, donant 1.200 / 600=2:1. Això significa el doble d'ample de banda d'accés teòric que l'amplada de banda d'enllaç ascendent - normalment bé per a la informàtica general, on els servidors rarament transmeten a la velocitat de línia alhora, però una limitació real per a l'emmagatzematge, AI, HPC i RDMA.

Comproveu sempre el cas N-1

Un teixit pot semblar saludable en funcionament normal i sufocar-se durant una fallada. Penseu en una fulla amb vuit enllaços ascendents de 100 G repartits de manera uniforme en quatre espines - dues per columna, 800 G en total, de manera que 1.200 G d'accés donen 1,5:1. Perd una columna i la fulla deixa caure dos enllaços ascendents a 600G, augmentant la proporció a 2:1 mentre duri l'interrupció. Si el vostre objectiu "no és pitjor que 2:1 fins i tot en cas de fallada", heu de començar a prop d'1,5:1. Calcula tant la proporció normal com la proporció N-1 després de perdre una columna vertebral o un enllaç ascendent; el segon número és el que mossega durant el manteniment.

Intervals de planificació per càrrega de treball

No hi ha una ràtio universal, així que tracta els següents com a intervals de planificació, no com a estàndards, i valida-ho amb el trànsit mesurat quan puguis:

En una actualització, reviseu la utilització actual d'enllaços ascendents, els patrons màxims i est{0}}oest, els fluxos d'emmagatzematge i les finestres de còpia de seguretat abans de comprometre's amb una proporció.

Pas 4 - Trieu Òptica i cables QSFP28

Les interfícies QSFP28 100G estan estandarditzades per IEEE 802.3 -Modificació de 802.3bmS'ha afegit 100GBASE-SR4, juntament amb el LR4 PHY-mode únic. Seleccioneu l'òptica per distància, tipus de fibra, connector, potència i compatibilitat d'interruptors i resistiu-vos a l'abast més llarg: l'abast que no necessiteu normalment significa un cost i una potència que no necessiteu. Relaciona el mòdul amb la tirada amb un marge sensible.

DAC i AOC per a enllaços de servidor curts

Per a connexions-rack i-adjacents, són pràctics els cables de coure (DAC) de connexió directa-QSFP28 i els cables òptics actius (AOC). El DAC passiu s'adapta als salts més curts - d'uns quants metres - amb el cost i la potència més baixos, mentre que l'AOC amplia l'abast i és més lleuger i flexible quan la massa de coure es converteix en un problema. Per a l'accés 25G, el DAC o AOC de ruptura QSFP28-to-4x SFP28 és habitual quan l'interruptor admet ruptura.

100GBASE-SR4 per a enllaços amunt multimode curts

SR4 transporta 100Gvuit fibres de multimode paral·lelutilitzant un connector MPO/MTP, la qual cosa la converteix en una opció-eficaç de cost per a trajectes de fulla-a-espina curta dins d'una fila. El seu abast depèn del grau de fibra - aproximadament 70 m en OM3 i 100 m en OM4 -, de manera que val la pena conèixer l'abast que podeu esperar.Fibra multimode OM3, OM4 i OM5al teu pis. La principal limitació de planificació és el cablejat paral·lel: el pegat MPO i la polaritat s'han de treballar amb antelació.

CWDM4 o FR per a recorreguts en mode-únic a uns 2 km

Per als enllaços entre-files, entre-sala o entre-sala, les òptiques de mode únic-com ara CWDM4 o FR s'ajusten millor. El100G CWDM4 MSAdefineix un abast de 2 km sobre un únic parell de fibres-mode únic amb un connector LC dúplex i FEC. Com que utilitzen fibra dúplex en comptes de MPO paral·lel, les òptiques CWDM4 i FR solen caure en una planta d'un sol -mode de manera més neta que la SR4 - i, a aquestes distàncies, es pot triar entreFibra d'un-mode OS1 i OS2comença a importar per al vostre pressupost de pèrdues. Les variants d'-mode únic més curts com ara DR cobreixen aproximadament 500 m on això és tot el que necessiteu.

100GBASE-LR4 per a campus i DCI

LR4 és l'opció-de llarg abast, amb 100Gfins a uns 10 km per fibra dúplex monomode-per als enllaços d'interconnexió d'un campus, d'-a-edifici o de-centre-de dades. Utilitzeu-lo només on la distància realment ho demani; L'òptica de llarg-abast en salts curts d'intra-data-centre simplement afegeix cost, potència i calor sense millorar el teixit.

QSFP28 100G Comparació òptica

La taula resumeix on encaixa cada opció. Tracteu els abasts com a xifres de planificació típiques i confirmeu els números exactes, el grau de fibra i el requisit FEC a la fitxa de dades de cada mòdul.

Exemples treballats: teixits petits, mitjans i grans

Es tracta de models de planificació simplificats, no de plànols. El recompte d'espines s'acostuma a triar per dividir els enllaços amunt de manera uniforme i establir l'amplada ECMP: dues espines són el mínim pràctic per a la redundància, quatre donen una granularitat N-1 més fina i una millor repartiment de càrrega, i vuit s'adapten a teixits grans. El recompte de fulles s'escala amb els ports de servidor que necessiteu.

Teixit petit

• Interruptors de 8 fulles
• 2 interruptors de columna
• 48 ports de servidor 25G per fulla
• 4 enllaços ascendents de 100 G per fulla
• 384 ports de servidor 25G únic-home

Per fulla: 1.200G cap avall, 400G cap amunt, per tant 3:1. Funcionable per a càlcul general, però ajustat per a emmagatzematge pesat o IA. Afegiu enllaços ascendents o retalleu l'accés per fulla si necessiteu una proporció més baixa.

Teixit mitjà

• Interruptors de 16 fulles
• 4 interruptors de columna
• 48 ports de servidor 25G per fulla
• 6 enllaços ascendents de 100G per fulla
• 768 ports de servidor 25G únic-home

Per fulla: 1.200G cap avall, 600G cap amunt, per tant 2:1. Un equilibri sòlid per a la virtualització i les càrregues de treball de l'empresa, i quatre espines distribueixen ECMP millor que dos.

Teixit gran

• Interruptors de 32 fulles
• 8 interruptors de columna
• 48 ports de servidor 25G per fulla
• 8 enllaços ascendents de 100G per fulla
• 1.536 ports de servidor 25G únic-home

Per fulla: 1.200G cap avall, 800G cap amunt, per tant 1,5:1. Més espai per a l'enllaç ascendent, però més òptica, fibra, cost, potència i cablejat per gestionar. A aquesta escala, la documentació forma part del disseny: l'etiquetatge, els mapes de ports, la polaritat, l'òptica de recanvi, el flux d'aire i la supervisió s'han de planificar abans de la instal·lació.

QSFP28 Breakout Planning (100G a 4x25G)

Breakout és la part més útil i més mal entesa del disseny QSFP28. Quan l'interruptor, el cable i la configuració ho permeten, un port QSFP28 es divideix en quatre enllaços 25G SFP28, connectant quatre servidors 25G des d'un sol port 100G. Es guanya el seu lloc quan necessiteu una alta densitat de 25G, teniu molts ports QSFP28, voleu reduir el cost per connexió del servidor o esteu construint un teixit de transició 25G/100G, utilitzant QSFP28-to-4x SFP28 DAC, AOC oCables de ruptura MTP/MPOen funció de la distància.

El problema és que la ruptura consumeix ports QSFP28. Si un commutador QSFP28 de 32-ports dedica 16 ports a una interrupció de 4x25G, aquests 16 ports admeten 64 servidors, però només queden 16 ports QSFP28 per a enllaços ascendents, emmagatzematge, interconnexions i recanvis. La regla general és comptar primer els ports de ruptura i després comptar el que queda per als enllaços ascendents.

Abans de comprometre's, confirma algunes coses i decideix aviat si cada tirada ha de ser amaleter o un conjunt de ruptura:

• Quins ports admeten la ruptura i hi ha restriccions de grup de ports-?
• L'activació de la ruptura desactiva els ports adjacents?
• El sistema operatiu del commutador admet el mode que necessiteu?
• DAC, AOC o òptica de ruptura per a cada carrera?
• Els quatre carrils són necessaris ara, o només més tard?
• Com afectarà la ruptura un futur moviment als servidors 100G nadius?

Gestió d'energia, refrigeració i cables

Un teixit de 100 G produeix més que una amplada de banda - produeix calor, càrrega de flux d'aire i densitat de cable. El pressupost d'energia ha de cobrir el xassís i els ventiladors de l'interruptor, els mòduls òptics QSFP28 (i el DAC o AOC quan s'utilitzen), els subministraments redundants, la capacitat a nivell de bastidor-i el marge de creixement. La refrigeració hauria de tenir en compte la distribució del passadís calent- i fred-, el flux d'aire coherent-a-darrera-a-darrera o posterior--frontal, panells obturadors, obstrucció del cable, temperatura ambient i monitorització de la temperatura-del mòdul, perquè una columna vertebral plena d'òptica és una càrrega tèrmica real.

El cablejat s'escala ràpidament: de 16 fulles a 4 espines ja són 64 enllaços de fulles-a-espines, cadascun dels quals s'ha d'etiquetar, encaminar, provar i documentar. Un teixit de malla-complet és molt més fàcil de construir i mantenir amb pre-terminacióCablejat troncal MPO/MTPque amb fibra-terminada en camp. Els equips també haurien d'establir convencions de connector i polaritat per endavant; eldiferències pràctiques entre MTP i MPOval la pena confirmar abans de fer la comanda. La documentació descuidada no costa res el primer dia i molt durant la primera interrupció.

Disseny per a una actualització de 400G

Dissenyeu el teixit amb un camí d'actualització realista. No necessiteu 400G a tot arreu el primer dia, però hauríeu d'evitar opcions que facin que el moviment sigui dolorós més tard. Comenceu a pensar en la preparació de 400 G quan els enllaços amunt de la columna vertebral ja estan molt carregats, quan afegir més espines de 100 G s'està tornant incòmode, quan el recompte de camins ECMP s'apropa als límits de la plataforma o quan la IA, l'emmagatzematge o el creixement est-oest s'està accelerant.

L'estratègia habitual és actualitzar primer la columna vertebral: les fulles mantenen els seus enllaços ascendents de 100G mentre que una columna vertebral de -capacitat més gran- utilitza ports com araQSFP-DD- afegeix marge, sovint amb ports de 400 G que es divideixen en 4 x 100 G cap a les fulles existents. La trajectòria més àmplia la marca la indústria: laFull de ruta Ethernet Allianceara funciona a través de 400G, 800G i més enllà, en gran part impulsat per IA. Quan avalueu els interruptors, comproveu que la plataforma admet les velocitats, l'òptica, els modes d'interrupció i les funcions de programari que necessitarà una actualització gradual.

Quan un disseny de fulla-espina 100G no és l'opció correcta

Aquest disseny no és universal, i alguns casos requereixen una altra cosa. Un grapat de servidors en un o dos bastidors poques vegades justifiquen una compilació de fulles-de l'espina completa, on un parell d'interruptors redundants és més senzill i més barat. Clústers d'entrenament d'IA molt grans poden superar el que un accés 100G i un teixit de columna vertebral de 100G maneja bé, aterrant a teixits de 400G o 800G - o fins i tot una xarxa InfiniBand dedicada - des del principi. I si gairebé tot el trànsit es dirigeix ​​cap al nord-sud cap a una porta d'entrada en lloc de l'est-oest entre bastidors, els avantatges de l'est-oest de la fulla-espines són menys importants, de manera que la topologia s'hauria de justificar per raons de creixement i operativa en lloc de suposar. Relaciona l'arquitectura amb el trànsit i l'escala, no al revés.

Errors de disseny de fulles-comuns de 100G

• Comptant els ports QSFP28 dues vegades.Un port és una ruptura de 4x25G o un enllaç ascendent de 100G, mai tots dos. Doneu un paper a cada port.
• Escollint l'òptica pel màxim abast.Un abast més llarg afegeix cost i potència; coincideix l'òptica amb la distància i el tipus de fibra reals.
• Ignorant la N-1.Comproveu la proporció durant el funcionament normal i després de perdre una columna vertebral.
• Oblidant la potència òptica i la calor.Una columna vertebral plena de mòduls QSFP28 és una càrrega tèrmica genuïna, de manera que inclou l'òptica a les matemàtiques de potència i refrigeració.
• Tractar el cablejat com una idea posterior.L'encaminament, l'etiquetatge, la polaritat i la documentació pertanyen al disseny, no a la instal·lació.
• Dissenyar només per a la velocitat del servidor actual.Si l'accés a 25G canviarà a 100G, deixeu espai per a 100G nadiu o una columna vertebral de 400G.

Conclusió

Un bon disseny de fulles-de la columna vertebral de 100G és la suma de decisions preses abans que arribi el maquinari: definir la càrrega de treball, comptar correctament els ports, calcular l'excés de subscripció tant en condicions normals com en condicions de fallada, triar l'òptica per distància, planificar la ruptura deliberadament, pressupostar energia i refrigeració i deixar espai per a 400G. Per a la majoria de centres de dades empresarials, l'accés 25G amb enllaços ascendents 100G QSFP28 continua sent un fort equilibri de rendiment, cost i escala, mentre que l'emmagatzematge, la intel·ligència artificial i l'HPC només demanen una subscripcions més baixes i una validació més estricta. L'enfocament fiable no canvia: dissenyeu des del servidor cap a fora, proveu les matemàtiques en condicions normals i N-1 i documenteu tots els enllaços abans del desplegament.