QSFP-DD per a clústers d'IA: com triar entre 400G i 800G sense endevinar-ho

Aug 03, 2026

Deixa un missatge

QSFP-DD és un bon ajust per a un clúster d'IA quan el commutador o el punt final ja utilitza una gàbia QSFP-DD nativa, quan una gran base de mòduls de la família QSFP-qualificats i fibra ha de romandre en servei i quan la plataforma pot refredar els mòduls escollits amb tots els ports ocupats. És el punt de partida equivocat quan els servidors i commutadors de GPU es construeixen al voltant de gàbies OSFP natives, o quan les òptiques que realment necessiteu requereixen més espai tèrmic del que els pot donar l'amfitrió.

El factor de forma no és la primera decisió. És aproximadament el quart. Un disseny de xarxa que sobreviu a la seva primera sessió d'entrenament de producció comença amb les interfícies del servidor, el nombre de rails, la topologia objectiu, la relació de sobresubscripció acceptable i la ruta del cable mesurada. Només llavors importa la forma del mòdul.

Aquesta guia explica l'ordre d'extrem a extrem, amb un càlcul de capacitat treballada, una taula de selecció d'enllaços-i una seqüència de validació que podeu lliurar a un equip de laboratori.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Quin factor de forma hauríeu de triar?

Condició del punt final Primera opció a valorar
Els dos extrems de manera nativa QSFP-DD / QSFP-DD800 QSFP-DD
Tots dos extrems de manera nativa OSFP OSFP
Migració des d'una base QSFP 400G instal·lada QSFP-DD, sempre que l'amfitrió admeti el mode de port necessari
Òptica-d'alta potència en una plataforma la gàbia nativa de la qual és OSFP OSFP
Un extrem OSFP, l'altre QSFP-DD Un DAC/AEC de -forma-creuada qualificat o un enllaç òptic amb un PMD, velocitat de carril i mode FEC coincidents als dos extrems

La regla subjacent és breu:trieu la gàbia que és nativa del punt final i, a continuació, verifiqueu la velocitat del carril elèctric, la interfície òptica, el mode FEC, la classe de potència i el microprogramari per a aquest número de peça exacte.Tot el que es mostra a continuació és el treball necessari per aplicar aquesta regla amb honestedat.

Les cinc decisions, en ordre

La majoria de les xarxes d'IA dolentes provenen de prendre aquestes decisions fora de seqüència - escollint primer un mòdul i descobrint la restricció més tard. Cada pas següent alimenta el següent i cada un canvia el que podeu comprar al pas posterior.

  1. Confirmeu els punts finals.Tipus de gàbia nativa i mode de protocol als dos extrems de cada enllaç.
  2. Calcula la capacitat.Ports per node, per ferrocarril i, a continuació, deixeu la capacitat d'enllaç descendent i ascendent a la vostra proporció de sobresubscripcions objectiu.
  3. Seleccioneu l'enllaç físic.Longitud de la ruta mesurada, planta de fibra, connector, requisit de trencament.
  4. Valideu el número de peça.FEC, velocitat de carril, classe de potència, firmware, revisió CMIS, qualificació del proveïdor.
  5. Desplega per domini d'error.Primer el laboratori, després un bastidor, un carril o una unitat escalable alhora.

Pas 1: Separeu el factor de forma, el protocol i la interfície òptica

Aquestes tres coses es col·lapsen en una decisió constantment, i aquest col·lapse és on s'originen la majoria de les sorpreses de compatibilitat. Són capes separades amb documents de govern separats.

El factor de formadefineix les dimensions mecàniques, el connector host, els carrils elèctrics, el comportament de gestió i el disseny tèrmic. ElQSFP-DD Especificació de maquinari MSAcobreix els requisits mecànics, elèctrics i tèrmics, i les seves revisions posteriors amplien el mateix port d'amfitrió de vuit-carrils a les variants 800G i 1.6T tot mantenint la compatibilitat amb la família QSFP. Si vols la formació mecànica i de gestió abans d'anar més enllà, el nostreDescripció tècnica de QSFP-DDcobreix el propi factor de forma en detall.

El protocol- Ethernet, RoCEv2 o InfiniBand - es decideix per la NIC, l'ASIC del commutador, el microprogramari i la configuració del port, no per la forma de la gàbia. Un mòdul QSFP-DD mai s'ha de descriure com a "admet tant Ethernet com InfiniBand" com a propietat del factor de forma. Aquesta capacitat pertany a l'amfitrió i s'ha de confirmar al port específic.

La interfície òptica- DR8, FR4, SR8, LR - descriu l'organització, l'abast i l'aplicació del carril. No descriu el connector, el recompte de fibres, el mapatge de la ruptura o la velocitat del carril elèctric. Dos mòduls que porten la mateixa etiqueta òptica poden diferir en cadascun d'ells. La senyalització en si està definida per IEEE, no per MSA:IEEE Std 802.3df-2024va afegir els paràmetres MAC i les capes físiques per a un funcionament de 800 Gb/s i PHY de 400 Gb/s addicionals.

El comportament de gestió és una quarta capa, més silenciosa. Tant els mòduls QSFP-DD com els OSFP es gestionen mitjançant CMIS, i la revisió és important pel que fa al comportament d'actualització del microprogramari, la selecció d'aplicacions i el temps del mòdul-amfitrió. Les revisions publicades es troben a la llistaAcords d'execució de l'OIF.

Pas 2: Mida la xarxa des dels ports del servidor, no del recompte de GPU

El recompte de GPU us indica la mida d'un clúster. No us diu què ha de portar la xarxa, perquè la xarxa només veu les interfícies del servidor.

Dos exemples ho expliquen. Un sistema NVIDIA DGX H100/H200 exposa vuit interfícies de teixit de computació ConnectX-7-a 400 Gb/s cadascuna, però no són vuit gàbies físiques. L'arquitectura de referència SuperPOD mostra el teixit informàtic que es presentaquatre transceptors de dos-ports que arriben a les vuit GPU. Un DGX B300, en canvi, presentavuit ports de xarxa a la safata de la GPUque serveix vuit interfícies ConnectX-8 de fins a 800 Gb/s. Mateix recompte de GPU, inventari de ports, recompte de cables i factura d'òptica completament diferent.

Per tant, abans de mirar un full de dades d'un únic commutador, documenteu-vos per a cada tipus de node:-ports de teixit, velocitat de port, mapes de NIC-a-GPU o ferrocarril, tipus de gàbia nativa, modes de protocol compatibles, a més de les interfícies d'emmagatzematge i gestió separades. Aquest inventari, no el número de GPU, és l'entrada de cada càlcul que segueix.

Un càlcul de la capacitat treballada

Preneu una unitat escalable de 32 nodes, cadascun amb vuit ports de teixit-de càlcul de 400 G, un port per ferrocarril, en un disseny optimitzat-per carril. Treballeu un carril alhora:

  • Capacitat d'enllaç descendent per fulla de ferrocarril= 32 nodes × 1 port × 400G =12,8 Tb/s
  • A l'1:1 (sense-bloqueig), capacitat d'enllaç ascendent necessària=12.8 Tb/s → 12.800 ÷ 800 =Enllaços ascendents de 16 × 800G
  • A les 2:1, capacitat d'enllaç ascendent necessària=6.4 Tb/s →Enllaços ascendents de 8 × 800G

A continuació, comproveu el resultat amb la base del commutador: 32 enllaços descendents més 16 enllaços ascendents necessiten 48 ports utilitzables en aquesta fulla, cosa que limita la vostra elecció de commutador immediatament. Afegiu enllaços per a la redundància i el manteniment i repetiu per rail - vuit rails, vuit grups de fulles, no un nombre agregat. Aquí és on 800G guanya el seu lloc o no: aquí redueix a la meitat el recompte de ports d'enllaç ascendent, que és un argument de base, no un argument d'ample de banda.

Els teixits d'arbres de greix-rail{0}}optimitzats i equilibrats-són el patró de documents de NVIDIA per a grans grups d'entrenament -Arquitectura de referència DGX H100 SuperPODutilitza un -arbre complet amb vuit connexions de càlcul per-sistema. Si aquest patró s'adapta a la vostra càrrega de treball és un judici de disseny, però el mètode de càlcul anterior es manté independentment de la topologia.

Pas 3: Planifiqueu les quatre teles i torneu als mòduls

Un clúster d'IA no és una xarxa. Les arquitectures de referència DGX SuperPOD se separencàlcul, emmagatzematge, gestió de-banda i gestió-fora-de bandateixits, i cadascun produeix el seu propi requisit de port i òptica.

Elteixit informàticporta intercanvi de gradients, sincronització de paràmetres, col·lectius i operacions de memòria remota. Té els requisits més estrictes de latència, congestió i simetria de camí-, i és on realment es resol l'argument 800G-versus-400G.

Elteixit d'emmagatzematgeporta dades d'entrenament, punts de control i artefactes de model. La seva capacitat depèn del format del conjunt de dades, la taxa d'accés a la memòria cau, el-paral·lelisme del carregador de dades, la freqüència del punt de control i la intensitat de les metadades -, per això "400G és suficient per a l'emmagatzematge" no és un valor predeterminat segur. Les arquitectures de referència especifiquen el rendiment de l'emmagatzematge a nivell del sistema i el mantenen fora del teixit informàtic precisament perquè les dues càrregues de treball no es puguin danyar mútuament.

Ela la-xarxa de gestió de bandesporta aprovisionament, trànsit del programador, registres, repositoris i monitorització. Elxarxa-de-bandaarriba als BMC, als ports de gestió de commutadors i a l'alimentació del bastidor, i ha de romandre accessible mentre el teixit de producció està trencat. Tracteu-lo com un camí de recuperació i seguretat amb el seu propi enllaç ascendent, no com un trànsit de baixa-velocitat sobrant.

Per a la selecció de mòduls, la conseqüència pràctica és la següent: cada teixit aporta el seu propi nombre de ports, el seu propi perfil de distància i el seu propi tipus de gàbia, i sovint són diferents. Un clúster pot ser OSFP en càlcul i QSFP-DD en emmagatzematge i gestió sense que hi hagi cap error.

Pas 4: trieu 400G o 800G entre una restricció, no una tendència

Un port de 800G duplica la capacitat nominal. No redueix el trànsit que genera la teva aplicació. El seu valor gairebé sempre és estructural - menys enllaços, una millor eficiència de radix o un punt final 800G natiu.

400G segueix sent la millor opcióquan els punts finals de càlcul són de manera nativa de 400G, el teixit actual ja compleix el seu objectiu de bloqueig, el clúster està creixent dins de la base disponible, ja existeix un mòdul qualificat de 400G i una base de cablejat, o les limitacions de potència i refrigeració fan que el 800G sigui poc atractiu. Utilitzant 800Genllaços ascendentsservidors superiors a 400 G encara és perfectament raonable -, però justifiqueu-ho a partir de l'aritmètica del port anterior, no des de l'etiqueta.

800G millora el dissenyquan els servidors exposen interfícies 800G natives, quan molts fluxos de 400G s'han d'agregar en menys enllaços de la columna vertebral, quan el recompte de ports de commutació és la limitació d'enllaç o quan la ruptura de 800G a interfícies secundàries de -més velocitat simplifica una migració. Dit amb precisió: 800G pot reduir el nombre d'enllaços físics o ports de commutacióen dissenys on l'agregació i la base són les limitacions limitants. No ho fa com una llei de la naturalesa.

Comparison of 400G and 800G AI cluster network architectures

La migració a -velocitat mixta necessita documentació explícita

Breakout és on els dissenys de-velocitat mixta fallen en silenci. Les NIC modernes fan que això sigui configurable en lloc de fixar - ConnectX-8 de NVIDIAdocumentació de-divisió de portsmostra una única gàbia OSFP de 800G que s'està reconfigurant en dos ports de 400 GbE o vuit ports de 100 GbE, cadascun requerint un canvi de configuració de nivell de firmware-i un cicle d'engegada. Aquesta flexibilitat només existeix quan el venedor l'ha provat i publicat.

Per tant, un pla de migració hauria d'indicar, per port: quins ports s'executen a quina velocitat, si l'amfitrió admet el mode d'interrupció previst, la velocitat del carril elèctric als dos extrems, si la interrupció és lògica, òptica o basada en cable-, el mode FEC que necessita cada interfície secundària, si el recompte de fibra existent i el tipus de connector es poden reutilitzar i com la supervisió identificarà cada port secundari. La inserció d'un mòdul-de velocitat inferior no fa que tots els modes d'amfitrió estiguin disponibles.

QSFP-DD vs OSFP

Factor de decisió QSFP-DD OSFP
Compatibilitat familiar-QSFP Natiu, on l'amfitrió admet el mode Possible per a alguns mòduls mitjançant un adaptador-creat específicament
Mida del mòdul Més petit Més gran
Disseny tèrmic Dissenys de-dissipadors de calor; verificar a tota la població Dissipador de calor integrat o muntat; MSA defineix classes de potència més altes
Ús típic del sistema d'IA- Commutadors Ethernet, plataformes-de velocitat mixta Diverses plataformes-GPU i InfiniBand d'alt rendiment
Regla de decisió Preferiu quan els punts finals siguin QSFP nadius-DD i QSFP qüestions de reutilització Preferiu quan els punts finals siguin OSFP natius o l'òptica necessiti el seu embolcall de potència

Cal limitar dues reclamacions. En primer lloc, "OSFP no té cap retrocompatibilitat" és massa ampli - elOSFP MSAdocumenta la compatibilitat amb QSFP mitjançant un adaptador dedicat i l'especificació del seu mòdul defineix les classes de potència més altes i les opcions de-dissipador de calor integrat que donen a OSFP la seva reputació tèrmica. En segon lloc, aquesta reputació és un sostre d'especificació, no una garantia. El fet que un xassís determinat pugui executar mòduls de classe de 30 W-a cada gàbia depèn del disseny de la gàbia, la direcció del flux d'aire, la temperatura d'entrada, la política del ventilador, la reducció del port-adjacent i els límits propis del proveïdor del sistema.

És per això que la-validació tèrmica completa de la població no és-negociable: un mòdul que passa per un port pot superar el seu límit de temperatura-quan els 32 o 64 ports estan il·luminats i, de nou, quan falla un ventilador o una font d'alimentació. Proveu el sistema poblat, a la vostra temperatura d'entrada real.

Si el servidor és OSFP i el commutador és QSFP-DD, resistiu el reflex d'estandarditzar. Els adaptadors afegeixen l'espai lliure mecànic, el flux d'aire, la potència, la-integritat del senyal, l'inventari i les consideracions de suport. Un cable de factor creuat-- qualificat, o un enllaç òptic amb PMD i FEC coincidents a cada extrem, sovint són més nets que substituir el maquinari per fer coincidir les formes.

QSFP-DD and OSFP transceivers compared by size and thermal design

Pas 5: seleccioneu l'enllaç per distància mesurada i fibra existent

La capacitat i els punts finals ara han fixat la velocitat del port i la gàbia. La distància i la planta de fibra instal·lada arreglen tota la resta. Com a directriu d'enginyeria i no com a regla, l'enllaç tècnicament vàlid més curt sol ser el més senzill d'operar -, però els requisits de flexibilitat, diàmetre del cable, facilitat de servei i ruptura s'ofereixen.

Ruta Opció típica Què confirmar
Intra-rack, molt curt DAC passiu Longitud exacta i tipus de cable suportats als dos extrems; radi de curvatura; pes
Curt però més enllà del coure passiu AEC/ACC Consum d'energia, latència afegida, bloqueig del flux d'aire, qualificació del venedor, suport del mode de port
Òptica curta, longitud fixa acceptable AOC Facilitat de servei - una fallada substitueix tot el conjunt
Multimode, en-fila a-fila adjacent Òptica paral·lela de classe SR- Grau de fibra i límits d'abast; veure el nostreGuia de límits de distància OM1-OM5
Mode-únic, sub-quilòmetre, ruptura desitjada Òptica paral·lela de classe DR- Mida MPO, polaritat, poliment APC/UPC, mapeig de descàrrega
Mode{0}únic, escala quilomètrica Classe FR-dúplex o paral·lel, segons el producte El tipus de connector varia segons el número de peça; comparació de grau de fibra -Fibra d'un-mode OS1 i OS2

La implementació del connector és la trampa aquí, perquè no està implicada per l'etiqueta òptica. Els venedors envien productes 800G DR8 amb connectivitat MPO dual-12 o MPO simple-16, i productes de classe FR de 2 km amb MPO paral·lel o LC dúplex dual. Ambdues variants són legítimes; necessiten un cablejat completament diferent. Abans de demanar troncs, resol la qüestió del connector deliberadament: el nostreGuia de selecció MTP vs MPOcobreix les diferències mecàniques i de polaritat, i laGuia de cable d'interrupció MPOcobreix l'assignació-de sortida del ventilador de la qual depenen els ports de ruptura.

Dos elements més pertanyen a la mateixa conversa. La pèrdua de canal s'ha de pressupostar en funció de l'especificació del mòdul amb connectors i empalmes comptats, no s'assumeix - vegeucom s'acumula la pèrdua d'inserció a les xarxes de fibra. I el cablejat estructurat entre files és més fàcil de mantenir quan està construït sobre pre-terminacióCables troncals MPO/MTPamb un mètode de polaritat documentat en lloc d'execucions{0}}ensamblades en camp. Quan s'utilitzen enllaços FR dúplex, les unitats de qualitat de l'extrem del connector retornen la pèrdua directament; elGuia del connector LCcobreix què inspeccionar.

Per a cada enllaç, registreu: gàbia de l'amfitrió, velocitat del carril de l'amfitrió, velocitat de port configurada, PMD o tipus de cable, connector, tipus i recompte de fibra, pèrdua màxima de canals, mode FEC, mapes d'interrupció, codi d'aplicació del mòdul, requisit de CMIS i firmware, potència màxima i estat de qualificació. Aquest registre per-enllaç val més que qualsevol regla general sobre quina òptica va cap a on.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 o InfiniBand: decidiu-ho de manera independent

L'elecció del protocol és ortogonal al factor de forma i s'ha de fer per motius operatius.

RoCEv2s'adapta a les organitzacions que ja fan servir Ethernet a escala, amb funcions RoCE validades a la plataforma de commutació i un equip capaç de posseir QoS, control de congestió, telemetria i configuració d'amfitrió. L'advertència és que "habilitar PFC i ECN" no és un pla de desplegament. La documentació de Cumulus Linux de NVIDIA descriuRoCE com una configuració complexaque abasta grups de memòria intermèdia, classificació de trànsit, mapeig de prioritats, llindars PFC i ECN i programació, amb un mode sense pèrdues que utilitza PFC i ECN junts i un mode amb pèrdues que utilitza només ECN - i assenyala que la configuració generada per a una generació d'ASIC de commutador no es transfereix a una altra.

InfiniBands'adapta als desplegaments seguint una arquitectura de proveïdor validada, on la gestió integrada de teixits és valuosa i l'equip ja té les eines i l'experiència.

Baseu l'elecció en el comportament de l'aplicació provat, les habilitats operatives, els límits de suport i el disseny total del sistema. Els percentatges de rendiment de màrqueting depenen de la topologia, la versió del programari, la mida del missatge, l'estat de congestió i la configuració de la NIC i rarament es transfereixen a un altre clúster.

Validació: què provar abans de comprar en volum

Una prova de laboratori representativa cobreix quatre àrees, i l'ordre importa l'estabilitat de l'enllaç - primer, perquè els números de rendiment d'un enllaç inestable no tenen sentit.

Presentar-:arrencada en fred, reinici en calent, inserció i eliminació de mòduls, inhabilitació/habilitació de ports, creació i eliminació d'interrupcions, i ambdós extrems es reinicien en diferents seqüències.Integritat del senyal:BER pre-FEC, recomptes de FEC corregits i no corregibles, errors de-nivell de carril, PRBS o BERT quan s'admet, potència òptica de transmissió i recepció, temperatura de la caixa del mòdul i recomptes de-flaps d'enllaç sota càrrega tèrmica.Rendiment:rendiment sostingut, els col·lectius i les mides de missatges que utilitzen realment les vostres feines, trànsit multi-ferroviari, incast, emmagatzematge-a més-contenció informàtica i una llarga remullada.Fallada:enllaç únic, interruptor de fulla, enllaç de la columna vertebral, recuperació del cicle d'alimentació-, substitució de cables i mòduls, pèrdua de ruta de gestió-.

Llindars de registre, no només aprovat/fallat. Els errors FEC no corregibles haurien de ser zero en un enllaç saludable; Les taxes d'error pre-FEC haurien de situar-se bé dins del marge especificat del mòdul i romandre allí quan la temperatura del cas augmenta durant el remull. Un enllaç que tendeix a l'alça en un remull de 48 hores és un enllaç que fallarà en la producció.

A continuació, implementeu el domini d'error - un bastidor, un rail, un parell de fulles o una unitat escalable alhora - i superviseu els canvis d'estat dels enllaços, els recomptes corregits i no corregibles de FEC, la temperatura del mòdul, la potència òptica, l'activitat de pausa PFC, el marcatge ECN, l'ocupació de la cua i el temps de comunicació a nivell-de feina. Un enllaç que encara està en funcionament encara es pot degradar; l'error corregit-augment i les tendències de temperatura són el primer avís que rebeu.

Tres escenaris de disseny

Ampliació d'un teixit Ethernet 400G existent.Els commutadors QSFP-DD 400G qualificats i el cablejat estructurat ja estan al seu lloc; els nous nodes exposen 400G. Manteniu el servidor-encara als enllaços a 400 G, executeu el càlcul de l'enllaç ascendent anterior per provar la proporció de bloqueig i introduïu 800 G només allà on compri l'eficiència del port de la columna vertebral. Reutilitzeu l'òptica i la fibra qualificades allà on ho permeti el pressupost de pèrdua i valideu totes les configuracions d'interrupció de-velocitat mixta abans de comprar. Switch radix impulsa aquesta decisió, no el recompte de GPU.

Creació d'un clúster natiu de 800G-.Els servidors exposen 800G nadius. Seguiu la topologia validada del proveïdor del servidor, trieu commutadors amb la gàbia nativa corresponent, verifiqueu la-capacitat tèrmica completa de la població a la vostra temperatura d'entrada, trieu la interconnexió a partir de les longituds de ruta mesurades i valideu cada ruptura i combinació de FEC abans de comprometre's. Aquí 800G es justifica pel propi punt final.

Viure amb dos factors de forma.Els servidors són OSFP; part de l'estat de commutació Ethernet és QSFP-DD. Compareu conjunts DAC o AOC de factor creuat-forma- qualificats, interoperabilitat òptica amb diferents gàbies a cada extrem, adaptadors aprovats, implicacions tèrmiques i energètiques, inventari de recanvi i propietat de suport. Substituir un costat només per estandarditzar la forma del mòdul és sovint més car que operar un entorn mixt documentat.

Set errors que causen reelaboració

  • A partir del recompte de GPU.No descriu el recompte de NIC, el mapeig de ferrocarril, la tarifa del port o la sobresubscripció. Calcula a partir de les interfícies del servidor.
  • Suposant que 800G és més ràpid per a cada feina.Només ajuda on els punts finals, la topologia i el patró de trànsit el poden utilitzar. Compara els col·lectius que realment dirigeixes.
  • Tractant QSFP-DD com un protocol.És una gàbia. Valideu gàbia, protocol, mode elèctric, òptica i FEC per separat.
  • Ignorant els teixits d'emmagatzematge i gestió.Un teixit informàtic ràpid no pot compensar el lliurament lent del punt de control o un BMC inabastable.
  • Llegint l'etiqueta òptica com a especificació de cablejat.DR8 i FR4 no especifiquen connector, recompte de fibra o disseny d'interrupció. Utilitzeu números de peça exactes i un diagrama de cablejat.
  • Prova un port.El flux d'aire-total de la població i la temperatura d'entrada són la prova real.
  • Cotització de percentatges de rendiment sense mètode.Publiqueu la topologia i el mètode de prova, o deixeu anar el número.

Construir un model de TCO que podeu defensar

Els costos de capital cobreixen NIC o DPU, interruptors de fulla i columna vertebral, transceptors, DAC, AEC i AOC, troncs i pegats de fibra, bastidors i gestió de cables, equips de prova i recanvis. Els costos operatius cobreixen l'alimentació del mòdul i de l'interruptor, la refrigeració, la supervisió, la qualificació del microprogramari, la formació, la mà d'obra de substitució i el suport del proveïdor. Els costos de risc - els que s'ometen habitualment - cobreixen errors de compatibilitat, retard de desplegament, reducció tèrmica, inestabilitat de l'enllaç, re-cablejat, treballs d'entrenament interromputs i temps de recuperació ampliat.

La compatibilitat enrere redueix realment el cost, però l'estalvi s'ha de calcular a partir de l'equip específic que es pot reutilitzar a la velocitat i el mode necessaris. La compatibilitat-del factor de forma per si sola no garanteix que l'ASIC, la PCB, la gàbia, el sistema de refrigeració, el microprogramari o el pressupost d'energia actuals puguin executar la propera generació. Tracteu la migració de velocitat futura com una pregunta de plataforma, no com una pregunta de connector.

Preguntes freqüents

QSFP-DD és adequat per a clústers de formació d'IA?

Sí, quan és natiu del commutador o punt final escollit, compleix els requisits tèrmics a la població total del port i admet el mode de port i la interfície òptica requerits. La taxa de dades nominal per si sola no és un motiu per seleccionar-la.

Quantes GPU requereixen una xarxa 800G?

No hi ha cap llindar de GPU. Calculeu a partir de ports de xarxa per servidor, velocitat de port, mapeig ferroviari, topologia, objectiu de sobresubscripció i trànsit d'aplicacions - el mètode del pas 2 anterior.

QSFP-DD és millor que OSFP?

Cap dels dos és universalment millor. QSFP-DD ofereix compatibilitat familiar QSFP-nativa i una empremta més petita; L'especificació d'OSFP defineix classes de potència més altes i opcions de-dissipadors de calor integrats, i és nativa de diverses plataformes d'IA-d'alt rendiment. El punt final decideix.

Un port OSFP pot utilitzar un mòdul QSFP?

Algunes implementacions d'OSFP admeten mòduls QSFP mitjançant un adaptador aprovat, però la compatibilitat, l'alimentació, el mode de port i el suport del proveïdor s'han de verificar per a la plataforma específica.

Es pot utilitzar QSFP-DD tant per a Ethernet com per a InfiniBand?

El factor de forma no determina el protocol. El port de l'amfitrió, la NIC, l'interruptor, el microprogramari, el cable i el transceptor han de ser compatibles amb el mode operatiu previst.

Quin transceptor 800G he d'utilitzar?

Comenceu des de la distància mesurada, la gàbia del punt final, la ruptura necessària, el tipus de fibra, el connector, la velocitat del carril, el mode FEC, la classe de potència i la qualificació del proveïdor. El nom de la interfície òptica no és suficient per si sol.

La compatibilitat enrere QSFP-DD garanteix una fàcil actualització 1.6T?

No. El port amfitrió pot acceptar el mòdul de manera mecànica mentre que l'ASIC, la PCB, la gàbia, la refrigeració o el pressupost d'alimentació no poden suportar la nova velocitat del carril. Verificar a nivell de plataforma.

Abans de signar la comanda de compra

Confirmeu la gàbia del punt final als dos extrems de cada tipus d'enllaç; el nombre i la velocitat de{0}}ports de computació de teixit per node; el mapeig del ferrocarril i la proporció de sobresubscripcions objectiu; recompte de ports de fulla i columna vertebral inclosa la redundància; els requisits dels quatre teixits; el mode de funcionament i, per a RoCE, el disseny de control-complet de la congestió; la ruta del cable mesurada i l'elecció d'interconnexió resultant; connector, polaritat i pressupost de pèrdues; FEC i mode de ruptura; potència del mòdul contra els límits tèrmics-de la població completa; compatibilitat de firmware i CMIS; estat de qualificació del proveïdor; i resultats de laboratori per a proves de BER, rendiment, congestió, fallades i proves de remull.

QSFP-DD és compatible amb un teixit AI escalable de 400G o 800G. Encara és només un component del disseny. Comenceu amb els punts finals i el model de trànsit, calculeu la topologia, trieu l'enllaç físic a partir de la distància mesurada i valideu el sistema muntat abans que realitzi un treball d'entrenament.

Metodologia i Àmbit

Aquesta guia es basa en tres tipus de fonts, i es mantenen deliberadament diferents al text anterior.Normes i documents MSA- IEEE 802.3df, les especificacions de maquinari QSFP-DD i OSFP MSA i els acords d'implementació OIF CMIS - defineixen factors de forma, senyalització i comportament de gestió.Documentació del venedor- Les guies del sistema NVIDIA DGX, arquitectures de referència DGX SuperPOD, ConnectX-notes de configuració de 8 ports i documentació de Cumulus Linux RoCE - es cita com a exemple específic del proveïdor, no com a comportament universal; altres plataformes són diferents.Pautes d'enginyeria- els consells de seqüenciació, la preferència per enllaços més curts, els llindars de validació - són recomanacions operatives extretes de la pràctica de desplegament i s'etiqueten com a tal en lloc de presentar-se com a especificació.

 

Enviar la consulta