NIC 400G vs 800G: quina hauríeu de triar?

Escollir entre una NIC de 400G i una NIC de 800G és una decisió de teixit, no una comparació de-pagina de compra. L'adaptador més ràpid només val la pena quan el servidor, l'interruptor, l'òptica i el cablejat poden portar aquesta velocitat de punta a punta. Aquesta guia analitza la compensació-des d'un angle de desplegament i adquisició, perquè pugueu decidir abans de comprometre el pressupost amb adaptadors, commutadors, transceptors, DAC, AOC, AEC o fibra.

La versió curta: una NIC de 400G és la predeterminada-madura i rendible per a la majoria de les càrregues de treball actuals d'IA, HPC, emmagatzematge i núvol, i s'assigna clarament als amfitrions NDR InfiniBand i PCIe Gen5. Una NIC 800G guanya el seu premi quan creeu un teixit d'IA-de propera generació amb GPU més densos, trànsit més intens a l'est-oest i un full de ruta cap a XDR InfiniBand, Ethernet 800G i, finalment, 1,6 T.

NIC 400G vs 800G

Trieu una NIC 400G quan els vostres servidors, commutadors i planta òptica ja estiguin estandarditzats a 400G Ethernet o NDR InfiniBand, o quan la càrrega de treball no saturi totes les rutes de GPU-a-GPU. També és la trucada més segura quan la disponibilitat, el pressupost i el temps de qualificació importen més que la velocitat màxima del port.

Trieu una NIC de 800 G quan la xarxa s'està convertint en el coll d'ampolla per a la formació a gran-escala, els servidors de GPU d'alta-densitat o els acceleradors de-última generació. Redueix aproximadament a la meitat el nombre d'enllaços i mòduls òptics necessaris per a una quantitat determinada d'amplada de banda i prepara el teixit per a la propera actualització.

Només val la pena comprar un port 800G quan la resta del sistema el pugui alimentar. Si l'amfitrió no pot exposar prou carrils PCIe a l'adaptador, una NIC 800G es converteix en un port car i poc utilitzat en lloc d'una actualització de rendiment.

Què és una NIC 400G?

Una NIC 400G és un adaptador de xarxa que es mou fins a 400 gigabits per segon per port. En entorns d'IA i HPC gestiona les xarxes de clúster de GPU-, formació distribuïda, accés a l'emmagatzematge, trànsit MPI, teixits RoCE i enllaços NDR InfiniBand. Per a la majoria d'operadors, 400G ja és un gran salt de 100G o 200G i elimina els obvis colls d'ampolla sense forçar un redisseny del servidor i canviar els nivells.

On s'adapten les NIC 400G avui

Els adaptadors 400G són l'opció predeterminada de funcionament dels clústers d'entrenament d'IA en GPU de la-generació actual, teixits informàtics-HPC i científics, xarxes d'emmagatzematge d'alt-rendiment, teixits Ethernet RoCEv2 i InfiniBand, flotes generals de servidors al núvol i sales d'actualització{9}}de 100G/200G{7}}a 40{9}generacions mixtes. En aquests paràmetres, 400G poques vegades és un compromís. És simplement la classe de velocitat adequada quan la mida del clúster, el nombre de GPU i el pressupost no justifiquen la complexitat afegida de 800G.

Per què 400G encara té sentit

La selecció de NIC és un problema d'-equilibri del sistema. Si un amfitrió no pot alimentar un adaptador 800G, si la càrrega de treball està lligada al càlcul- o a l'emmagatzematge-, o si la columna vertebral encara és de 400G, aleshores baixar les NIC 800G augmentarà el cost sense moure el rendiment de l'aplicació. Un teixit de 400 G-ben construït, amb una baixa sobresubscripció, una topologia neta, RDMA, òptica de qualitat i un control de congestió ajustat, encara ofereix treballs exigents d'IA i HPC còmodament.

Què és una NIC 800G?

Una NIC 800G ofereix fins a 800 gigabits per segon per port. S'adreça als centres de dades d'IA de propera-generació, grans clústers de GPU i teixits d'hiperescala on la demanda de comunicació supera la xarxa de servidors convencional. La generació 800G ara està estandarditzada:l'estàndard IEEE 802.3df, ratificat el 2024, defineix 800 Gigabit Ethernet i admet sub-tarifes com ara 1x800G, 2x400G i 8x100G, que és el que fa que la migració de-velocitat mixta sigui pràctica.

El valor no és només la taxa de titular duplicada. 800G permet als arquitectes augmentar la densitat de l'ample de banda, reduir el recompte d'enllaços i mòduls i donar suport a teixits d'entrenament més grans amb un trànsit més agressiu per a tot-a-.

Per què els clústers d'IA es mouen a 800G

La formació de grans-models genera un enorme trànsit-a-GPU i servidor-a-. L'intercanvi de gradients, la-reducció, la barreja-d'-experts en l'encaminament, la verificació i l'emmagatzematge-conduits pesats martellegen el teixit. A mesura que els acceleradors es fan més ràpids, la xarxa ha de mantenir el ritme o les GPU cares es queden inactius esperant la sincronització. 800Les NIC G responen a això augmentant l'amplada de banda per node, per accelerador o per ferrocarril de xarxa.

800G és una decisió de teixit, no només un adaptador

Passar a 800G remodela la selecció d'interruptors, l'òptica, la planificació de l'abast, el disseny tèrmic, el flux d'aire i la disposició del bastidor. Les opcions òptiques i de coure, en particular, són més estrictes: un port 800G pot utilitzar un mòdul OSFP o QSFP-DD, i els mòduls laterals-switch i NIC-laterals poden diferir en disseny tèrmic i mecànic fins i tot a la mateixa velocitat. Si la vostra planta utilitza fibra estructurada, confirmeu aviat els tipus de mòduls i connectors; nostrevisió general del factor de forma QSFP-DDcobreix on encaixa en relació amb OSFP. Tracteu el 800G com un programa-de teixit, no com un intercanvi d'elements-de línia única.

NIC 400G vs NIC 800G

Quan triar una NIC 400G

Trieu una NIC de 400 G quan l'objectiu és una xarxa-d'alt rendiment amb un maquinari madur, un desplegament previsible i un cost controlat.

Esteu construint sobre la infraestructura 400G existent

Si els vostres commutadors, cables, òptiques i plataformes de servidor ja estan estandarditzats a 400G, quedar-vos amb NIC 400G elimina una sèrie de comprovacions de compatibilitat i us permet reutilitzar la major part de l'ecosistema actual. Això és especialment cert quan s'actualitza des de 100G o 200G, on el guany de rendiment és gran i l'ecosistema és molt més madur que el 800G.

La vostra càrrega de treball d'IA no satura el teixit

No totes les feines d'IA necessiten 800 G per servidor. Molts estan lligats al càlcul,-lligats a l'emmagatzematge-, a la memòria- o limitats per l'eficiència del programari més que per l'amplada de banda de la xarxa. Si el perfil mostra que la xarxa no és el coll d'ampolla principal, una NIC de 400G normalment ofereix el millor rendiment.

Necessiteu un HPC rendible-

Moltes càrregues de treball d'HPC són sensibles a la latència, al comportament de transmissió-de missatges i a la congestió del teixit en lloc de l'ample de banda brut. Un teixit 400G-ben ajustat sovint supera un 800G mal integrat. La pregunta útil no és quina NIC és més ràpida, sinó quin disseny de xarxa ofereix el millor rendiment de l'aplicació per dòlar.

Necessiteu una adquisició més ràpida i de menor risc-

Els adaptadors, òptiques i cables 400G són més fàcils d'obtenir i qualificar en més plataformes de servidors i commutadors. Quan l'equip té un temps limitat per a la validació, 400G és l'opció de menor risc-que encara elimina la majoria de colls d'ampolla.

Quan triar una NIC 800G

Trieu una NIC 800G quan l'aplicació, la plataforma GPU i el teixit puguin utilitzar realment l'amplada de banda addicional.

Esteu dissenyant un teixit d'entrenament en intel·ligència artificial de-generació

Els grans clústers d'entrenament generen una gran comunicació de tot-a-tot i est-oest. A mesura que creixen la mida del model, el nombre de GPU i el paral·lelisme, la xarxa es converteix en el limitador. Aquí, les NIC de 800 G augmenten l'amplada de banda per-node i redueixen el risc que el teixit accelera les GPU.

Necessiteu una densitat d'amplada de banda més alta

800G redueix el nombre de ports, enllaços i mòduls necessaris per oferir una quantitat determinada d'ample de banda. Això és important en clústers densos on l'espai del bastidor, el nombre de ports-del panell frontal, la gestió de cables i la base del commutador estan restringits. Menys enllaços més ràpids poden simplificar la construcció, sempre que el teixit del commutador i el pla de cablejat estiguin dissenyats per a això.

Esteu planejant les plataformes de GPU-de propera generació

Si el full de ruta inclou servidors de GPU de propera-generació, una densitat de potència més alta del bastidor, refrigeració líquida i clústers més grans, 800G és la trucada estratègica més forta. Comprar 400G avui encara pot ser raonable, però el teixit s'hauria de dissenyar amb un camí de migració a 800G o més.

Voleu reduir la-interrupció a llarg termini de l'actualització

Una estratègia 800G per fases redueix el dolor de la migració futura. Primerament, implementeu commutadors compatibles amb 800G-, connecteu les NIC de 400G existents mitjançant dissenys de velocitat-disclosa o mixta, i després actualitzeu els servidors a 800G. Això protegeix la inversió actual mentre posa en escena el teixit per a la propera generació.

Quan NO escollir una NIC 800G

Aquesta és sovint la pregunta més útil i filtra les compres més lamentades. Manteniu el 800G quan es compleixi alguna de les condicions següents:

• L'amfitrió no pot exposar un camí x16 complet de classe PCIe Gen6 a l'adaptador. El port s'executarà sense gana i haureu pagat l'amplada de banda que el bus del servidor no pot oferir.
• La columna està sobresubscriptada o encara 400G. Una NIC més ràpida no arregla un teixit restringit; només allunya el coll d'ampolla d'un salt.
• La càrrega de treball està lligada a la latència- o MPI-en lloc de l'ample de banda-. El rendiment addicional fa poc per a les tasques limitades per la sincronització o el comportament de missatges petits-.
• L'òptica, el cablejat o la refrigeració per a 800G no es poden obtenir ni validar a la vostra línia de temps. Un mòdul no qualificat que s'aixeca sota càrrega és pitjor que un enllaç més lent que es manté.
• No hi ha cap full de ruta concret de creixement que justifiqui la prima avui.

Si s'apliquen dos o més d'aquests, 400G és gairebé segurament la resposta correcta per a aquesta compilació, amb 800G reservats per a la propera actualització.

NIC 400G vs 800G per a centres de dades al núvol

Els teixits de núvol rarament corren una velocitat a tot arreu. Segmenten per classe de trànsit i l'elecció de la NIC segueix el segment en lloc del centre de dades en conjunt.

• Trànsit frontal-nord-sud:400G acostuma a ser suficient per als-usuaris i els nivells d'API, on l'ample de banda per-flux és modest i el recompte de connexions domina.
• Emmagatzematge i trànsit a l'est-oest:la resposta depèn de com estigui desagregada l'arquitectura. 400G cobreix la majoria de grups generals; 800G ajuda allà on les unitats d'emmagatzematge distribuïdes grans van mantenir la càrrega est-oest.
• Inferència d'IA:400G és suficient per a molts núvols d'inferència, mentre que 800G s'adapta a una barreja densa-d'-experts en enrutament o servei desagregat on els testimonis es mouen a través de molts nodes.
• Teixit multi-inquilí:aquí, la proporció de sobresubscripcions i l'aïllament dels inquilins donen forma al rendiment molt més que la taxa màxima de NIC. Un teixit equilibrat de 400 G amb un fort aïllament sovint supera un més ràpid però congestionat.

Com que el creixement del núvol a l'est-oest aterra a la fibra estructurada, planifiqueu el cablejat troncal al costat de la NIC; nostreguia per al cablejat de tronc MPO/MTPcobreix recorreguts-d'alta densitat. Com a regla general, utilitzeu 400 G per a la majoria de nivells de núvol-front-end i generals, i reserveu 800 G per als segments on dominen els serveis d'IA densos o les grans piscines est-oest.

Factors clau de selecció més enllà de la velocitat del port

Una NIC més ràpida no garanteix càrregues de treball més ràpides tret que tota la plataforma ho admeti. Cinc factors decideixen si un port 800G ofereix o està inactiu.

Generació de PCIe i amplada de banda de l'amfitrió

La NIC arriba a l'amfitrió a través de PCIe i aquest enllaç és un sostre dur. Un port de 400 Gb/s necessita aproximadament 50 GB/s per direcció, que pot portar una ranura PCIe Gen5 x16, a uns 63 GB/s utilitzables per direcció. Un port de 800 Gb/s necessita aproximadament 100 GB/s per direcció, més enllà d'una ranura Gen5 x16, per això els adaptadors 800G solen esperarl'especificació PCIe 6.0 de PCI-SIG(64 GT/s, fins a 256 GB/s bidireccional en x16) o un disseny x32 poc comú. Abans de comprometre's amb 800G, confirmeu:

• Generació PCIe
• Recompte de carrils i cablejat de ranures
• Ubicació de NUMA i camí de la GPU-a-NIC
• Validació del-servidor per a l'adaptador
• Suport de BIOS i firmware

Als servidors de GPU, la col·locació de la NIC en relació amb les CPU i les GPU decideix amb quina neteja es mouen les dades. Un NIC de classe-Gen6 que s'ha col·locat en una ranura Gen5 x8 és el coll d'ampolla autoinfligit més comú al camp.

Switch Fabric i sobresubscripció

La velocitat de la NIC ha de coincidir amb la tela. 800Els adaptadors G no fan res si la columna-de la fulla està sobresubscripta o els enllaços ascendents són prims. Comproveu les velocitats dels ports de fulla i columna vertebral, la proporció de sobresubscripcions, el nombre de rails de xarxa, el patró est-oest, el disseny del domini d'error-i l'amplada de banda de bisecció necessària. Per a l'entrenament, una ràtio de sobresubscripcions més baixa normalment fa més per al rendiment que una NIC més ràpida.

RoCE, InfiniBand i Ultra Ethernet

Els teixits AI i HPC es basen en RDMA per reduir la sobrecàrrega de la CPU, i el protocol configura la NIC, el commutador, el control de la congestió i les operacions. Avui, NDR InfiniBand funciona a 400 Gb/s per port iXDR InfiniBand arriba als 800 Gb/s per port, que s'alinea directament amb els nivells NIC 400G i 800G. Al costat d'Ethernet, el

Especificació 1.0 d'Ultra Ethernet Consortiumdefineix una pila RDMA-sobre-Ethernet que abasta NIC, commutadors, òptiques i cablejat, dirigida directament a l'escala-de IA i HPC.

Trieu InfiniBand per obtenir un teixit HPC o AI de baixa-latència i estretament integrat quan el vostre equip conegui aquest ecosistema. Trieu Ethernet o RoCE per a una selecció més àmplia de proveïdors i una integració al núvol. Penseu en Ultra Ethernet quan vulgueu un camí obert i estandarditzat per a Ethernet d'alt-generació{4}}de propera generació.

Òptica, factors de forma i cablejat

A 400G i 800G, la compatibilitat física importa tant com la tarifa. Dos mòduls poden compartir una velocitat, però difereixen en el factor de forma, el disseny tèrmic i els requisits de l'amfitrió. Verifiqueu els requisits dels mòduls OSFP vs QSFP112 vs QSFP-DD,-superior plana i-superior amb aletes-, commutador-lateral i NIC-, DAC, AEC, AOC o abast òptic, assistència de desglossaments i codificació i microprogramari del proveïdor. No suposeu que un OSFP 800G que funciona en un interruptor s'assentarà i es refredarà correctament en una NIC; molts mòduls d'interruptor i NIC utilitzen diferents dissenys tèrmics i mecànics.

Validació de potència, flux d'aire i tèrmica

Els components 800G consumeixen més potència i funcionen més calents. Valideu la NIC, l'òptica, els ports de commutació i la ruta del flux d'aire amb càrrega sostinguda, no en inactivitat. Confirmeu la potència de la NIC i dels mòduls òptics-, la direcció del flux d'aire i l'espai de refrigeració, la temperatura màxima d'entrada, la densitat del cable i l'obstrucció del flux d'aire i les suposicions de refrigeració- d'aire-de líquid. La inestabilitat tèrmica es mostra com a solapes d'enllaç i taxes d'error creixents, el tipus de falla intermitent que és lenta i costosa de perseguir en producció.

Errors comuns a evitar

Comprar 800G només perquè és més ràpid

800G no és millor automàticament. Si la càrrega de treball, el servidor o el teixit no poden utilitzar l'ample de banda, el cost addicional no es converteix en rendiment de l'aplicació. Relacioneu el port amb el coll d'ampolla que teniu realment.

Ignorant l'amplada de banda PCIe

Una NIC només pot moure dades tan ràpid com ho permeti el bus host. Verifiqueu la generació de PCIe, el recompte de carrils i la topologia del servidor abans de triar una classe de velocitat, no després que arribi el maquinari.

Triar el mòdul òptic incorrecte

A aquests ritmes, el factor de forma del mòdul i el disseny tèrmic són crítics. És possible que una variant OSFP incorrecta no s'ajusti a una gàbia determinada, o bé que s'ajusti, però que s'escalfi en un trànsit sostingut, produint errors que semblen un problema de teixit.

Oblidant l'abast del cable

DAC, AEC, AOC, òptica multimode i òptica{0}}mode únic serveixen cadascuna a diferents intervals de distància i diferents graus de fibra porten distàncies diferents; nostrela ruptura d'OM1 a OM5 assoleix els límitsmostra on arriba cada grau. Escollir la interconnexió incorrecta afegeix latència, cost o reelaboració.

Tractar les NIC, els commutadors i les òptiques com a compres separades

Demaneu l'adaptador, l'interruptor, l'òptica i el cablejat com una sola llista de materials validada. Un desajustament descobert després del desplegament significa un port que s'enllaça però que s'acobla, o un maquinari que s'ha de retornar a mitja-construcció, cosa que és molt més pertorbador que capturar-lo durant la qualificació.

Recomanació final

Trieu una NIC de 400 G per obtenir un adaptador-eficaç i provat que s'adapti als teixits actuals d'IA, HPC, emmagatzematge i núvol. És l'opció pràctica per a la majoria de clústers de GPU existents i sales de-generació mixta. Trieu una NIC de 800 G quan la densitat d'ample de banda, la-comunicació de la GPU a gran escala i la preparació per a l'actualització superin el cost inicial i quan tot el camí estigui creat per a això.

La decisió mai és ràpida sola. És si els vostres servidors, commutadors, òptiques, cablejat, potència i refrigeració poden convertir aquesta velocitat en rendiment de l'aplicació. La disciplina que protegeix el pressupost és senzilla: valideu la NIC, l'interruptor, l'òptica i el cablejat com un sol sistema abans de fer la comanda.