InfiniBand vs RoCE per a xarxes d'inferència d'IA

TriaInfiniBandquan la vostra càrrega de treball d'inferència viu o mor per una latència de cua previsible i trieuRoCE(RDMA sobre Ethernet convergent) quan vulgueu un rendiment de classe RDMA-en un teixit Ethernet, podeu escalar, compartir i operar amb l'equip que ja teniu. Cap opció guanya a tot arreu. La trucada correcta depèn del vostre patró d'inferència, els vostres objectius de latència p99 i p999, l'escala de la GPU, el pressupost i la quantitat d'expertesa d'ajustament d'Ethernet sense pèrdues-del vostre equip.

Per què la xarxa és més important del que els equips d'inferència esperen

Durant anys, la inferència es va tractar com la meitat fàcil de la història de la GPU: un model carregat en un sol node, les sol·licituds servides de manera independent, molt poc trànsit a l'est-oest. Aquesta imatge està ara obsoleta. La inferència moderna es distribueix cada cop més i diversos patrons exerceixen una pressió real sobre el teixit.

• Paral·lelisme tensordivideix una sola capa entre les GPU, de manera que cada pas del testimoni activa totes les operacions de-reducció o de-agrupació entre elles. És un trànsit de GPU freqüent, sensible a la latència--que les GPU bloquegen mentre esperen.
• Paral·lelisme de canonadesactiva les mans d'una etapa a la següent, sovint entre nodes, afegint dependències entre-nodes a cada pas endavant.
• Preemplenament i descodificació desagregatssepara la fase de preemplenament pesada de càlcul-de la fase de descodificació sensible a la latència-i després mou la memòria cau de KV entre elles. Aquestes transferències són grans i explosives, i qualsevol retard es mostra directament com un temps més lent-a-primer-token i latència inter-token.
• Recuperació-generació augmentada (RAG)afegeix trànsit a l'est-oest als serveis de cerca i de vectors. Normalment és menys latència-crítica que les operacions col·lectives, però encara carrega el teixit, especialment amb un volum de consultes elevat.
• Servei multi-inquilíposa molts models i usuaris al mateix teixit, on les microesclats i els efectes{0}}veïns sorollosos esdevenen el risc dominant.

Quan la xarxa és el coll d'ampolla, els símptomes són cars: més temps-per-primer-token, GPU aturades mentre esperen dades, rendiment que es col·lapsa en ràfegues i p95 i p99 inestables. I aquí hi ha la part que enganxa els punts de referència: la latència mitjana ho amaga tot. La inferència de producció es jutja per la cua, no per la mitjana.

InfiniBand vs RoCE: taula resum per a la inferència d'IA

Què és InfiniBand?

InfiniBand és un teixit de xarxa-creat específicament dissenyat des del principi per a una baixa latència, un alt rendiment i una comunicació sense pèrdues. No és un sabor més ràpid d'Ethernet. Ve amb els seus propis adaptadors de canal d'amfitrió, commutadors, gestor de subxarxes, ecosistema de cablejat i model de control de-congestió. El seu valor definitori és el comportament determinista: moltes GPU es poden comunicar amb requisits de temps ajustats i el teixit continua comportant-se de manera coherent fins i tot quan el trànsit col·lectiu és intens.

Les plataformes InfiniBand modernes orientades a IA-amplien aquesta base amb capacitats dirigides directament als grans clústers de GPU. La línia Quantum InfiniBand de NVIDIA, per exemple, s'afegeixenrutament adaptatiu,-informàtica en xarxa i control de congestió-basat en telemetria, que ajuden el teixit a distribuir el trànsit de manera intel·ligent i aïllen la càrrega d'un inquilí de la d'un altre. Per inferència, InfiniBand es guanya el seu lloc quan la càrrega de treball no pot tolerar la fluctuació o quan diversos nodes de GPU han d'intercanviar dades de manera ràpida i coherent.

Els avantatges-són el cost, la concentració d'ecosistemes i l'especialització operativa. Un teixit InfiniBand dedicat significa commutadors, adaptadors, cables o mòduls òptics dedicats i enginyers còmodes amb la gestió del teixit InfiniBand. Per a una organització que ja té grans estacions d'Ethernet, la fixació d'una estructura separada afegeix complexitat a l'adquisició, la planificació-de peces de recanvi i la supervisió de les despeses generals.

Què és RoCE (RDMA sobre Ethernet convergent)?

RoCE aporta RDMA, moviment directe de dades de memòria-a-memòria amb poca sobrecàrrega de CPU, a les xarxes Ethernet. RoCEv2, la versió que s'utilitza als centres de dades moderns, es pot encaminar a través de xarxes IP de capa 3 i va ser estandarditzada pelAssociació de comerç InfiniBand. Aquesta encaminabilitat és el que permet que RoCE s'adapti de manera natural als dissenys de fulles-Ethernet mentre es reutilitza NIC, commutadors, òptiques i eines de supervisió familiars.

El problema és que els transports RDMA assumeixen una xarxa gairebé-sense pèrdues. Deixeu caure un paquet i el transport es redueix al comportament de retransmissió que destrueix la latència de la cua. Per tant, RoCE necessita que l'Ethernet que hi ha a sota es comporti com un teixit sense pèrdues, i això depèn de la configuració acurada de dos mecanismes en particular:Control de flux prioritari (IEEE 802.1Qbb), que posa en pausa una única classe de trànsit per evitar caigudes, iNotificació explícita de congestió (ECN), que indica la congestió aviat perquè els remitents s'alenteixin abans que els buffers es desbordin. Afegiu-hi la gestió de cues, l'assignació de memòria intermèdia i el mapeig de QoS, i queda clar que RoCE d'alt rendiment-no és Ethernet normal.

Fet bé, RoCE ofereix prou latència i rendiment per a una àmplia gamma de serveis d'inferència de producció, i moltes càrregues de treball d'inferència estan menys sincronitzades que la formació distribuïda, que funciona a favor de RoCE. Si es fa malament, produeix pèrdua de paquets, bloqueig de cap-de-línia, difusió de la congestió i cues inestables, tot això es tradueix directament en una qualitat del servei degradada.

Latència InfiniBand vs RoCE: quina és millor per a la inferència p99?

Tots dos teixits poden oferir una gran-amplada de banda i una xarxa de baixa-latència. Es diferencien en com hi arriben. InfiniBand és determinista per construcció, de manera que la fluctuació es manté baixa fins i tot amb càrrega mixta. RoCE pot igualar-lo per a moltes càrregues de treball, però el resultat depèn del teixit Ethernet i del bé que estigui ajustat.

Des del punt de vista del desplegament, el problema real de la producció rarament és l'amplada de banda màxima. Es tracta d'un trànsit mixt, en ràfega i de diversos-inquilís. Un teixit RoCE que aconsegueix una prova de rendiment net i d'estil iperf-podrà perdre el seu objectiu p99 en el moment en què entren a la imatge les microesclats i la contenció. Aquesta bretxa entre un punt de referència de laboratori i un SLA de producció és on viuen la majoria de les sorpreses.

InfiniBand tendeix a tenir avantatge quan:

• El servei té objectius de latència p99 o p999 estrictes.
• La inferència abasta diversos nodes de GPU amb paral·lelisme de tensor o pipeline, o utilitza preemplenament i descodificació desagregats.
• La utilització de la GPU és molt sensible al retard de la xarxa, de manera que les parades són cares.
• El clúster executa un nombre reduït de càrregues de treball-de prioritat alta on la predictibilitat supera la flexibilitat.

RoCE sol ser prou bo quan:

• Les sol·licituds són majoritàriament independents o l'acoblament és fluix.
• El treball s'executa dins d'un node o d'un nombre reduït de nodes.
• El rendiment del lot és més important que la latència de cua ultra-baixa.
• L'equip ja opera Ethernet i la flexibilitat dels costos o del proveïdor és una prioritat.
• El clúster admet diversos inquilins o càrregues de treball mixtes.

Cost RoCE vs InfiniBand: què impulsa realment el TCO?

Sovint s'anomena RoCE l'opció més barata, però el preu del canvi és una petita part de la imatge. Una comparació realista analitza tota la pila: adaptadors de xarxa o HCA, commutadors, mòduls òptics, DAC, AOC i cablejat de fibra, topologia de bastidor, potència i refrigeració, sistema operatiu de xarxa, monitorització i telemetria, temps d'enginyeria, peces de recanvi, suport de proveïdors i el camí cap a 400G o 800G.

InfiniBand sol comportar un cost inicial més elevat perquè requereix un teixit dedicat i components especialitzats. En entorns on el comportament determinista és la màxima prioritat, pot reduir l'esforç d'ajustament i resolució de problemes que requereix un teixit Ethernet sense pèrdues. RoCE redueix el cost del maquinari quan es pot reutilitzar una finca Ethernet existent, amb el suport de pont del centre de dades adequat, però desplaça l'esforç en dissenyar, validar, supervisar i solucionar problemes del teixit sense pèrdues. Un disseny RoCE de baix cost-es torna car ràpidament si provoca una latència inestable i una extinció d'incendis repetida.

El cost i el risc es concentren a la capa física a mesura que augmenten les velocitats. A 400G i 800G, l'òptica domine tant la factura com els modes de fallada. La majoria dels-ports d'alta velocitat aterrenQSFP-DD o factors de forma comparables, i coincidint amb la dretaòptica mono-mode o multimodeal vostre abast real és una de les maneres més senzilles d'evitar la despesa excessiva en un teixit que no necessita mòduls de llarga-distància.

Dit sense pèrdues: RoCE no és l'opció més barata si el vostre equip no té experiència-Ethernet sense pèrdues. Els estalvis en maquinari es poden consumir ràpidament pel cost d'enginyeria de mantenir estable el teixit.

Escalabilitat i operacions

L'escalabilitat és més que el recompte de ports. Inclou la facilitat amb què es desplega, es controla, s'amplia i es recupera el teixit quan falla alguna cosa.

InfiniBand és fort quan el clúster està dissenyat com a teixit d'alt rendiment-des del primer dia. Ofereix un comportament coherent a escala, però espera eines específiques d'InfiniBand-, com ara un gestor de subxarxes i una gestió unificada de teixits, i personal que se senti còmode amb els conceptes d'InfiniBand. Això fa que sigui un ajust natural per als clústers d'IA centralitzats construïts al voltant de les càrregues de treball de la GPU.

RoCE s'insereix en dissenys de centres de dades Ethernet: topologies de fulla-espina dorsal, encaminament IP, ECMP i pràctiques de supervisió familiars. És exactament per això que apel·la a l'estil-núvol i a la infraestructura de GPU multi-inquilí. La disciplina que exigeix ​​és la coherència. PFC, ECN, QoS, gestió de memòria intermèdia i control de la congestió s'han de dissenyar de manera coherent a tot el camí, perquè una petita configuració incorrecta en un racó del teixit pot estendre i degradar moltes càrregues de treball alhora. La capa física també ha d'escalar netament; alta-densitatMPO i MTP troncal i cablejat de rupturafa que un teixit de fulla-espina dorsal en creixement sigui manejable en lloc de convertir cada expansió en un trencaclosques de cablejat.

Val la pena indicar el punt-de la imatge mirall: InfiniBand és difícil de justificar quan la inferència es manté majoritàriament dins d'un sol node i el teixit amb prou feines s'exerceix.

Quina xarxa per a cada càrrega de treball d'inferència

Quan RoCE és prou bo i quan esdevé arriscat

RoCE és prou bo per a sol·licituds independents o poc acoblades, treballs per lots{0}}orientats al rendiment i clústers de diversos-inquilís on podeu ajustar l'aïllament, especialment quan l'equip domina l'Ethernet de pont de centre de dades. Esdevé arriscat de maneres específiques i reconeixibles:

• Tempestes de PFC.Els fotogrames de pausa es propaguen aigües amunt i congelen el trànsit que no tenia res a veure amb la congestió original.
• Bloqueig-de-línia.L'assignació de prioritats gruixudes permet que una classe congestionada deixi a altres persones que comparteixen una cua.
• ECN mal sintonia.Marqueu massa tard i obteniu gotes; marca de manera massa agressiva i accelerarà el rendiment innecessàriament.
• Congestió de microburst.Les ràfegues de sub{0}}segons desborden les memòries intermèdies, però es mantenen invisibles per controlar les mostres amb una resolució d'un-segon.
• Configuració inconsistent.Els paràmetres que no coincideixen a la fulla i la columna fan que la congestió s'estengui en comptes de mantenir-se local.

Cap d'aquestes són raons per evitar el RoCE. Són motius per dissenyar el teixit sense pèrdues de manera coherent de punta a punta i per invertir en telemetria-gran finet i conscient de les microràfegues- abans d'escalar.

Quan val la pena InfiniBand i quan compreu en excés

InfiniBand val la pena per a objectius p99 i p999 estrictes, servei multi-node estretament acoblat i càrregues de treball-crítiques de missió en què les penalitzacions de SLA són altes, especialment en un clúster de GPU dedicat dissenyat al voltant del teixit. És probable que estigueu comprant en excés quan la inferència es manté dins d'un node, quan el treball és per lots orientats al rendiment-, quan necessiteu el mateix teixit per portar també emmagatzematge, gestió i trànsit al núvol de diversos-inquilís, o quan simplement us manca la capacitat operativa per executar bé InfiniBand.

Els costos que no apareixen a la cotització de l'interruptor són reals: concentració de l'ecosistema, la sobrecàrrega d'executar un segon teixit en paral·lel amb la vostra xarxa Ethernet i planificació separada de recanvis, òptica i monitorització.

Com provar InfiniBand vs RoCE abans de triar

No decidiu sobre la reputació del protocol o un full d'especificacions. Decidiu un punt de referència que s'assembli a la producció. Una seqüència pràctica:

• Definiu el SLA en cues.Estableix p50, p95, p99 i p999 per al temps-a-primer-latència de testimoni i entre-token, no només una mitjana.
• Reprodueix el trànsit realista.Utilitzeu mides de models en ràfega, mixtes i concurrència de diversos-inquilins en lloc d'un sol flux net.
• Carrega fins a la congestió.Empenyeu el teixit fins que estigui realment disputat i, a continuació, mesureu la utilització de la GPU. Si les GPU estan aturades a la xarxa, el teixit és el vostre coll d'ampolla.
• Vigileu els comptadors adequats.Seguiment de fotogrames de pausa, marques ECN, caigudes de paquets, retransmissions, comptadors d'errors de port i, a 400G i 800G, errors FEC.
• Valida la capa física.La fibra neta i instal·lada correctament és important;instal·lació acurada de fibraevita els errors intermitents i difícils de--diagnostiquer als quals són propensos els enllaços d'alta-velocitat.

Si RoCE manté el seu objectiu p99 amb una càrrega realista, disputada i multi-inquilí amb comptadors estables, és una opció sòlida i rendible-. Si només passa proves netes de-seqüència única, encara no heu provat el que decideix el vostre SLA.

Errors comuns a evitar

• Suposant que tota inferència és una xarxa lleugera.Algunes inferències són simples i independents; alguns estan distribuïts,-sensibles a la latència i ample de banda-famolenc. Tractar-ho tot com a fàcil porta a una infraestructura subconstruïda.
• Comparant només la latència mitjana.La inferència de producció depèn de la cua. Avalueu sempre p95, p99 i p999 amb trànsit realista.
• Tractant RoCE com a Ethernet plug-i-play.El-RoCE d'alt rendiment necessita un disseny de teixit-deliberat sense pèrdues, control de la congestió i observabilitat contínua.
• Triar InfiniBand només perquè és més ràpid.La millor opció de rendiment no sempre és la millor opció de negoci. Si la càrrega de treball no necessita un comportament determinista, RoCE pot oferir un millor valor.
• Ignorant la capa física.A 400G i 800G, els cables, l'òptica, els connectors i la neteja de la fibra creen errors intermitents difícils de trobar i costosos de solucionar.

Línia de fons

Per a la inferència d'IA, InfiniBand i RoCE són tots dos vàlids i serveixen prioritats diferents. Trieu InfiniBand quan necessiteu la xarxa de baixa-latència més coherent per a-temps real, SLA-inferència sensible o estretament acoblada. Trieu RoCE quan necessiteu un teixit escalable, basat en Ethernet-i rendible-per a la inferència per lots, els serveis de GPU de diversos-arrendataris, les càrregues de treball RAG i una infraestructura flexible.

La decisió hauria de començar amb la càrrega de treball, l'objectiu de latència, l'escala del clúster, la vostra capacitat d'operacions i el full de ruta d'actualització, no amb el protocol. Si el vostre clúster ha de contenir un p99 estricte amb una càrrega pesada, InfiniBand mereix una consideració seriosa. Si el vostre objectiu és escalar la inferència econòmicament a través d'un centre de dades Ethernet, RoCE sol ser el camí més pràctic. De qualsevol manera, fes una comparativa en producció-com la càrrega abans de comprometre't.