El disseny de la xarxa del clúster d'IA és el procés de dimensionar les NIC del servidor GPU, l'amplada de banda-de la columna vertebral, la relació de sobresubscripcions, la configuració de RoCE, l'òptica i el cablejat, de manera que el trànsit d'entrenament distribuït segueix sent previsible a mesura que el clúster escala. Fes-ho malament i la xarxa - no la GPU - es converteix en el coll d'ampolla.
Per què la xarxa de clústers d'IA és diferent
En un centre de dades empresarial tradicional, la xarxa gestiona una combinació de trànsit d'usuaris nord-sud, accés a l'emmagatzematge, virtualització i gestió. Hi ha trànsit a l'est-oest, però rarament és la càrrega dominant. En un clúster d'IA, la situació canvia. Els servidors de GPU que executen gradients d'entrenament distribuïts intercanvien i sincronitzen paràmetres durant cada pas del treball. Aquesta comunicació forma part del càlcul, no un efecte secundari.
Si una GPU de 30.000 dòlars passa el 30% del seu temps esperant a la xarxa durant totes les-operacions de reducció, el clúster paga efectivament perquè el 30% de la seva capacitat informàtica estigui inactiva. Aquesta és la raó econòmica per la qual les xarxes d'IA criden tanta atenció.
Tres característiques de càrrega de treball impulsen el disseny:
- Trànsit est-est oest.Les operacions de comunicació col·lectives com ara totes-redueixen, totes-reuneixen i redueixen-dispersió produeixen ràfegues sincronitzades a molts nodes simultàniament.
- Sensibilitat a la latència{0}de la cua.Un sol node lent retarda tot el pas d'entrenament. La latència predictible importa més que la latència mitjana.
- Escala-el creixement.Els clústers que comencen amb 32 GPU sovint creixen fins a 256 o 1.024 en 18 mesos. El teixit ha d'escalar sense redisseny.
Per què Spine-Leaf s'adapta als grups d'IA
Spine-leaf és el teixit estàndard per als centres de dades d'hiperescala perquè proporciona a cada servidor-a-la ruta del servidor el mateix nombre de salts i el mateix ample de banda teòric. Per a les càrregues de treball d'IA, aquesta uniformitat es tradueix directament en temps de pas d'entrenament més previsibles.
En una topologia de fulla-espina, els servidors de GPU es connecten als interruptors de fulla i cada fulla es connecta a cada columna vertebral. Qualsevol comunicació entre GPU-a-GPU creua exactament una fulla, una columna vertebral i una fulla més. No hi ha capes d'agregació que introdueixin latència variable o punts d'asfixia.
Latència previsible
L'encaminament de -cost múltiple-igual (ECMP) distribueix els fluxos entre els commutadors de la columna vertebral. Quan es configura correctament amb l'encaminament adaptatiu o l'equilibri de càrrega dinàmica, això evita les col·lisions hash que fan que alguns fluxos siguin molt més lents que altres - un problema conegut en teixits ECMP estàtics que porten pocs però grans fluxos, que és exactament el que genera l'entrenament en IA.
Ample de banda d'alta bisecció
L'amplada de banda de bisecció és el rendiment disponible entre dues meitats iguals qualsevol del clúster. L'entrenament en IA es beneficia dels dissenys sense-bloqueig o gairebé-no-bloqueig en què la capacitat de l'enllaç ascendent de la fulla-a-espina és igual o gairebé igual a la capacitat d'enllaç descendent que s'enfronten als servidors. L'IETF defineix i discuteix aquests conceptes aRFC 7938, que cobreix els teixits Clos encaminats BGP-àmpliament utilitzats en centres de dades-grans.
Escalada més fàcil-Out
Afegiu més fulles per afegir més servidors. Afegiu més espines per afegir més amplada de banda de bisecció. Per als clústers més enllà d'uns quants milers de GPU, una topologia super-espina (Clos de 5-etapes) o optimitzada per ferrocarril amplia el mateix principi una capa més enllà.
Components bàsics d'una xarxa de clústers d'IA
Servidors GPU i NIC
La NIC és on el teixit es troba amb l'amfitrió. Als clústers d'IA, la selecció de NIC impulsa tot el que hi ha a la velocitat del port del commutador -, l'elecció de l'òptica i la densitat del cablejat.
Criteris de selecció per a les càrregues de treball d'IA:
- Velocitat del port:200G, 400G o 800G per port. Coincideix amb la generació de GPU i l'amplada de banda PCIe.
- Generació PCIe:Una NIC de 400G necessita PCIe Gen5 x16 per evitar l'acceleració lateral-de l'amfitrió. Tapes PCIe Gen4 x16 a ~ 256 Gbps utilitzables.
- Suport RDMA i RoCEv2:Necessari per a les biblioteques de comunicacions de la GPU del nucli-com ara NCCL.
- GPUDirect RDMA:Permet directament la GPU-a-NIC DMA, eliminant les còpies de la memòria de l'amfitrió.
- Capacitat multi-rail:Molts servidors d'IA utilitzen 4 o 8 NIC per node, una per parell de GPU, per a topologies optimitzades per ferrocarril-.
Un servidor típic de 8 GPU avui en dia utilitza NIC 4 × 400G (una per dues GPU) o NIC 8 × 400G (una per GPU) depenent de la càrrega de treball i del pressupost. Arquitectures de referència deDocumentació NVIDIA Networkingcobreix amb detall els avantatges del disseny.
Interruptors de fulla i columna vertebral
Els criteris de selecció de canvis per a teixits d'IA difereixen de la selecció empresarial. La mida de la memòria intermèdia, el comportament de control de la congestió i la telemetria són més importants que l'amplitud de les funcions.
- Velocitat per-port i base:Un commutador ASIC de 51,2 Tbps ofereix 64 ports de 800 G o 128 ports de 400 G. Radix determina com de pla pot ser el teixit.
- Arquitectura de buffer:Els buffers profunds absorbeixen les ràfegues d'incast però afegeixen latència. Els buffers poc profunds redueixen la latència, però requereixen un control precís de la congestió.
- Conjunt de funcions RoCE:Marcat ECN, PFC, DCQCN o control de congestió equivalent i gestió adequada de les cues de prioritat de cap a{0}}-final.
- Telemetria:Telemetria de xarxa intrabanda (INT), informes de profunditat per{0}}cua i comptadors de resolució de microsegons-per a marques ECN i pauses PFC.
Òptica, cablejat DAC i AOC
A 400G i 800G, la planta de cablejat es converteix en un veritable problema d'enginyeria. Els factors de forma, els pressupostos d'enllaç i les configuracions de distribució necessiten una planificació primerenca.
- DAC (Core d'enllaç directe):Fins a ~3 metres per a 400G, el cost més baix i la potència més baixa. Pesant i voluminós a escala.
- AOC (cable òptic actiu):Fins a uns 30 metres, més prim que el DAC, però de longitud fixa-i consumeix energia òptica als dos extrems.
- Òptica connectable:Obligatori més enllà de la distància AOC. Els factors de forma QSFP-DD i OSFP dominen 400G/800G. Els conjunts de fibra MPO/MTP gestionen les connexions de fibra-paral·lela.
Per als enllaços entre bastidors i el cablejat estructurat a 400G/800G, ara l'òptica paral·lela sobre les terminacions MPO és estàndard. L'elecció entre els cables troncals i els conjunts de separació depèn de l'assignació del port del commutador - consulteu el nostreGuia de cable d'interrupció MPOper a la lògica de selecció pràctica, i més àmpliaComparació de tronc MPO i rupturaquan planifiqueu recorreguts de fulla-a-espina.
RoCE i Ethernet sense pèrdues en teixits AI
RoCEv2 (RDMA over Converged Ethernet v2) és el transport Ethernet dominant per a les càrregues de treball d'IA. Permet als NIC moure dades directament entre regions de memòria de la GPU sense la implicació del nucli a cap dels extrems. NCCL, la biblioteca de comunicacions GPU subjacent a gairebé tots els marcs de formació distribuïts, utilitza RoCEv2 quan InfiniBand no està disponible.
RoCE funciona bé quan es configura correctament. Falla lleig quan es configura incorrectament. ElAssociació de comerç InfiniBandpublica les especificacions RoCE, i la majoria de proveïdors de NIC i commutadors publiquen guies de configuració detallades que s'han de seguir de cap a{0}}-.
Per què importa el comportament sense pèrdues
RDMA es va dissenyar assumint un transport sense pèrdues. Quan els paquets cauen, la recuperació de RDMA és cara - tornar-enrere-N la retransmissió pot aturar un pas d'entrenament durant mil·lisegons, que és enorme en relació amb el pressupost de l'escala de microsegons-RDMA.
Per aproximar el comportament sense pèrdues a Ethernet, el teixit utilitza dos mecanismes que treballen conjuntament:
- PFC (control de flux prioritari, IEEE 802.1Qbb):Un commutador posa en pausa el trànsit entrant en una cua de prioritat específica quan s'omple la memòria intermèdia. Aquest és un mecanisme d'últim-recurs.
- ECN (Notificació de congestió explícita, RFC 3168):Els commutadors marquen paquets quan les cues s'acosten a un llindar. La NIC redueix la seva velocitat d'enviament abans que els buffers s'omplin, idealment evitant PFC completament.
L'objectiu és que ECN faci gairebé tota la gestió de la congestió, amb PFC com a xarxa de seguretat. Si veieu pauses PFC freqüents al trànsit en estat estacionari-, els vostres llindars d'ECN són incorrectes o el vostre teixit és insuficient.
Errors comuns de desplegament de RoCE
| Problema | Símptoma | Com comprovar | Arreglar |
|---|---|---|---|
| MTU no coincidència d'extrem-a-final | Fragmentació, reintents RDMA, col·lapse del rendiment | Compareu NIC i canvieu MTU; executar ping amb el bit DF establert a la mida MTU | Estableix la MTU jumbo (normalment 9000 o 9216) de manera coherent entre les NIC i tots els commutadors |
| Desalineació de prioritat de PFC | Fotogrames PFC generats però ignorats; la contrapressió no es propaga | Comproveu la prioritat PFC configurada a l'assignació de la cua d'entrada de la NIC vs | Alineeu DSCP-a-el mapatge de prioritat en tots els salts |
| Llindars ECN incorrectes | No hi ha marques ECN (congestió fins que s'encén PFC) o marques constants (s'ha suprimit el rendiment) | Superviseu els comptadors de paquets marcats per -ECN-cua amb càrrega realista | Ajustar els llindars Kmin/Kmax; els valors predeterminats rarament s'ajusten als perfils de trànsit d'IA |
| Trànsit mixt amb la mateixa prioritat | Les ràfegues d'emmagatzematge o gestió interrompen l'entrenament | Comproveu les marques DSCP de cada classe de trànsit a la NIC i canvieu | Assigna cues de prioritat separades per al càlcul, l'emmagatzematge i la gestió |
| Esgotament del buffer per incast | Les caigudes de paquets aleatòries durant tot-redueixen | Telemetria d'ocupació de la memòria intermèdia per-cua durant les operacions col·lectives | Augmentar l'assignació de memòria intermèdia per a la prioritat de càlcul; ajustar l'encaminament adaptatiu |
Com dissenyar una xarxa de clústers d'IA: un marc de treball
Aquesta és la secció que la majoria d'articles sobre "xarxes d'IA" salten. Els set passos següents us proporcionen entrades i sortides concretes a cada etapa.
Pas 1: definiu la càrrega de treball i l'escala
Entrades:Tipus de càrrega de treball (entrenament previ,{0}}ajustament, inferència, mixt), recompte de GPU objectiu avui, recompte de GPU objectiu d'aquí a 18 mesos, rang de mida del model.
Sortida:Un perfil de càrrega de treball que informa la velocitat de la NIC i la tolerància de sobresubscripcions. La formació prèvia gran de models de frontera exigeix teixits 400G+ que no es bloquegin. Les càrregues de treball-d'ajustament fins poden tolerar una sobresubscripció 2:1. Els clústers d'inferència sovint necessiten una amplada de banda menor però una latència de cua més baixa.
Pas 2: trieu la velocitat i el recompte de la NIC per servidor
Lògica de decisió:
- Entrenament prèvia de models grans, servidors de 8 GPU → 4–8 × NIC 400G per servidor, o 4 × 800G
- Formació a -escala mitjana, servidors de 8 GPU → 2–4 NIC de 400 G per servidor
- Servei d'inferència → 1–2 × NIC de 200G o 400G per servidor, depenent del paral·lelisme del model
Verifiqueu l'amplada de banda PCIe a l'amfitrió. Un únic port 400G requereix PCIe Gen5 x16 per funcionar a velocitat de línia; duplicar a 800G requereix Gen6 o dividir-se en dues ranures.
Pas 3: Mida la capa de fulles
Exemple de treball - 32-clúster de nodes, 8 GPU per node, 4 × NIC de 400 G per node:
- Total de ports-de cara al servidor necessaris: 32 × 4=128 ports a 400G
- Ample de banda d'enllaç descendent per node: 4 × 400=1.6 Tbps
- Ample de banda total d'enllaç descendent del clúster: 32 × 1.6=51.2 Tbps
Mitjançant un commutador de fulla 400G de 64 ports (capacitat total de 25,6 Tbps), cada full pot connectar 32 ports de servidor i utilitzar els 32 ports restants com a enllaços ascendents. Amb 4 fulles, cobreixes els 128 ports del servidor. Cada fulla aporta 32 × 400 G=12.8 Tbps d'enllaç ascendent cap a la columna vertebral.
Pas 4: Mida la capa de la columna vertebral
Per a un disseny sense -bloqueig (1:1), la capacitat total de l'enllaç ascendent ha de ser igual a la capacitat total de l'enllaç descendent. A partir del pas 3:
- Enllaç amunt de fulls total necessari: 4 fulles × 12,8 Tbps=51.2 Tbps
- Si cada columna té 32 ports de 400 G=12.8 Tbps, necessiteu 4 espines
- Cada fulla es connecta a les 4 espines mitjançant 8 enllaços ascendents per columna (8 × 400G × 4=12.8 Tbps per fulla - coincidències)
Si s'utilitzen commutadors de columna 400G de 64 ports, cada columna té capacitat de recanvi per fer créixer el clúster, útil per al pla de 18 mesos del pas 1.
Pas 5: estableix la ràtio de sobresubscripcions
| Càrrega de treball | Relació recomanada | Justificació |
|---|---|---|
| Gran{0}}formació prèvia al model | 1:1 (no-bloqueig) | Tots-redueixen domina; qualsevol compost de congestió en milers de passos |
| Entrenament d'-afinació/escala mitjana- | 1,5:1 a 2:1 | Mides col·lectives més petites; l'estalvi de costos supera la moderada desacceleració |
| Servei d'inferència / RAG | 2:1 a 4:1 | Majoritàriament peticions independents; les ràfegues d'ample de banda són més petites i menys sincronitzades |
| Clúster mixt de recerca | 1.5:1 | Compromís entre el cost i la combinació de càrrega de treball impredictible |
Pas 6: Separeu el trànsit de càlcul, emmagatzematge i gestió
Tres opcions, per ordre d'aïllament creixent:
- Teixit compartit amb classes de QoS:Càlcul, emmagatzematge i gestió en prioritats DSCP separades. Cost més baix; requereix una configuració de QoS acurada.
- VLAN/VRF separades lògicament:Mateix maquinari, plans de control separats. Útil per a clústers multi-inquilí.
- Teixits físicament separats:NICs, commutadors i cablejats dedicats per a la computació i l'emmagatzematge. Cost més alt; comuna en grups de models-fronterers on qualsevol contenció és inacceptable.
El trànsit d'emmagatzematge per a IA és en si mateix. Les escriptures dels punts de control - per a un model gran poden moure centenars de gigabytes en ràfegues curtes. Planifiqueu-ho de manera explícita. Una planta de cablejat estructurat d'alta-densitat que utilitzaCables troncals MPO/MTPsimplifica l'execució de teixits paral·lels a la mateixa infraestructura física.
Pas 7: validar abans de la producció
Les proves a nivell{0}}de xarxa detecten alguns problemes. Les proves de nivell-de treball entenen la resta.
- Ample de banda:iperf3 o ib_send_bw entre cada parell de nodes; hauria d'arribar al 90% + de la tarifa de la línia NIC.
- Latència:ib_read_lat o similar; comproveu la distribució, no només la mitjana. P99.9 importa més que significa.
- Pèrdua de paquets:Executeu una prova de remull de 24-hores amb càrrega; qualsevol pèrdua diferent de zero a la classe de trànsit RoCE és un problema.
- Comportament del marcatge ECN:Comproveu que les marques apareguin abans que s'encengui el PFC; si les pauses de PFC són freqüents en estat estacionari, torneu a sintonitzar.
- Comunicació col·lectiva:Executeu proves NCCL (all_reduce_perf, all_gather_perf) a la mida completa del clúster. Compareu amb els números de referència del proveïdor.
- Prova de nivell{0}}de feina:Executar un treball de formació representatiu durant 4-6 hores. Observeu que la utilització de la GPU - valors sostinguts per sota del 50% en un model de mida-correcta normalment indiquen un problema de xarxa.
Xarxa de centres de dades tradicionals vs AI Spine-Leaf Fabric
| Àrea | Xarxa de corrent continu tradicional | AI Spine-Teixit de fulles |
|---|---|---|
| Trànsit dominant | Barreja nord-sud i est-oest | GPU pesada-a-GPU est-oest, explosió |
| Tolerància a la latència | Mil·lisegons acceptables | Els microsegons importen; latència de la cua crítica |
| Sobresubscripció | Comú de 4:1 a 8:1 | 1:1 a 2:1 per a teixits d'entrenament |
| Transport | TCP/IP dominant | RoCEv2 o InfiniBand |
| Rol NIC | Connectivitat estàndard | Rendiment-crític, sovint multi-rail |
| Requisits de buffer | Depenent{0}}de l'aplicació | Ajustat per a l'absorció de ràfegues incast |
| Validació | Temps de resposta de l'aplicació | Telemetria per-flux + benchmarks col·lectius |
Ethernet RoCE vs InfiniBand: Guia de decisió ràpida
La pregunta sorgeix en gairebé tots els projectes de clúster d'IA. Tots dos funcionen. L'elecció normalment es redueix a l'ajust operatiu, no al rendiment pur.
- Trieu InfiniBand si:El vostre equip ja opera teixits InfiniBand, voleu el camí més senzill cap al transport sense pèrdues o esteu comprant una arquitectura de referència del proveïdor totalment-integrada.
- Trieu Ethernet RoCE si:El vostre equip d'operacions és natiu d'Ethernet-, voleu opcions de commutació de diversos-proveïdors, heu d'integrar el teixit d'IA amb les xarxes de centres de dades existents o espereu una escala més enllà del que admeten les topologies InfiniBand actuals.
El Consorci Ultra Ethernet, format el 2023, treballa activament en l'estandardització de millores d'Ethernet específicament per a les càrregues de treball d'IA. Per a la majoria de clústers nous el 2026, Ethernet RoCE és un valor predeterminat defensable tret que hi hagi una raó específica per triar el contrari.
Errors comuns a evitar
Actualització de commutadors sense comprovar les NIC
Un teixit de commutació de 800G no us fa res si les vostres NIC funcionen a 400G o si el vostre PCIe amfitrió es queda sense amplada de banda. Dissenyeu primer el costat amfitrió i després el costat de l'interruptor. PCIe Gen5 x16 limita un sol port a uns 504 Gbps de rendiment real-mundial - còmode per a 400G, marginal per a 800G.
Optimització de la velocitat del port però ignorant la densitat del cablejat
Als 64-ports 400G, el cablejat sota cada commutador pot arribar a ser físicament incontrolable sense planificació. Utilitzeu cables de ruptura si escau, encamineu les fibres a través de vies estructurades i estandarditzeu els tipus de connectors. La qualitat del connector i la terminació són importants a altes velocitats: el nostreGuia de tipus de connectors de fibra òpticacobreix les compensacions entre LC, MPO i factors de forma emergents d'alta{0}}densitat.
Tractant RoCE com Plug-i-Play
El major error de disseny dels clústers d'IA reals és no triar l'interruptor equivocat - és subestimar la quantitat de treball de configuració de RoCE d'extrem-a-extrem a final. Temps pressupostari per ajustar els llindars ECN, les prioritats de PFC i la coherència de l'MTU. Planifiqueu una fase de validació dedicada abans que s'executi qualsevol càrrega de treball de producció.
Barrejar tot el trànsit en un teixit sense QoS
La rèplica d'emmagatzematge, els agents de supervisió i el trànsit de gestió poden fer malbé els temps de pas d'entrenament si comparteixen buffers amb el trànsit informàtic. Separeu-los físicament o feu complir classes de QoS estrictes amb prioritats i configuració ECN separades.
Edifici només per al clúster d'avui
La majoria dels clústers d'IA creixen entre 4 i 8 vegades en els dos anys posteriors al desplegament inicial. Trieu la base de l'interruptor i la capacitat de la columna vertebral que permetin una-expansió no pertorbadora. Estirar cables en un centre de dades d'IA en directe és car; La capacitat del conducte de planificació i del pegat en el moment del desplegament és barata.
Quan augmentar de 400G a 800G
Hi ha disponibles NIC i commutadors 800G, però són més cars per port. Penseu en augmentar quan:
- Les necessitats d'amplada de banda per-GPU superen el que pot proporcionar 400G -, per exemple, les GPU H100 i més noves amb NVLink 5 esperen una amplada de banda externa més gran
- NCCL tot-redueix els temps d'escala deficient amb la mida del clúster, cosa que indica la saturació de la xarxa
- La densitat de cables a 400 G s'està tornant físicament inmanejable - menys ports 800G poden substituir més ports 400G
- S'espera que la propera generació de GPU del vostre full de ruta ho necessiti dins de la finestra d'amortització del clúster
- Esteu creant un clúster de formació-model de frontera on qualsevol temps d'inactivitat de càlcul costa molt més que l'actualització de l'òptica.
Per a la majoria de clústers de producció l'any 2026, 400G continua sent l'equilibri adequat de costos, maduresa de l'ecosistema i capacitat. 800G té sentit a la gamma alta i com a inversió futura per als clústers que s'estan construint avui i que s'espera que durin entre 4 i 5 anys.
Preguntes freqüents
P: Quina és la millor arquitectura de xarxa per a clústers d'IA?
R: La topologia Clos de fulles-espinades és l'opció estàndard. Per a clústers superiors a 1.000 GPU, esteneu a una topologia optimitzada Clos de 5-etapes (super-espina) o ferro{8}}. L'arquitectura en si és ben entesa; els problemes més difícils són la mida de l'ample de banda, la configuració i la validació de RoCE.
P: Quina proporció de sobresubscripcions és acceptable per a la formació en IA?
R: Per a la formació prèvia de-models grans, apunteu a l'1:1 (sense-bloqueig). Per a l'ajustament-fins i l'entrenament a-escala mitjana, 1,5:1 a 2:1 és viable. Per a la publicació d'inferències, s'accepta de 2:1 a 4:1. Les ràtios més altes estalvien diners però redueixen l'eficiència de l'escala, i el punt d'equilibri depèn de com la comunicació-uneixin les vostres càrregues de treball.
P: Es requereix RoCE per als clústers d'IA?
R: RoCEv2 o InfiniBand és necessari per a qualsevol clúster que executi formació distribuïda basada en NCCL-a escala. El TCP/IP normal no pot oferir la latència i l'eficiència de la CPU necessàries. Entre RoCEv2 i InfiniBand, trieu en funció de l'ajust operatiu i de l'ecosistema en lloc del pur rendiment.
P: Quantes NIC necessita un servidor GPU?
R: Per a un servidor de 8-GPU, les configuracions habituals són 4 × 400G (una NIC per dues GPU) o 8 × 400G (una NIC per GPU, optimitzada per a ferrocarril). Els servidors d'inferència poden utilitzar 1–2 NIC. La decisió depèn de la càrrega de treball, la generació de GPU, la topologia PCIe i el pressupost.
P: Els clústers d'IA necessiten teixits d'emmagatzematge i computació separats?
R: Els petits clústers poden compartir un teixit amb una separació adequada de classes de QoS. Els clústers de -mida mitjana i gran sovint es beneficien de teixits separats físicament - calculen a RoCE Ethernet o InfiniBand, emmagatzematge en un teixit Ethernet dedicat. Els grups de models de frontera-normalment es separen físicament perquè qualsevol interferència-de trànsit creuat és inacceptable.
P: És Ethernet millor que InfiniBand per a càrregues de treball d'IA?
R: Cap dels dos és universalment millor. InfiniBand té un historial més llarg en HPC i ofereix un comportament sense pèrdues molt madur. Ethernet RoCEv2 té una diversitat de proveïdors més àmplia, s'integra amb les xarxes de centres de dades existents i es beneficia del desenvolupament actiu del Consorci Ultra Ethernet. La familiaritat de l'equip operatiu és sovint el factor decisiu.
P: Què vol dir en realitat una xarxa d'IA no-bloquejant?
R: Vol dir que la capacitat total de l'enllaç ascendent de fulla-a-espina és igual a la capacitat total d'enllaç descendent-al-del servidor, de manera que el teixit pot mantenir qualsevol patró de comunicació entre qualsevol parell de nodes a la velocitat de línia completa. A la pràctica, el veritable no-bloqueig és car; molts teixits de producció estan "gairebé sense-bloqueig" a 1.1:1 o 1.2:1 i encara funcionen bé.
P: Quines proves revelen problemes reals de configuració de RoCE?
R: Les suites de referència de NCCL (all_reduce_perf, all_gather_perf) que s'executen a escala completa del clúster donaran a conèixer la majoria dels problemes reals. Pot passar una prova ib_send_bw pura entre dos nodes mentre que una reducció total de 32-nodes funciona malament a causa de problemes d'incast o PFC. Valideu sempre a l'escala que teniu previst executar.
Conclusió
La xarxa de clúster d'IA més forta no és la que té els commutadors més ràpids. És aquell on l'elecció de la NIC, la mida de la fulla/espina, la sobresubscripció, la configuració de RoCE, la separació del trànsit i el cablejat físic s'admeten mútuament i la càrrega de treball per a la qual van ser escollits.
Comenceu des de la càrrega de treball i el pla de creixement de 18-mesos. Calculeu les necessitats d'amplada de banda a cada capa utilitzant números reals, no només regles generals. Configureu RoCE end-to-end i valideu-lo amb benchmarks reals de comunicació col·lectiva. Pressupost per a la planta de cablejat: a 400G i 800G, la capa física ja no és trivial.
El clúster que manté ocupades les seves GPU amb un 95% més d'utilització durant cada pas d'entrenament és el que va prestar atenció a totes aquestes capes. El clúster que s'envia amb un interruptor més ràpid i un teixit més lent passarà anys explicant per què les GPU estan inactives.
