Requisits de cablejat del centre de dades d'IA per a 400G/800G

La intel·ligència artificial està remodelant el disseny del centre de dades. La major part de l'atenció es centra en les GPU, acceleradors i refrigeració, però la capa que decideix en silenci si la resta de la construcció té èxit és el cablejat. En un clúster d'IA, la capa física determina si realment podeu arribar a 400G i 800G, si els enllaços d'alta-velocitat es mantenen prou nets per passar el trànsit, si el flux d'aire sobreviu a un bastidor completament ocupat i si el vostre proper salt de velocitat és un intercanvi de targetes o una actualització de carretó elevador.

Aquesta guia està escrita per a equips d'infraestructures i xarxes òptiques{0}}. Explica què fa que el cablejat d'IA sigui diferent, els requisits que importen amb els números reals, com comparar DAC, AOC i fibra estructurada, un flux de treball de planificació-a-pas a pas, què cal preparar abans d'una migració de 400G o 800G i una llista de verificació que podeu utilitzar. Les referències tècniques aquí es basen en els estàndards actuals IEEE 802.3 i ANSI/TIA-942.

Per què les càrregues de treball d'IA canvien els requisits de cablejat del centre de dades

Els centres de dades empresarials tradicionals es van crear al voltant del trànsit d'aplicacions força previsible, gran part del nord-sud, que es desplaçava entre usuaris, aplicacions i xarxes externes. Els clústers d'IA inverteixen aquest patró. Durant l'entrenament i la-inferència a gran escala, el flux dominant és a l'est-oest: les GPU intercanvien constantment gradients i activacions entre elles mitjançant operacions col·lectives com ara totes les-reduccions, normalment mitjançant un teixit d'accés directe a memòria remot (RDMA).

Això és visible als dissenys de referència de proveïdors. NVIDIA crea la xarxa de càlcul de la GPU com un teixit de fulla-basat en RDMA-utilitzant unrail-topologia optimitzada perquè qualsevol GPU estigui com a màxim a un salt de qualsevol altra, que és el que fa que la comunicació multi-GPU sigui eficient a escala. La conseqüència del cablejat és un gran recompte de ports: un sol node de vuit-GPU pot presentar vuit ports de 400G (o 800G) a l'est-oest, i un pod d'entrenament amb diversos interruptors de fulla per bastidor multiplica la fibra del tronc i els pegats molt ràpidament.

Quan la capa física no està-planificada, els problemes no apareixen el primer dia. Apareixen més tard, com a vies congestionades que sufoquen el flux d'aire, com a aïllament d'errors que triguen hores en lloc de minuts i com a reelaboració durant el primer cicle d'actualització. Un detall que sembli trivial, com ara una polaritat MPO invertida o una cara final contaminada, pot deixar fora de línia un rail sencer. Per a la infraestructura d'IA, el cablejat pertany a l'arquitectura des del principi, no com l'última tasca abans de la posada en marxa.

Cablejat tradicional del centre de dades-preparat per IA

La diferència entre el cablejat tradicional i el preparat per a IA-és un canvi en les prioritats de disseny, no només un nombre de cables més gran. Els dissenys tradicionals optimitzen per a la connectivitat actual; Els dissenys preparats per IA-s'optimitzen per a la migració de velocitat, la densitat, la qualitat d'enllaç previsible i la facilitat de servei durant diversos cicles d'actualització.

L'objectiu és una planta de fibra que pugui absorbir almenys un salt de velocitat i una ampliació de capacitat sense redisseny.

Requisits clau de cablejat per a centres de dades d'IA

Planifiqueu la capa física per a 400G i 800G, no només la velocitat actual

Els clústers d'IA pugen ràpidament l'escala de velocitat, de 100G a 400G, 800G i, finalment, 1,6T. Les interfícies 400G i 800G ja estan estandarditzades formalment:IEEE 802.3df, aprovat el 2024, defineix el MAC, la capa física i els paràmetres de gestió per a Ethernet de 400 Gb/s i 800 Gb/s, inclosos els tipus de suports físics com ara 800GBASE-SR8 i 800GBASE-DR8. Pel que fa a l'equip, el 400G normalment viu en factors de forma QSFP-DD o QSFP112, mentre que el 800G utilitza OSFP o QSFP-DD800. Si esteu comparant l'embalatge del transceptor i el mapeig de carrils, aixòDescripció tècnica de QSFP-DDés un punt de partida útil.

La regla pràctica: mida tipus de fibra, recompte de fibres i base del connector perquè la planta sobrevisqui al següent salt. Un tronc dimensionat només per a la velocitat del port actual es converteix en el coll d'ampolla en el moment en què el silici i l'òptica avancen.

Utilitzeu fibra MTP/MPO d'alta-densitat per a la connectivitat de clúster de GPU-

Els enllaços d'IA-d'alta velocitat són òptiques paral·leles i l'òptica paral·lela es mapeja directament al recompte de fibra. Un enllaç 400G-DR4 utilitza quatre carrils, o vuit fibres, que normalment s'acaben en una virola MPO-12. Un enllaç 800G-SR8 o 800G-DR8 utilitza vuit carrils, o setze fibres, sovint un MPO-16 amb extrems APC. Els troncs MTP/MPO de base 8 i base 16 combinats amb cassets consoliden centenars d'aquests enllaços per bastidor i converteixen el desplegament en moviments repetibles i provats en fàbrica en lloc d'empalmar de camp. PreterminatCables troncals MTP/MPOi els conjunts de ruptura (MPO a LC o MPO a MPO) són la columna vertebral d'aquest enfocament.

La densitat encara s'ha de planificar, no maximitzar-la. Envasar fibra en un bastidor sense pensar en l'ompliment de la via i el flux d'aire crea una pressió inversa-a l'escapament de l'equip i fa que els ports siguin impossibles de mantenir. Estableix les ràtios d'ompliment i les regles de gestió-de fluïdesa abans, no després, de la primera instal·lació.

Gestioneu la pèrdua d'inserció, la neteja del connector i la polaritat

Les-òptiques d'IA d'alta velocitat són menys tolerants que els enllaços anteriors. La senyalització PAM4 que s'utilitza a 400G i 800G funciona amb pressupostos de pèrdua de canal més ajustats que els enllaços NRZ més antics, i cada parell MPO o LC acoblat afegeix pèrdua d'inserció, sovint unes quantes dècimes de decibel per connexió. A través d'un canal estructurat amb diversos punts de connexió i una longitud de fibra, aquest pressupost desapareix ràpidament, de manera que el recompte de connectors és una variable de disseny, no una idea posterior. La distinció entre la pèrdua d'inserció i la pèrdua de retorn, i per què totes dues importen a l'òptica paral·lela, val la pena entendre abans de finalitzar un canal; aquest explicadorpèrdua d'inserció a les xarxes de fibracobreix la mecànica.

La contaminació és una de les principals causes de fallades de l'enllaç de camp, per la qual cosa s'hauria d'inspeccionar i netejar tots els extrems abans de l'aparellament. La polaritat necessita un esquema explícit (Mètode A, B o C) i els enllaços paral·lels de mode únic-generalment utilitzen connectors APC angulats per controlar la pèrdua de retorn. El radi de flexió importa als panells densos, on la fibra insensible a la flexió-adquireix marge. La fiabilitat aquí és una disciplina d'instal·lació i manteniment tant com una elecció de components.

Dissenyeu una arquitectura de cablejat{0}}estructurat modular i escalable

La infraestructura d'IA canvia en un cicle curt, de manera que una planta difícil de modificar frena cada desplegament futur. El cablejat estructurat, construït a partir de troncs, cassets, tancaments i vies definides, permet als equips afegir capacitat o re-fer un teixit sense re-estirar el cable.ANSI/TIA-942 especifica els requisits mínims d'infraestructura de telecomunicacions per als centres de dadesi una topologia de cablejat destinada a adaptar-se a aplicacions futures, que és exactament la postura que necessita una creació d'IA. Amb aquesta base, la majoria de les actualitzacions de velocitat es converteixen en una qüestió d'intercanvi d'òptiques i cassets en lloc de reconstruir la capa física.

Encamineu els cables per al flux d'aire i la refrigeració en bastidors{0}}d'alta densitat

Els bastidors d'IA s'escalfen. La densitat de potència als bastidors de GPU més densos pot superar els 100 kW i, en aquests nivells, el cablejat congestionat provoca directament recirculació i punts calents localitzats.La guia ASHRAE TC 9.9 emmarca el control tèrmic al voltant de l'entrada de l'equip informàtic i una separació neta del passadís calent/fred-, i el cablejat ho admet o funciona en contra. A la pràctica, això significa vies de fibra aèries sempre que sigui possible, separació clara de potència i dades, gestors verticals i horitzontals dimensionats per al recompte real de cables, fluix disciplinat i encaminament que mai bloqueja l'escapament posterior o un armari de xemeneia. La gestió de cables que manté els enllaços traçables també redueix l'error humà durant els moviments i els canvis.

DAC, AOC o fibra estructurada? Una matriu de selecció de cablejat del centre de dades d'IA

No hi ha un mitjà únic per a un clúster d'IA; l'elecció correcta està impulsada per l'abast i el rol. Dins d'un bastidor, el coure-de curt abast encara guanya en cost, potència i latència. A mesura que els enllaços abasten files i sales, la fibra de mode únic-es converteix en la columna vertebral escalable. La matriu següent compara les opcions comunes de la manera com les valora realment una revisió del disseny.

També és per això que una declaració general com "sempre es prefereix la fibra" necessita una advertència: la fibra és la base escalable per al teixit, però un DAC passiu segueix sent la millor opció d'enginyeria per a un salt d'un -metre dins d'un bastidor.

Com planificar el cablejat del centre de dades d'IA, pas a pas

Pas 1: mapeu la càrrega de treball de l'IA i la topologia de la xarxa

Comença amb la càrrega de treball. Un pod d'entrenament gran, una flota d'inferència d'alt rendiment-, un clúster HPC i una implementació intensa d'emmagatzematge-no comparteixen el mateix perfil de trànsit. A continuació, mapeu on es connecten les xarxes de gestió de càlcul GPU (est-oest), emmagatzematge, nord-sud i-fora-de banda. És possible que un desplegament d'inferència pura no necessiti un teixit est-oest gran, mentre que un pod d'entrenament de diversos-rack ho farà. Dissenyar segons el flux de trànsit real, no només l'elevació del bastidor.

Pas 2: bloquejar els objectius de velocitat actuals i futurs

Definiu tant la primera fase com la següent. Si una beina fa 400G avui i 800G l'any que ve, la planta de fibra ha de tenir una mida de 800G ara. Més enllà d'aquest horitzó, el treball sobre Ethernet de classe terabit-ja està en marxa: elEl grup de treball IEEE P802.3dj està definint el funcionament de 200G, 400G, 800G i 1,6 Tb/s mitjançant la senyalització de 200 Gb/s-per-carril. Saber cap a on va el full de ruta us indica quant recompte de fibra i capacitat de ruta cal reservar.

Pas 3: seleccioneu suports i connectors amb marge

La pregunta OS2-versus-OM4 és principalment una pregunta d'abast. L'OM4 està bé per a enllaços inferiors a -100 m, però l'abast es redueix a mesura que augmenta la velocitat, de manera que una vegada que els enllaços creuen files o sales, o quan vulgueu 800G DR/FR, OS2 en mode únic és la base més segura. Revisant ellímits de distància de fibra multimode OM1 a OM5fa que la compensació-concreta. Relaciona la base MPO (12 versus 16) amb el mapa de fibra òptica i planifica la polaritat amb antelació; per a panells d'alta-densitat aixòGuia de selecció MTP vs MPOcobreix les diferències importants. Quan un transceptor i la velocitat del port no s'alineen, planifiqueu les interrupcions (MPO a LC) en lloc d'improvisar en el moment de la instal·lació.

Pas 4: planifiqueu junts la densitat del bastidor, les vies i el flux d'aire

La disposició del bastidor, l'encaminament dels cables i la refrigeració són una decisió en un entorn d'IA{0}}d'alta densitat, no tres. Abans de la instal·lació, compteu quants cables entren i surten de cada bastidor, decidiu on s'asseuen els panells de connexió, planifiqueu la fluïdesa i confirmeu que un tècnic pot arribar i substituir un port sense pertorbar els enllaços en directe. Deixeu espai de creixement a les safates i proporcions d'ompliment. Un bastidor que sembli net a la posada en marxa es torna inservible després de dos cicles d'actualització si les vies es van esgotar al màxim el primer dia.

Pas 5: prova, documenta i mantén les especificacions

Proveu tots els enllaços a l'especificació del projecte, que per a fibra-d'alta velocitat significa proves de pèrdua d'inserció-, OTDR si escau, verificació de polaritat i inspecció final. Documenteu tots els ports, troncs, cassets i vies, inclòs l'esquema de polaritat, la longitud i les pèrdues mesurades, amb etiquetes que s'assignin als-dibuixos construïts. Aleshores, el manteniment esdevé rutinari: neteja final, auditories periòdiques i control d'etiquetes i canvis. So següentpràctica d'instal·lació de cable de fibra òpticaper estirar la tensió i el radi de flexió protegeix el pressupost de pèrdues que heu provat.

Què cal preparar abans d'una migració a 400G o 800G

Les migracions fracassen a la capa física amb més freqüència que a l'òptica. Abans de tallar-lo, fes el següent:

• Confirmeu el tipus i el recompte de fibra i comproveu que l'OM4 existent encara arriba a la velocitat objectiu, perquè la distància admesa disminueix a mesura que augmenta la velocitat de línia.
• Comproveu que la base del connector coincideixi amb la nova òptica (MPO-12 versus MPO-16) i que l'esquema de polaritat encara es manté de punta a punta.
• Torneu a calcular el pressupost de pèrdua d'enllaços per a PAM4, després reduïu el recompte de connexions allà on pugueu i torneu a-inspeccionar tots els extrems.
• Confirmeu el camí i la capacitat de la safata per al cablejat afegit i confirmeu l'espai tèrmic del bastidor per a una òptica de més potència-.
• Escenifica cassets, baguls, etiquetes i un pla de prova amb antelació, de manera que el canvi sigui un intercanvi-no un re-tiro.

Errors comuns a evitar

Mides només per a l'ample de banda actual.Una planta construïda per a les velocitats actuals data ràpidament. Construeix un camí realista cap a una velocitat més alta i una densitat de ports més alta.

Tractar la gestió de cables com a cosmètica.El cablejat net és útil, però la gestió és realment sobre el flux d'aire, l'accés i l'aïllament de fallades, no l'aparença.

Sacrificant l'accés de manteniment per la densitat.L'alta-densitat no és "tan compacta com sigui possible". Si un tècnic no pot rastrejar i substituir de manera segura una connexió, el disseny us costarà durant les operacions reals.

Compra de components de manera aïllada.Cables, connectors, panells, transceptors, bastidors i vies formen un sol canal. Una peça que sembli barata per si sola pot tapar tot el teixit quan s'escala.

AI-Llista de verificació de preparació del cablejat Ready

Treballeu-los abans d'escalar les GPU. Cada element té una condició concreta d'aprovació, no un sí o un no vague.

• Espai de velocitat:La fibra instal·lada pot suportar almenys un salt de velocitat (per exemple, de 400 G a 800 G) sense re-estirar, i el recompte de fibres té la mida del mapa de carrils de l'òptica (vuit o setze fibres)?
• Pressupost de pèrdues:Cada canal d'-alta velocitat dins de la seva inserció-de pèrdua de PAM4, amb el recompte de connexions i la inspecció de la cara final verificats?
• Densitat versus servei:Pot un tècnic arribar, rastrejar i substituir qualsevol port sense pertorbar un rail viu?
• Flux d'aire:Les vies mantenen l'escapament posterior i la contenció del passadís lliures i estan separades la potència i les dades?
• Documentació:Cada enllaç es prova i s'enregistra amb el seu esquema de polaritat, longitud i pèrdua, i s'etiqueta perquè coincideixi amb-dibuixos construïts?
• Escala:La topologia optimitzada de fulles-espina, carril-s'estén al següent pod sense un redisseny?
• Ajust de mitjans:El mitjà de cada enllaç es tria per abast, velocitat, impacte tèrmic i facilitat de servei, amb DAC al-rack i OS2 a través de les sales?

Si diverses respostes són no, redissenyeu la capa física abans que les càrregues de treball d'IA s'escalquin, no després de la primera expansió.

Aportacions clau

Les càrregues de treball d'IA estan reescrivint els requisits de cablejat del centre de dades amb una amplada de banda més gran, una fibra paral·lela més densa, uns pressupostos de pèrdua ajustats, un enrutament conscient del flux d'aire-i cicles d'actualització curts. La capa física no farà que les GPU siguin més ràpides per si sola, però la incorrecta limita el rendiment, la fiabilitat i la velocitat d'actualització de tot l'entorn.

El principi de disseny més segur és planificar la planta de fibra, la capacitat de la via, l'arquitectura de pegats i el model de documentació abans que els bastidors de GPU aterrin, no després del primer cicle d'expansió. Crea com a mínim un salt de velocitat, tria els mitjans per funció en lloc d'hàbit i tracta la neteja, la polaritat i el flux d'aire del connector com a restriccions de disseny de primera-classe. Abans de desplegar o ampliar, reviseu el vostre cablejat actual amb la llista de comprovació anterior; per a cablejat estructurat i components MTP/MPO, exploreu el nostresolucions de fibra òptica.