Commuta de buffers: redueix la pèrdua i la latència de la xarxa d'IA

Jun 22, 2026

Deixa un missatge

AI data center network fabric with switch buffers

Els buffers de commutació són petits grups de memòria dins d'un commutador de xarxa que contenen paquets durant un moment quan el trànsit arriba més ràpid del que un port pot enviar-lo. En una LAN empresarial tranquil·la, sembla una nota al peu de maquinari. Dins d'un clúster de formació d'IA o d'un teixit de núvol dens, els mateixos pocs megabytes de memòria poden decidir si un treball distribuït acaba a temps o s'atura a l'espera d'un únic enllaç congestionat.

La idea bàsica és senzilla, però provoca moltes decisions de compra: els amortidors són valuosos perquè absorbeixen ràfegues, peròmés buffer no és millor automàticament. El disseny adequat depèn del vostre patró de trànsit, de la sensibilitat de la càrrega de treball a la latència o la pèrdua, del mètode de control de-congestió que utilitzeu i de com el commutador distribueix la memòria intermèdia entre ports i cues. Un interruptor amb una memòria intermèdia molt gran encara pot funcionar pitjor que un de més petit si aquesta memòria amaga la congestió en lloc d'esgotar-la.

Aquesta guia està escrita a partir dels patrons que s'observen habitualment en teixits RoCEv2 i desplegaments de fulles d'alta-densitat-. Explica què fan realment els buffers de commutació, per què el trànsit d'IA i GPU els estressa de manera diferent, com les opcions de memòria intermèdia afecten la latència i la pèrdua de paquets i què cal provar abans de comprometre's amb un commutador.

Què són els buffers de commutació?

Un buffer de commutació és memòria de paquets temporal. Quan diversos paquets han de sortir pel mateix port al mateix instant, el commutador no els pot transmetre tots alhora, de manera que posa en cua els extres i els reenvia a mesura que s'allibera el port de sortida.

Aquesta cua es produeix durant un grapat de moments previsibles:

  • Trànsit de molts-a-un (incast), on diversos remitents s'orienten al mateix receptor o enllaç ascendent
  • Microbursts, els pics curts i intensos que duren entre microsegons i uns quants mil·lisegons
  • Desajustos de velocitat de la interfície, com ara un port 400G que alimenta un enllaç descendent més lent
  • Enllaços de subscripció excessiva i ràfegues sincronitzades que arriben de moltes fonts alhora
  • Congestió en una cua de sortida o classe de trànsit específica

Sense suficient buffer utilitzable, l'interruptor deixa caure paquets. Amb massa buffer ocupat, els paquets se situen en línia i la latència augmenta. Un bon disseny de buffer viu en la tensió entre aquests dos errors: absorbir ràfegues reals sense convertir la cua en un bolígraf.

Per què les tensions del trànsit de la IA i la GPU canvien els buffers de manera diferent

Les càrregues de treball d'IA no semblen trànsit web o d'oficina. Els clústers de GPU generen un enorme trànsit a l'est-oest entre servidors i durant l'entrenament distribuït la comunicació sovint es sincronitza: molts acceleradors intercanvien dades al mateix moment, en la mateixa direcció, a la mateixa estructura.

Les operacions col·lectives empitjoren això. Un pas de -reducció total, una sincronització de paràmetres o un intercanvi de gradients poden col·lapsar-se en una ràfega de molts-a-un o molts-a-que tanca un conjunt de cues de sortida en pocs microsegons. Com que les ràfegues són breus i estan estretament correlacionades, es poden perdre fàcilment amb un seguiment gruixut. Per exemple, un enllaç només pot llegir al voltant del 40% d'utilització mitjana en un període d'enquesta d'un-segon o cinc-minuts mentre encara arriba a la velocitat de línia durant mil·lisegons alhora, que és prou llarg per omplir una cua, marcar ECN o activar una pausa PFC.

El motiu pel qual això importa tant als teixits d'IA és l'estructura de dependència de la feina. L'entrenament distribuït tendeix a moure's a la velocitat del seu flux més lent. Quan un node de la GPU espera el trànsit retardat, la resta del clúster sovint s'ocupa amb ell, i els acceleradors costosos cremen temps esperant a la xarxa en lloc de calcular. Un esdeveniment de memòria intermèdia que seria invisible en un nivell web pot allargar directament el temps de finalització del treball aquí.

Aquest teixit de l'est-oest també és el motiu pel qual les opcions de-capes físiques s'associen al comportament de la memòria intermèdia. Normalment es connecten amb els backends de GPU d'alta-densitatcablejat troncal MTP/MPO d'alta-densitatentre la fulla i l'espina dorsal, i la velocitat de l'enllaç la determina l'òptica que trieu, cada cop mésMòduls 400G i 800G com ara QSFP-DD. Com més ràpids i més subscrits siguin aquests enllaços, més treball haurà de fer la configuració de la memòria intermèdia i la congestió del commutador durant una ràfega sincronitzada.

AI GPU traffic burst filling a switch buffer

Com afecten els buffers de canvi la latència, la pèrdua de paquets i el rendiment

Els buffers donen forma al rendiment de tres maneres connectades.

Massa poc buffer provoca la pèrdua de paquets

Quan una ràfega supera la memòria intermèdia disponible, la cua de commutació-deixa caure paquets. En el trànsit basat en TCP-que activa retransmissions i redueix el rendiment efectiu. En l'emmagatzematge i el trànsit d'IA, pot augmentar el temps de finalització de la feina i fer que el rendiment sigui irregular. El parany és que l'amplada de banda mitjana sovint sembla bé: en un esdeveniment d'incast, diversos remitents arriben a la mateixa cua de sortida gairebé al mateix instant i la cua es desborda tot i que el gràfic de minut-per-minut sembla tranquil.

Massa trànsit a la cua augmenta la latència

Un buffer gran no és un marge de seguretat lliure. Si els paquets es troben en una cua profunda, acumulen un retard en la cua i la xarxa es llisca cap abufferbloat, on les caigudes són rares però la latència és alta i impredictible. Aquest mode de fallada eradocumentat detalladament per Gettys i Nichols a ACM Queue, i és exactament el resultat equivocat per als backends de GPU sensibles a la latència-, on la baixa latència previsible és més important que amagar la congestió dins de la memòria.

Una mala assignació del buffer crea injustícia

La mida total de la memòria intermèdia amaga la pregunta més important: com el commutador divideix aquesta memòria entre ports, cues i classes de trànsit. Un commutador pot portar un munt de memòria intermèdia agregada i encara es comporta malament si un port o classe drena la piscina compartida i mor de fam a la resta. En entorns d'IA i emmagatzematge, aquesta injustícia frena tota la feina, perquè el flux més lent estableix l'hora d'acabament.

Comparison of shared dedicated and deep switch buffers

Buffer compartit vs Buffer dedicat vs Buffer profund

Quan compareu els commutadors del centre de dades, l'arquitectura de la memòria intermèdia importa més que el número de capacitat del titular.

Buffer compartit

Una memòria intermèdia compartida és una agrupació de memòria comú que els ports i les cues s'obtenen sota demanda. Com que la memòria no utilitzada en una zona tranquil·la es pot prestar a qualsevol lloc on aparegui la congestió, els buffers compartits absorbeixen bé les ràfegues als centres de dades, on un port que està inactiu un moment pot esclatar l'altre. La seva debilitat és que confien en una bona lògica d'assignació per evitar que una cua calenta es mengi la piscina.

Buffer dedicat

Es reserva una memòria intermèdia dedicada per a un port, una cua o una classe de trànsit específics. Millora l'aïllament, ja que una classe congestionada és menys capaç de consumir-ho tot, però sobre-reserva la capacitat de residus, perquè la memòria bloquejada en un port silenciós no està disponible on realment aterra la ràfega.

Buffer profund

Un commutador de memòria intermèdia-profunda comporta una memòria intermèdia molt més gran, dissenyat per a grans ràfegues, enllaços de llarga-distància o desajustos de velocitat persistents. Els buffers profunds guanyen el seu lloc en alguns rols de WAN, d'encaminament i d'agregació, sovint combinats ambfibra d'-mode únic per a enllaços de-més llarga distància, però sovint són el valor predeterminat incorrecte per a un backend de GPU de baixa-latència, on tendeixen a emmascarar la congestió i afegir retard. Per a teixits sensibles a la latència-, el reenviament previsible acostuma a superar la profunditat de la memòria intermèdia en brut.

Comparació ràpida

Tipus de buffer Força Risc principal El millor ajust
Compartit Absorció d'explosió flexible Necessita una lògica d'assignació sòlida Trànsit dinàmic del centre de dades
Dedicat Fort aïllament entre classes Capacitat malgastada si hi ha més-reserva Classes de trànsit que cal protegir
Profund Absorbeix esclats molt grans Major latència de cua WAN, encaminament, agregació especial

Switch Buffers i control de congestió RoCEv2: ECN i PFC

La majoria dels teixits Ethernet d'IA executen RoCEv2 per a una baixa-latencia i un alt-de rendiment RDMA. En aquestes xarxes, els búfers i el control de la congestió són inseparables: els llindars de búfer que establiu determinen quan es marca ECN i quan s'activa el PFC.

ECN hauria de senyalitzar la congestió aviat

Notificació de congestió explícita (ECN), definida a la RFC 3168, permet que un commutador marque els paquets a mesura que es genera congestió en lloc de deixar-los caure. El receptor fa ressò d'aquest senyal de manera que l'emissor s'alenteix abans que la cua es desbordi. En els teixits RoCEv2 el llindar de marcatge és una decisió d'ajust amb conseqüències reals: marca massa tard i la cua ja és profunda quan reaccionen les fonts; marca massa d'hora i accelera el rendiment que no calia renunciar.

El PFC hauria de ser la xarxa de seguretat, no la primera resposta

Control de flux{0}}basat en prioritats (PFC), estandarditzat com a IEEE 802.1Qbb, posa en pausa el trànsit en una classe de prioritat per evitar pèrdues en cues sense pèrdues. És essencial, però és un instrument contundent. Recolza't massa sovint i s'estén la congestió aigües amunt, creant tempestes de pausa i bloqueig de cap de línia--que castiga els fluxos que mai van ser la causa. El patró més saludable està ben establert: enEl treball RDMA-a gran escala de Microsoft que va introduir DCQCN, el control de congestió basat en la tarifa-dirigit per ECN gestiona els esdeveniments rutinaris mentre que el PFC es manté en reserva com a darrera línia de defensa, i aquest document també ofereix orientacions concretes sobre l'ajust dels llindars de memòria intermèdia dels commutadors.

Els llindars de memòria intermèdia han de coincidir amb la càrrega de treball

Els llindars copiats d'un disseny de referència rarament sobreviuen al contacte amb el trànsit real. La formació d'IA, la inferència, l'emmagatzematge i les càrregues de treball mixtes del núvol esclaten de manera diferent, i la configuració correcta d'ECN/PFC depèn de l'esclat, la velocitat de l'enllaç, la proporció de sobresubscripcions, el disseny de la cua i quant tolera la càrrega de treball la latència versus la pèrdua. Tracteu els valors predeterminats del proveïdor com a punt de partida i, a continuació, sintonitzeu-vos amb el vostre propi trànsit.

Diagnòstic de problemes relacionats amb el buffer-: símptomes, causes i mètriques

Quan el rendiment de l'aplicació baixa però els quadres de comandament semblen verds, la pressió de la memòria intermèdia és una causa oculta habitual. Un primer pas útil és llegir la telemetria per ordre de causa i efecte en lloc de fixar-se en la utilització de l'enllaç. La taula següent mapa els símptomes amb possibles problemes de memòria intermèdia i la mètrica que els confirma.

 

Símptoma Causa probable relacionada amb el buffer- Mètrica per comprovar primer
Retransmissions amb utilització mitjana normal La cua de Microburst cau en una cua de sortida Pics d'ocupació de la cua, cua i baixades de sortida
Pics de latència amb poques gotes o cap Més-cua profunda/bufferbloat Percentils de latència (p99), profunditat de la cua
El rendiment es redueix de molts-a-un Incast desbordant una piscina compartida Caigudes durant l'incast, per -ocupació de la cua
Parades periòdiques al clúster El PFC atura les tempestes que s'estenen aigües amunt Fotogrames de pausa PFC i durada de la pausa
Un flux lent arrossega tota la feina Compartició injusta de buffer entre classes Per -ocupació prioritària, comptadors de-cua calenta
GPU inactius esperant a la xarxa Congestió que amplia les operacions col·lectives Taxa de marca ECN, temps de finalització del flux, utilització de la GPU

Llegiu de dalt a baix, la cadena de diagnòstic natural és la profunditat de la cua, després les marques ECN, després les caigudes de cua, després els fotogrames de pausa PFC, després el temps de finalització del flux i, a continuació, la utilització de la GPU. Si les mètriques de la xarxa estan netes però les feines encara són lentes, probablement el problema es troba aigües amunt de la xarxa en lloc de dins del buffer del commutador.

Val la pena fer proves de laboratori i quin aspecte és "aprovar".

Abans d'implementar-lo en un teixit d'IA o d'{0}}alt rendiment, feu proves amb un trànsit que s'assembli a la vostra càrrega de treball real i definiu un criteri d'aprovació per a cada prova en lloc de mirar només la velocitat de línia.

  • Molts-a-incast:augmenta la proporció-del ventilador; La passada significa que no hi ha caigudes de cua i una latència p99 limitada a la vostra sobresubscripció objectiu.
  • Molts-a-molts, tots-estil reduït:conduir ràfegues sincronitzades; La passada significa temps de finalització justos a través dels fluxos sense un sol retardat.
  • Flux curt- i llarg-mescla:corre l'elefant i el ratolí flueixen junts; pass significa que els fluxos curts mantenen una latència baixa mentre que els fluxos llargs encara omplen l'enllaç.
  • Congestió RoCEv2 amb validació ECN/PFC:confirmeu les marques ECN abans de la pausa de PFC; passar significa que ECN fa la feina i PFC rarament s'activa.
  • Reconvergència de sobresubscripcions i errors:deixar anar un enllaç a mitja-ràfega; passar significa un desviament elegant sense una gota o un penya-segat de latència.

L'objectiu no és demostrar el rendiment-de la línia en un commutador inactiu. Es tracta de veure com es comporta l'interruptor quan el trànsit es torna explosiu, sincronitzat i injust, que és l'únic estat que importa en producció. Quan planifiqueu el cablejat i els connectors per donar suport a aquestes proves a escala, ancomparació d'enginyeria d'opcions MTP i MPOés un company útil.

Interruptor de-latència profunda o de baixa-latència?

No hi ha un canvi únic, només el millor ajust per a un teixit determinat. Utilitzeu la taula següent per restringir l'elecció ràpidament i, a continuació, valideu-la amb les proves de laboratori anteriors.

Si el teu teixit ho és Prioritzar Inclinació de l'amortidor
AI GPU backend (ràfegues sincronitzades, latència-crítica) Baixa latència, telemetria forta, sintonització ECN/PFC Latència-baixa, compartida amb una bona assignació
Emmagatzematge / sense pèrdues Equitat, temps de finalització de la feina, latència sota càrrega Moderat, amb classes-ben aïllades
Núvol mixt (velocitats d'enllaç variades) Assignació flexible, aïllament de classe, visibilitat Compartit i flexible
WAN/agregació de llarga-distància Absorbeix grans ràfegues i desajust de velocitat Buffer profund (encara comprovat amb objectius de latència)

Els teixits de núvols mixts són el cas més complicat, perquè sovint combinen enllaços amunt-de major velocitat amb enllaços d'accés més lent. Si esteu traçant aquestes velocitats d'accés, una guiaInterfícies 10GBASE-T i SFP+ 10GbEus pot ajudar a planificar on aterraran les transicions de velocitat i, per tant, la pressió d'amortiment.

PMF

P: Els buffers de commutació més grans sempre són millors?

R: No. Els buffers més grans redueixen les caigudes de paquets durant les ràfegues, però també permeten que els paquets estiguin a la cua més temps, la qual cosa augmenta la latència i pot provocar un bufferbloat. Per als teixits d'emmagatzematge i d'IA sensibles a la latència-, un buffer moderat i-ben gestionat acostuma a superar un de molt profund. El millor buffer és el de mida única i assignat per absorbir les vostres ràfegues reals sense afegir retards evitables.

P: Quina diferència hi ha entre la memòria intermèdia compartida i la memòria intermèdia dedicada?

R: Una memòria intermèdia compartida és un conjunt comú que qualsevol port o cua pot extreure quan ho necessiti, cosa que el fa eficient per absorbir ràfegues imprevisibles. Es reserva una memòria intermèdia dedicada per a un port, una cua o una classe específics, cosa que millora l'aïllament, però pot malgastar memòria si l'espai reservat està inactiu. Molts commutadors de centres de dades utilitzen un híbrid dels dos.

P: Per què les microràfegues causen pèrdua de paquets fins i tot quan la utilització sembla baixa?

R: La supervisió estàndard fa una mitjana de trànsit en segons o minuts, de manera que suavitza els pics. Una microràfega només pot arribar a la velocitat de línia durant uns quants mil·lisegons, omplint una cua de sortida i forçant la caiguda de la cua, mentre que el gràfic mitjà encara mostra l'enllaç lleugerament carregat. Necessites una-cua d'escala de mil·lisegons i deixar anar la telemetria per veure aquests esdeveniments.

P: Els centres de dades d'IA necessiten interruptors-de buffer profunds?

R: Normalment no al backend de la GPU. Els buffers profunds tendeixen a emmascarar la congestió i afegir latència, la qual cosa funciona en contra del reenviament previsible i de baixa latència-que necessita la formació distribuïda. Els buffers profunds són més adequats per a rols de WAN, d'encaminament o d'agregació. Per als clústers d'IA, la telemetria, l'assignació justa i l'ECN/PFC ben-sintonitzats solen tenir més importància que la profunditat de la memòria intermèdia bruta.

P: Com afecten els buffers de commutació el rendiment de RoCEv2?

R: A RoCEv2, els llindars de memòria intermèdia decideixen quan ECN marca els paquets i quan PFC posa en pausa una prioritat. Ajustat bé, ECN retarda els remitents abans d'hora i manté les cues poc profundes; mal configurat, les cues es desborden o el PFC s'activa massa sovint i propaga la congestió. Ajustar els llindars de memòria intermèdia a la càrrega de treball és un dels passos més importants per aconseguir un bon comportament de RoCEv2.

P: Quines mètriques de memòria intermèdia he de supervisar en producció?

R: Mireu l'ocupació de la cua, la caiguda de la cua i la sortida, la taxa de marca ECN i els fotogrames i la durada de la pausa PFC i, a continuació, connecteu-los a senyals d'aplicació com ara el temps de finalització del flux i, per a teixits d'IA, la utilització de la GPU. Si el rendiment de l'aplicació és deficient mentre la utilització mitjana de l'enllaç sembla normal, és probable que la pressió de memòria intermèdia oculta i les microesclats siguin sospitosos.

Aportacions clau

Els buffers de commutació tenen un paper decisiu en el rendiment de la xarxa del centre de dades i de l'IA, però la capacitat per si sola no us indica si un commutador és l'opció correcta. Un bon disseny de memòria intermèdia absorbeix ràfegues realistes, limita la pèrdua de paquets, manté la latència previsible, admet la senyalització ECN i PFC i exposa prou telemetria per resoldre problemes. Per als centres de dades d'IA, avalueu l'arquitectura de la memòria intermèdia juntament amb el control de la congestió, l'equilibri de càrrega, la gestió de la cua i el comportament de la vostra càrrega de treball real, no com un número aïllat en un full d'especificacions.

Abans de comprometre't, prova l'interruptor en condicions d'incast, microburst i congestió, i mira com comparteix la memòria quan el trànsit es torna injust. El millor buffer no és el més gran. És l'arquitectura que manté les vostres aplicacions ràpides, justes i previsibles sota trànsit real.

Enviar la consulta