NVIDIA Mellanox 920-9B210-00FN-0D0 Riferimento tecnico: 400Gb/s NDR Ottimizzazione dell'interconnessione a bassa latenza

NVIDIA Mellanox 920-9B210-00FN-0D0 Riferimento tecnico: 400Gb/s NDR Ottimizzazione dell'interconnessione a bassa latenza per cluster RDMA/HPC/AI

1. Analisi del contesto e dei requisiti del progetto

Mentre i cluster di addestramento dell'IA si riducono da migliaia a decine di migliaia di GPU e le simulazioni HPC si avvicinano alle prestazioni di Exascale, le interconnessioni di rete devono affrontare richieste senza precedenti di larghezza di banda, latenza,e determinismoLa transizione da 200Gb/s HDR a 400Gb/s NDR non è più facoltativa, è una necessità strategica per le organizzazioni che implementano modelli a trilioni di parametri e calcoli paralleli su scala estrema.In più ambienti di distribuzione leader, i requisiti fondamentali possono essere riassunti come:

• Deterministica ultra-bassa latenza:L'MPI e le comunicazioni collettive tutto-a-tutti devono mantenere una latenza port-to-port inferiore a 100 ns per ridurre al minimo l'impatto delle spese generali di comunicazione sulla convergenza della formazione.
• Tessuti senza perdite a scala:Il pacchetto zero scende su migliaia di endpoint, garantendo che le prestazioni RDMA non si degradino sotto congestione.
• Discarico di calcolo in rete:Scarico delle operazioni collettive (all-reduce, all-to-all, broadcast) sul tessuto di commutazione per liberare le risorse CPU/GPU host.
• Scalabilità a radice elevata:Supporto per le topologie fat-tree e dragonfly+ con larghezza di banda di bisezione completa a 8.000+ nodi.
• Protezione degli investimenti:Compatibilità senza soluzione di continuità con i cavi HDR esistenti, l'ottica e gli strumenti di gestione per aggiornamenti graduali.

Per rispondere a tali esigenze, questa soluzione adotta laNVIDIA Mellanox 920-9B210-00FN-0D0come blocco di costruzione principale ̇ un commutatore NDR InfiniBand a 400Gb/s progettato appositamente per le implementazioni di classe Exascale.

2. Progettazione complessiva dell'architettura di rete

La soluzione proposta utilizza una topologia a due livelli di spina dorsale delle foglie, fornendo un tessuto scalabile e non bloccante con latenza deterministica e cablaggio semplificato.ciascun rack di calcolo è dotato di uno o due920-9B210-00FN-0D0 InfiniBand switch OPNLe unità, che forniscono 64 porte di connettività NDR a 400 Gb/s ai server GPU tramite OSFP direct-attach copper (DAC) o active optical cables (AOC).920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRgli interruttori interconnettono tutti gli interruttori delle foglie, creando un tessuto di alberi di grasso a banda larga completa.

Per i cluster superiori a 5.000 nodi, è possibile implementare un'architettura a tre livelli folded-Clos,con il 920-9B210-00FN-0D0 che funge da base e spina dorsale per mantenere prestazioni costanti a tutti i livelliLo switch supporta fino a 64 switch in un singolo tessuto sotto un singolo subnet manager, consentendo un controllo unificato delle topologie su larga scala.

La tabella seguente riassume i principali parametri di scalabilità per un tessuto NDR a due livelli costruito intorno al 920-9B210-00FN-0D0:

3. Ruolo e caratteristiche chiave del NVIDIA Mellanox 920-9B210-00FN-0D0

All'interno di questa architetturaNVIDIA Mellanox 920-9B210-00FN-0D0funge da elemento fondamentale di commutazione, fornendo diverse capacità critiche che rispondono direttamente ai requisiti identificati nella sezione 1:

• 64 porte di 400 Gb/s NDR:Ogni porta OSFP supporta 400Gb / s bidirezionale con correzione degli errori in avanti (FEC) per una connettività di estesa portata affidabile.2 Tb/s fornisce ampio spazio di manovra anche per i carichi di lavoro più intensivi di comunicazione.
• Latenza di taglio ultra-bassa:La latenza da porta a porta inferiore a 100 ns, come documentato nel920-9B210-00FN-0D0 scheda dati, garantisce costi generali minimi per le operazioni MPI e RDMA.
• SHARPv3 integrato:Offloads le operazioni collettive dalle CPU host, riducendo la latenza all-reduce fino al 40% e all-to-all fino al 35% nei lavori su larga scala.
• Routing e controllo della congestione adattivo:Ridirige dinamicamente il traffico per evitare i punti critici, mantenendo prestazioni prevedibili in condizioni di traffico avversario.La telemetria avanzata fornisce visibilità per flusso e per porto per una gestione proattiva.
• Gestibilità completa:Integrazione completa con Unified Fabric Manager (UFM) di NVIDIA per il provisioning zero-touch, il monitoraggio della salute e il failover automatico.

Il920-9B210-00FN-0D0 specifichesottolineare anche le sorgenti di alimentazione dual-redundant, i moduli dei ventilatori intercambiabili a caldo e il supporto per le configurazioni redundanti del subnet manager, garantendo una disponibilità del 99,999% per i carichi di lavoro mission-critical.

4. Raccomandazioni per la distribuzione e la scalabilità

Per le organizzazioni che intendono adottare la920-9B210-00FN-0D0 InfiniBand switch OPN soluzione, si raccomandano le seguenti linee guida per il dispiegamento:

• Strategia di cablaggio:Utilizzare cavi OSFP-OSFP DAC per le connessioni intra-rack (fino a 3 m) e AOC o trasmettitori ottici per i collegamenti inter-rack e spine-leaf (fino a 100 m).920-9B210-00FN-0D0 compatibileper la matrice di compatibilità NVIDIA per evitare problemi di integrità del segnale.
• Risparmio:Utilizzare almeno due interruttori per ogni foglio per eliminare i singoli punti di guasto.Considerare la ridondanza N+1 al livello spinale.
• Gestione del firmware:Assicurarsi che tutti gli interruttori eseguano le stesse versioni di firmware NVIDIA.Convalidare la compatibilità del firmware con gli adattatori e i cavi host prima della distribuzione.
• Percorso di scalabilità:Per i cluster oltre i 4.096 nodi, transizione a una topologia a tre livelli ripiegata-Chiusa o leva libellula + con routing adattivo.con più tessuti interconnessi tramite gateway per distribuzioni più ampie.
• Validazione delle prestazioni:Prima dell'implementazione della produzione, eseguire test di stress completi utilizzando i benchmark di prestazione OpenFabrics Enterprise Distribution (OFED) per convalidare le prestazioni del tessuto rispetto al920-9B210-00FN-0D0 scheda datile specifiche.

Nel calcolo del costo totale di proprietà, tener conto del numero ridotto di livelli di interruttore e del cablaggio semplificato rispetto alle alternative a radice inferiore.920-9B210-00FN-0D0 prezzoper unità è superiore rispetto agli switch HDR, il costo per porta e il costo di rete per GPU sono significativamente inferiori nelle implementazioni su larga scala, rendendolo una scelta conveniente per i progetti Exascale.

5. Operazioni, monitoraggio e risoluzione dei problemi

La gestione efficace di un tessuto NDR richiede un quadro completo di monitoraggio e risoluzione dei problemi.NVIDIA Mellanox 920-9B210-00FN-0D0- a base di tessuti, che offrono:

• Visualizzazione della topologia:Scoperta automatica e rappresentazione grafica di tutti gli switch, link e endpoint con aggiornamenti di stato in tempo reale.
• Punti di controllo delle prestazioni:Visualizzazioni in tempo reale dell'utilizzo del porto, dei tassi di errore, degli indicatori di congestione e dell'occupazione del buffer su tutto il tessuto.
• Avviso proattivo:Alarmi basati su soglie per il degrado del collegamento, anomalie di temperatura, guasti dell'alimentazione e usura dei cavi.
• Isolamento di errore:Flussi di lavoro di risoluzione dei problemi guidati che identificano cavi difettosi, trasmettitori o porte di commutazione, riducendo il tempo medio di risoluzione (MTTR).
• Analisi storica:Analisi delle tendenze e pianificazione della capacità basata su dati storici di performance, che consentono decisioni di scalazione proattive.

Per la risoluzione avanzata dei problemi, sfrutta gli strumenti diagnostici integrati dello switch, inclusi i test di loopback, l'analisi BER (bit error rate) e il monitoraggio diagnostico del modulo ottico (DOM).I problemi comuni incontrati nelle prime implementazioni di NDR includono un routing subottimale causato da velocità di collegamento ineguali, tipi di cavi non corrispondenti o incoerenze del firmware. abilitando il routing adattivo, verificando che tutti i collegamenti funzionino a 400Gb/s con FEC abilitato,e garantire un firmware coerente su tutti gli switch risolve la maggior parte delle anomalie di prestazione.

Gli ingegneri di rete dovrebbero inoltre stabilire una linea di base di920-9B210-00FN-0D0 specificheIn questo caso, le variazioni della velocità di carico e della velocità di carico possono essere utilizzate come indicatori precoci di potenziali problemi.920-9B210-00FN-0D0 InfiniBand switch OPNsupporta anche la registrazione completa degli eventi tramite syslog e SNMP, consentendo l'integrazione con le pile di monitoraggio dei data center esistenti.

6. Riassunto e valutazione del valore

Il920-9B210-00FN-0D0fornisce una proposta di valore convincente per le organizzazioni che costruiscono o espandono cluster HPC e AI basati su NDR. Fornisce 64 porte di 400Gb/s NDR con latenza inferiore ai 100ns, SHARPv3 offload,Gestibilità a livello aziendale, e la piena compatibilità con l'esistente ecosistema HDR, tutto in una piattaforma compatta 1U. I punti chiave di valore includono:

• Performance:Fino a una riduzione del 75% della latenza di comunicazione all-to-all e fino a una riduzione del 40% della latenza all-reduce attraverso lo scarico SHARPv3 e la larghezza di banda NDR.
• Efficienza dei costi:Basso costo di rete per GPU rispetto alle alternative HDR nelle distribuzioni su larga scala, trainato da radix più elevati e ridotto numero di switch-layer.
• Semplicità operativa:Integrazione profonda con UFM per una gestione unificata, un provisioning automatizzato, un monitoraggio proattivo e una rapida risoluzione dei guasti.
• Protezione degli investimenti:Compatibilità completa con i cavi HDR, l'ottica e gli stack software esistenti, consentendo aggiornamenti graduali senza interrompere i carichi di lavoro di produzione.
• Scalabilità a prova di futuro:Supporto per topologie a tre livelli ripiegate-Clos e dragonfly +, garantendo che il tessuto possa scalare fino a 8.000+ nodi man mano che le richieste di calcolo crescono.

Per le organizzazioni che valutano la920-9B210-00FN-0D0 in venditaattraverso i partner di canale di NVIDIA, si consiglia di rivedere il dettagliato920-9B210-00FN-0D0 scheda datiIl progetto è stato progettato per soddisfare le esigenze specifiche di carico di lavoro e scala.NVIDIA Mellanox 920-9B210-00FN-0D0è pronto per la produzione oggi, offrendo una base di interconnessione scalabile e ad alte prestazioni per la prossima generazione di innovazione AI e HPC.