NVIDIA Mellanox 920-9B210-00FN-0D0 Riferimento tecnico: 400Gb/s NDR Ottimizzazione dell'interconnessione a bassa latenza

Riferimento Tecnico NVIDIA Mellanox 920-9B210-00FN-0D0: Ottimizzazione dell'Interconnessione a Bassa Latenza 400Gb/s NDR per Cluster RDMA/HPC/AI

1. Contesto del Progetto e Analisi dei Requisiti

Man mano che i cluster di addestramento AI scalano da migliaia a decine di migliaia di GPU e le simulazioni HPC si avvicinano alle prestazioni Exascale, le interconnessioni di rete affrontano richieste senza precedenti in termini di larghezza di banda, latenza e determinismo. La transizione da 200Gb/s HDR a 400Gb/s NDR non è più un'opzione, ma una necessità strategica per le organizzazioni che implementano modelli con trilioni di parametri e calcolo parallelo su scala estrema. In diversi ambienti di distribuzione leader, i requisiti principali possono essere riassunti come:

• Latenza deterministica ultra-bassa: Le comunicazioni collettive MPI e all-to-all devono sostenere una latenza porta-a-porta inferiore a 100 ns per minimizzare l'impatto del sovraccarico di comunicazione sulla convergenza dell'addestramento.
• Fabric lossless su larga scala: Zero perdite di pacchetti su migliaia di endpoint, garantendo che le prestazioni RDMA non degradino sotto congestione.
• Offload di calcolo in-network: Offload delle operazioni collettive (all-reduce, all-to-all, broadcast) al fabric dello switch per liberare risorse CPU/GPU host.
• Scalabilità ad alto radix: Supporto per topologie fat-tree e dragonfly+ con larghezza di banda di bisezione completa per oltre 8.000 nodi.
• Protezione dell'investimento: Compatibilità trasparente con cavi, ottiche e strumenti di gestione HDR esistenti per aggiornamenti graduali.

Per affrontare questi requisiti, questa soluzione adotta il NVIDIA Mellanox 920-9B210-00FN-0D0 come blocco fondamentale: uno switch InfiniBand 400Gb/s NDR progettato appositamente per distribuzioni di classe Exascale.

2. Progettazione Complessiva dell'Architettura di Rete

La soluzione proposta impiega una topologia leaf-spine a due livelli, offrendo un fabric scalabile e non bloccante con latenza deterministica e cablaggio semplificato. A livello leaf, ogni rack di calcolo è dotato di una o due unità 920-9B210-00FN-0D0 InfiniBand switch OPN, che forniscono 64 porte di connettività NDR 400Gb/s ai server GPU tramite cavi direct-attach copper (DAC) o active optical cables (AOC) OSFP. A livello spine, un secondo livello di switch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR interconnette tutti gli switch leaf, creando un fabric fat-tree a larghezza di banda di bisezione completa.

Per cluster superiori a 5.000 nodi, è possibile implementare un'architettura folded-Clos a tre livelli, con il 920-9B210-00FN-0D0 che funge sia da leaf che da spine per mantenere prestazioni costanti a tutti i livelli. Lo switch supporta fino a 64 switch in un singolo fabric sotto un unico subnet manager, consentendo il controllo unificato di topologie su larga scala.

La seguente tabella riassume i parametri chiave di scalabilità per un fabric NDR a 2 livelli basato sul 920-9B210-00FN-0D0:

3. Ruolo e Caratteristiche Chiave del NVIDIA Mellanox 920-9B210-00FN-0D0

All'interno di questa architettura, il NVIDIA Mellanox 920-9B210-00FN-0D0 funge da elemento di switching fondamentale, fornendo diverse capacità critiche che rispondono direttamente ai requisiti identificati nella Sezione 1:

• 64 porte 400Gb/s NDR: Ogni porta OSFP supporta 400Gb/s bidirezionali con forward error correction (FEC) per una connettività affidabile a lunga portata. La capacità di switching aggregata di 51,2 Tb/s fornisce ampio margine anche per i carichi di lavoro più intensivi in termini di comunicazione.
• Latenza ultra-bassa di cut-through: Latenza porta-a-porta inferiore a 100 ns, come documentato nella scheda tecnica dettagliata 920-9B210-00FN-0D0, garantisce un sovraccarico minimo per le operazioni MPI e RDMA.
• SHARPv3 integrato: Offload delle operazioni collettive dalle CPU host, riducendo la latenza all-reduce fino al 40% e all-to-all fino al 35% nei job su larga scala.
• Routing adattivo e controllo della congestione: Reindirizza dinamicamente il traffico per evitare hotspot, mantenendo prestazioni prevedibili in condizioni di traffico avverso. La telemetria avanzata fornisce visibilità per flusso e per porta per una gestione proattiva.
• Gestibilità completa: Integrazione completa con Unified Fabric Manager (UFM) di NVIDIA per provisioning zero-touch, monitoraggio dello stato e failover automatizzato.

Il specifiche del 920-9B210-00FN-0D0 evidenziano inoltre alimentatori dual-redundant, moduli ventola hot-swappable e supporto per configurazioni di subnet manager ridondanti, garantendo una disponibilità del 99,999% per carichi di lavoro mission-critical.

4. Raccomandazioni per l'Implementazione e la Scalabilità

Per le organizzazioni che pianificano di adottare la soluzione OPN switch InfiniBand 920-9B210-00FN-0D0, si raccomandano le seguenti linee guida di implementazione:

• Strategia di cablaggio: Utilizzare cavi DAC OSFP-OSFP per connessioni intra-rack (fino a 3 m) e AOC o transceiver ottici per collegamenti inter-rack e spine-leaf (fino a 100 m). Verificare che tutti i cavi siano compatibili con 920-9B210-00FN-0D0 secondo la matrice di compatibilità NVIDIA per evitare problemi di integrità del segnale.
• Ridondanza: Implementare alimentatori doppi collegati a PDU separate. Utilizzare almeno due switch spine per ogni leaf per eliminare singoli punti di guasto. Per carichi di lavoro mission-critical, considerare la ridondanza N+1 a livello spine.
• Gestione del firmware: Assicurarsi che tutti gli switch eseguano versioni identiche del firmware NVIDIA. Utilizzare la funzione di aggiornamento firmware automatizzato di UFM per aggiornamenti rolling senza downtime. Validare la compatibilità del firmware con gli adattatori host e i cavi prima dell'implementazione.
• Percorso di scalabilità: Per cluster oltre i 4.096 nodi, passare a una topologia folded-Clos a tre livelli o sfruttare dragonfly+ con routing adattivo. Il 920-9B210-00FN-0D0 supporta fino a 64 switch in un singolo fabric, con più fabric interconnessi tramite gateway per distribuzioni più ampie.
• Validazione delle prestazioni: Prima dell'implementazione in produzione, eseguire test di stress completi utilizzando i benchmark di prestazioni OpenFabrics Enterprise Distribution (OFED) per validare le prestazioni del fabric rispetto alle specifiche della scheda tecnica dettagliata 920-9B210-00FN-0D0.

Nel calcolo del costo totale di proprietà, considerare il numero ridotto di livelli di switch e il cablaggio semplificato rispetto ad alternative a radix inferiore. Sebbene il prezzo del 920-9B210-00FN-0D0 per unità sia superiore a quello degli switch HDR, il costo per porta e il costo di rete per GPU sono significativamente inferiori nelle distribuzioni su larga scala, rendendolo una scelta economicamente vantaggiosa per progetti Exascale.

5. Operazioni, Monitoraggio e Risoluzione dei Problemi

Una gestione efficace di un fabric NDR richiede un framework completo di monitoraggio e risoluzione dei problemi. UFM di NVIDIA fornisce un'unica interfaccia per l'intero NVIDIA Mellanox 920-9B210-00FN-0D0, offrendo:

• Visualizzazione della topologia: Scoperta automatica e rappresentazione grafica di tutti gli switch, collegamenti ed endpoint con aggiornamenti di stato in tempo reale.
• Dashboard delle prestazioni: Viste in tempo reale dell'utilizzo delle porte, dei tassi di errore, degli indicatori di congestione e dell'occupazione dei buffer sull'intero fabric.
• Allarmi proattivi: Allarmi basati su soglie per degrado dei collegamenti, anomalie di temperatura, guasti dell'alimentatore e usura dei cavi.
• Isolamento dei guasti: Flussi di lavoro guidati per la risoluzione dei problemi che identificano cavi, transceiver o porte switch difettosi, riducendo il tempo medio di risoluzione (MTTR).
• Analisi storiche: Analisi delle tendenze e pianificazione della capacità basate sui dati storici delle prestazioni, consentendo decisioni di scalabilità proattive.

Per la risoluzione avanzata dei problemi, sfruttare gli strumenti diagnostici integrati dello switch, inclusi test di loopback, analisi BER (bit error rate) e monitoraggio diagnostico dei moduli ottici (DOM). I problemi comuni riscontrati nelle prime implementazioni NDR includono routing subottimale causato da velocità di collegamento non uniformi, tipi di cavi non corrispondenti o incongruenze firmware. L'abilitazione del routing adattivo, la verifica che tutti i collegamenti funzionino a 400 Gb/s con FEC abilitato e la garanzia di un firmware coerente su tutti gli switch risolvono la maggior parte delle anomalie di prestazioni.

Gli ingegneri di rete dovrebbero anche stabilire una linea di base delle specifiche del 920-9B210-00FN-0D0 durante la fase di validazione, inclusi latenza, throughput e tassi di errore previsti. Le deviazioni da questa linea di base possono essere utilizzate come indicatori precoci di potenziali problemi. Il 920-9B210-00FN-0D0 InfiniBand switch OPN supporta inoltre la registrazione completa degli eventi tramite syslog e SNMP, consentendo l'integrazione con gli stack di monitoraggio del data center esistenti.

6. Riepilogo e Valutazione del Valore

Il 920-9B210-00FN-0D0 offre una proposta di valore convincente per le organizzazioni che costruiscono o espandono cluster HPC e AI basati su NDR. Fornisce 64 porte 400Gb/s NDR con latenza inferiore a 100 ns, offload SHARPv3, gestibilità di livello enterprise e piena compatibilità con l'ecosistema HDR esistente, tutto in una piattaforma compatta 1U. I principali punti di valore includono:

• Prestazioni: Riduzione fino al 75% della latenza di comunicazione all-to-all e fino al 40% della latenza all-reduce tramite offload SHARPv3 e larghezza di banda NDR.
• Efficienza dei costi: Costo di rete per GPU inferiore rispetto alle alternative HDR nelle distribuzioni su larga scala, guidato da un radix più elevato e da un numero ridotto di livelli di switch.
• Semplicità operativa: Profonda integrazione con UFM per gestione unificata, provisioning automatizzato, monitoraggio proattivo e rapida risoluzione dei guasti.
• Protezione dell'investimento: Piena compatibilità con cavi, ottiche e stack software HDR esistenti, consentendo aggiornamenti graduali senza interrompere i carichi di lavoro di produzione.
• Scalabilità a prova di futuro: Supporto per topologie folded-Clos a tre livelli e dragonfly+, garantendo che il fabric possa scalare a oltre 8.000 nodi all'aumentare delle esigenze di calcolo.

Per le organizzazioni che valutano il 920-9B210-00FN-0D0 in vendita tramite i partner di canale NVIDIA, si consiglia di consultare la scheda tecnica dettagliata 920-9B210-00FN-0D0 e di collaborare con un architetto di soluzioni certificato per convalidare il progetto per i requisiti specifici del carico di lavoro e della scala. Il NVIDIA Mellanox 920-9B210-00FN-0D0 è pronto per la produzione oggi stesso, offrendo una base di interconnessione scalabile e ad alte prestazioni per la prossima generazione di innovazione AI e HPC.