NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Soluzione tecnica

Questo white paper tecnico è destinato ad architetti di rete, ingegneri pre-vendita e responsabili delle operazioni. Si concentra sul  Il — uno switch InfiniBand NDR da 400 Gb/s — e fornisce indicazioni dettagliate sulla progettazione dell'architettura, sulle tecnologie chiave, sul deployment e sullo scaling, nonché sulle operazioni e sul monitoraggio, specificamente per l'ottimizzazione dell'interconnessione a bassa latenza per cluster RDMA/HPC/AI.

1. Contesto del Progetto e Analisi dei Requisiti

I moderni carichi di lavoro di training AI e HPC stanno spingendo i cluster da migliaia a decine di migliaia di GPU. In tali ambienti, l'interconnessione di rete è diventata un collo di bottiglia primario. I tradizionali fabric Ethernet faticano con la latenza di coda e l'overhead della CPU, mentre le implementazioni legacy di InfiniBand potrebbero mancare di densità di porte e larghezza di banda sufficienti. I requisiti chiave includono una latenza di switching inferiore al microsecondo, inoltro a piena velocità di linea senza perdita di pacchetti, supporto RDMA efficiente e scalabilità senza interruzioni a centinaia di switch. Il NVIDIA Mellanox MQM9790-NS2F risponde direttamente a queste esigenze con la sua capacità NDR da 400 Gb/s e le funzionalità avanzate di calcolo in-network.

2. Progettazione dell'Architettura di Rete e di Sistema Complessiva

L'architettura raccomandata adotta una topologia Fat-Tree a due livelli (nota anche come Clos piegato), che bilancia larghezza di banda di bisezione, costi e scalabilità. A livello leaf, i server GPU dotati di adattatori ConnectX-7 NDR si connettono agli switch leaf. A livello spine, le unità MQM9790-NS2F InfiniBand switch forniscono connettività non bloccante tra i leaf. Questo design garantisce una larghezza di banda di bisezione completa: qualsiasi switch leaf può comunicare con qualsiasi altro leaf alla velocità del cavo. Per cluster su larga scala, è possibile implementare una topologia a tre livelli (leaf-spine-super-spine), che supporta fino a decine di migliaia di nodi GPU.

• Switch Leaf: Modelli OSFP a 64 porte, ciascuno collegato a 32 server (doppia porta) più uplink agli spine.
• Livello Spine: Switch MQM9790-NS2F 400Gb/s NDR a 64 porte OSFP
• , con ogni porta che funge da uplink da un leaf. Un design completamente non bloccante richiede un numero di porte spine pari al numero di switch leaf.Gestione Subnet:

Un gestore di subnet dedicato o ridondante gestisce il calcolo dei percorsi, il routing adattivo e il failover.

3. Ruolo e Caratteristiche Chiave del NVIDIA Mellanox MQM9790-NS2F nella Soluzione Il MQM9790-NS2F

• offre diverse funzionalità critiche:Prestazioni NDR a 400 Gb/s a piena velocità di linea:
• Ciascuna delle 64 porte OSFP opera a piena duplice 400 Gb/s, fornendo una capacità di switching aggregata di 51,2 Tb/s.Latenza ultra-bassa e routing adattivo:
• Lo switching cut-through mantiene la latenza porta-a-porta inferiore a 130 ns. Il routing adattivo bilancia dinamicamente il traffico su più percorsi, evitando hot spot.Calcolo in-network (SHARPv3):
• Supporta l'aggregazione e la riduzione gerarchica scalabile, scaricando le operazioni collettive dalla CPU/GPU e riducendo il movimento dei dati fino a 10 volte.Design nativo RDMA:
• RDMA accelerato dall'hardware abilita l'accesso diretto alla memoria della GPU, eliminando il coinvolgimento della CPU e riducendo drasticamente l'overhead di comunicazione.Telemetria e QoS completi:

Controllo della congestione granulare, monitoraggio dei buffer e classificazione dei flussi garantiscono prestazioni deterministiche per carichi di lavoro misti. offre un percorso chiaro per la costruzione di fabric a bassa latenza e ad alta larghezza di banda per cluster RDMA/HPC/AI esigenti. La sua densità di 64 porte da 400 Gb/s, la commutazione sub-microsecondo e le capacità di calcolo in-network affrontano direttamente le sfide di scalabilità e prestazioni dei carichi di lavoro moderni. Adottando l'architettura sopra delineata — topologia Fat-Tree, switch core NDR e operatività nativa RDMA — le organizzazioni possono ottenere uno scaling lineare delle GPU, ridurre i tempi di completamento dei job di oltre il 30% e semplificare la gestione del fabric. Per una pianificazione dettagliata, fare riferimento al datasheet MQM9790-NS2F

, lo switch supporta anche alimentatori e ventole hot-swap, porte di gestione ridondanti e una suite completa di diagnostica, rendendolo adatto per ambienti di produzione 7x24.

4. Raccomandazioni per il Deployment e lo Scaling (con Topologia Tipica)Un tipico cluster da 2.048 GPU può essere costruito utilizzando 64 switch leaf e 32 switch spine. Ogni leaf si collega a 32 server GPU (doppia porta) e fornisce 32 uplink agli spine. Il livello spine è costituito da unità compatibili MQM9790-NS2F

che eseguono ottiche NDR o cavi DAC. Per l'espansione a 8.192 GPU, viene aggiunto un livello super-spine, che interconnette più pod.

• Durante lo scaling, considerare quanto segue:Cablaggio e ottiche: Utilizzare DAC OSFP-to-OSFP per collegamenti intra-rack brevi e cavi breakout OSFP-to-4xOSFP o moduli ottici per distanze maggiori. Verificare la compatibilità con le specifiche MQM9790-NS2F
• in merito a portata e budget di potenza.Dimensionamento Subnet:
• Un singolo gestore di subnet può gestire fino a 2.000 nodi; oltre tale limite, implementare più subnet o utilizzare un design di gestore di subnet distribuito.Ridondanza:La soluzione switch InfiniBand MQM9790-NS2F

supporta il failover senza interruzioni con una corretta configurazione SM.

5. Operazioni, Monitoraggio, Troubleshooting e Ottimizzazione

• Operazioni efficaci richiedono visibilità e automazione. Si raccomandano le seguenti pratiche:Monitoraggio:
• Utilizzare Fabric Manager e le API di telemetria di NVIDIA per monitorare errori delle porte, temperatura, consumo energetico e utilizzo dei link. Impostare avvisi per errori CRC o errori di simbolo che superano le soglie.Troubleshooting: Il MQM9790-NS2F
• fornisce contatori per porta, istogrammi di occupazione dei buffer e log di congestione. In caso di degrado delle prestazioni, verificare la configurazione del routing adattivo, assicurarsi che tutti i link del fabric siano simmetrici e verificare che l'aggregazione SHARP sia abilitata per i collettivi supportati.Ottimizzazione: ufficiale e alle guide di compatibilità. Per discutere una progettazione personalizzata o ottenere il prezzo MQM9790-NS2F

rispetto ai compromessi prestazionali durante la pianificazione di aggiunte di capacità — spesso, l'aggiornamento degli spine offre un ROI migliore rispetto all'aggiunta di più leaf.Per le organizzazioni che valutano MQM9790-NS2F in vendita

, assicurarsi che lo stack software (ad esempio, NCCL, OpenMPI) supporti le funzionalità NDR come SHARPv3 e la riduzione basata su hardware.

6. Riepilogo e Valutazione del ValoreLa soluzione switch InfiniBand MQM9790-NS2F offre un percorso chiaro per la costruzione di fabric a bassa latenza e ad alta larghezza di banda per cluster RDMA/HPC/AI esigenti. La sua densità di 64 porte da 400 Gb/s, la commutazione sub-microsecondo e le capacità di calcolo in-network affrontano direttamente le sfide di scalabilità e prestazioni dei carichi di lavoro moderni. Adottando l'architettura sopra delineata — topologia Fat-Tree, switch core NDR e operatività nativa RDMA — le organizzazioni possono ottenere uno scaling lineare delle GPU, ridurre i tempi di completamento dei job di oltre il 30% e semplificare la gestione del fabric. Per una pianificazione dettagliata, fare riferimento al datasheet MQM9790-NS2F ufficiale e alle guide di compatibilità. Per discutere una progettazione personalizzata o ottenere il prezzo MQM9790-NS2F