NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Soluzione tecnica

Soluzione Tecnica Switch InfiniBand NVIDIA Mellanox MQM9790-NS2F｜Ottimizzazione dell'Interconnessione a Bassa Latenza per Cluster RDMA, HPC e AI

Contesto del Progetto e Analisi dei Requisiti

I moderni data center che supportano l'addestramento di modelli AI su larga scala, le simulazioni HPC e lo storage distribuito stanno migrando rapidamente da HDR a 200 Gb/s a NDR a 400 Gb/s. La principale tensione per gli architetti di rete è che la densità dei nodi GPU continua ad aumentare, mentre la latenza e il jitter della comunicazione inter-nodo diventano il fattore limitante per l'efficienza del cluster. Un singolo hop congestionato o un livello di fabric mal configurato possono ridurre l'utilizzo effettivo della GPU su centinaia di nodi.

I requisiti tipici per un progetto di questo tipo includono latenza deterministica bassa per le operazioni collettive, trasporto lossless per RDMA e NVMe over Fabrics, alta radix per mantenere la fabric piatta e un chiaro percorso di aggiornamento che protegga gli investimenti esistenti. NVIDIA Mellanox MQM9790-NS2F si posiziona per soddisfare questi requisiti come switch InfiniBand NDR a 400 Gb/s all'interno della famiglia Quantum-2.

Progettazione Complessiva dell'Architettura di Rete e di Sistema

L'architettura raccomandata è una fabric InfiniBand spine-leaf a due livelli costruita interamente su collegamenti NDR. Gli switch leaf collegano server GPU, target di storage e nodi di gestione, mentre gli switch spine forniscono connettività inter-leaf e diversità di percorso. Questo design mantiene basso il numero di hop e garantisce una larghezza di banda non bloccante per il traffico est-ovest, che domina i carichi di lavoro AI e HPC.

A livello di endpoint, gli adattatori host channel operano in modalità RDMA, consentendo trasferimenti da memoria a memoria senza intervento della CPU. La fabric stessa gestisce il controllo della congestione, il routing adattivo e l'accelerazione collettiva. Il traffico di gestione e telemetria condivide la stessa infrastruttura fisica ma è isolato tramite policy QoS, in modo che il monitoraggio non interferisca con i carichi di lavoro di produzione.

I principi chiave di progettazione includono:

• Topologia piatta per minimizzare la latenza e semplificare la risoluzione dei problemi
• Collegamenti non bloccanti o a bassa sovrascrizione tra i livelli
• NDR coerente end-to-end per evitare colli di bottiglia tra generazioni diverse
• Percorsi ridondanti per alta disponibilità e bilanciamento del carico
• Gestione InfiniBand standard per coerenza operativa

Ruolo e Caratteristiche Chiave di NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F funge da blocco di costruzione di questa fabric. Come switch OSFP MQM9790-NS2F 400 Gb/s NDR a 64 porte, offre un'alta densità di porte in una singola unità, consentendo agli architetti di progettare una rete più piatta con meno livelli. Ogni porta OSFP può operare a velocità NDR e la configurazione a 64 porte supporta ruoli leaf e spine ad alta radix.

Per i team che esaminano le specifiche di MQM9790-NS2F, la piattaforma supporta NVIDIA SHARPv3 per l'accelerazione collettiva, il controllo avanzato della congestione e il routing adattivo. Queste funzionalità mirano direttamente alla latenza di coda e ai problemi di incast comuni nei carichi di lavoro di addestramento AI e MPI. Lo switch InfiniBand MQM9790-NS2F si integra anche con gli strumenti di gestione InfiniBand standard, riducendo la curva di apprendimento operativa.

Quando si pianifica una soluzione switch InfiniBand MQM9790-NS2F, gli architetti dovrebbero confermare i componenti compatibili con MQM9790-NS2F, inclusi cavi OSFP, adattatori host channel e versioni del firmware. La revisione della scheda tecnica di MQM9790-NS2F nelle prime fasi di progettazione aiuta a convalidare i requisiti di alimentazione, raffreddamento e spazio rack prima dell'acquisto.

Raccomandazioni per l'Implementazione e la Scalabilità

Un'implementazione tipica inizia con un pod pilota di 32-64 nodi GPU collegati a una coppia di switch leaf MQM9790-NS2F. La connettività spine viene aggiunta man mano che il cluster cresce, utilizzando unità MQM9790-NS2F aggiuntive per mantenere una larghezza di banda non bloccante. Questo approccio incrementale consente la validazione della latenza e della throughput prima del rollout su larga scala.

Per la scalabilità, la pratica raccomandata è mantenere la fabric simmetrica: aggiungere capacità leaf e spine in incrementi abbinati in modo che i rapporti di sovrascrizione rimangano prevedibili. La gestione dei cavi e l'etichettatura delle porte dovrebbero essere standardizzate fin dall'inizio, poiché le implementazioni OSFP ad alta densità possono diventare difficili da mantenere se il layout fisico è incoerente.

La tabella seguente riassume una considerazione rappresentativa per un design a due livelli:

Operazioni, Monitoraggio, Risoluzione dei problemi e Ottimizzazione

Il successo operativo dipende dalla visibilità. Le fabric InfiniBand forniscono contatori per errori di collegamento, eventi di congestione e utilizzo del buffer. Questi dovrebbero essere raccolti continuamente e correlati con i dati dello scheduler dei job, in modo che le regressioni delle prestazioni possano essere ricondotte a segmenti specifici della fabric piuttosto che essere ipotizzate.

Scenari comuni di risoluzione dei problemi includono credit stall, QoS mal configurato e mismatch di firmware tra switch e adattatori. Una checklist strutturata—verifica velocità del collegamento, controllo contatori errori, conferma policy di routing, ispezione telemetria congestione—può ridurre il tempo medio di risoluzione. Gli sforzi di ottimizzazione dovrebbero concentrarsi sulla latenza di coda piuttosto che sulla throughput media, poiché i carichi di lavoro AI e HPC sono sensibili al comportamento nel caso peggiore.

Per la pianificazione degli acquisti e del ciclo di vita, i team confrontano spesso il prezzo di MQM9790-NS2F e le opzioni di MQM9790-NS2F in vendita attraverso canali autorizzati. Il prezzo dipende dalla configurazione, dal livello di supporto e dalla regione, pertanto si raccomanda un coinvolgimento anticipato con i distributori e i rappresentanti aziendali NVIDIA.

NVIDIA Mellanox MQM9790-NS2F fornisce una base NDR ad alta radix a 400 Gb/s per l'interconnessione di cluster RDMA, HPC e AI. Riducendo i livelli della fabric, supportando l'accelerazione collettiva e abilitando il trasporto lossless a bassa latenza, affronta i colli di bottiglia delle prestazioni che limitano l'efficienza reale del cluster. Per architetti di rete e ingegneri pre-vendita, rappresenta un blocco di costruzione pratico e scalabile per le fabric InfiniBand di prossima generazione.