NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in Practice｜Ottimizzazione dell'interconnessione a bassa latenza per RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in Pratica｜Ottimizzazione dell'interconnessione a bassa latenza per cluster RDMA, HPC e AI

Nell'addestramento AI moderno, nella simulazione HPC e negli ambienti di storage distribuiti, il vero collo di bottiglia raramente è la potenza di calcolo grezza—è l'efficienza dell'interconnessione nodo-nodo. L'NVIDIA Mellanox MQM9790-NS2F, uno switch InfiniBand NDR da 400 Gb/s, è progettato per affrontare esattamente questo livello dello stack. Questo articolo illustra uno scenario di distribuzione rappresentativo per mostrare come il MQM9790-NS2F migliora le prestazioni dei cluster RDMA, HPC e AI attraverso un design di fabric a bassa latenza.

Contesto e Sfide

Un tipico cluster AI di ricerca o aziendale potrebbe consistere in centinaia di server GPU, un file system parallelo e uno scheduler di job che distribuisce carichi di lavoro MPI e NCCL. Con l'avanzare delle generazioni di GPU, ogni nodo può generare molto più traffico est-ovest di quanto un fabric HDR da 200 Gb/s possa assorbire comodamente. I team segnalano comunemente tre punti dolenti: aumento della latenza di coda durante le operazioni collettive, congestione che si diffonde attraverso i livelli del fabric e difficoltà nello scalare il numero di porte senza aggiungere hop.

Per gli architetti di rete, la sfida non è semplicemente l'aggiornamento della velocità del collegamento. Si tratta di preservare il trasporto deterministico e senza perdite mantenendo il fabric sufficientemente piatto da evitare latenze non necessarie. È qui che la valutazione delle specifiche del MQM9790-NS2F rispetto ai profili di carico di lavoro reali diventa essenziale.

Soluzione e Approccio di Distribuzione

In questo scenario, il cluster è stato migrato a un fabric spine-leaf NDR da 400 Gb/s costruito attorno allo switch InfiniBand MQM9790-NS2F. Essendo una piattaforma OSFP MQM9790-NS2F da 400 Gb/s NDR a 64 porte, fornisce un alto grado di radix in un singolo switch, consentendo al design di ridurre i livelli del fabric mantenendo una larghezza di banda non bloccante. La distribuzione ha seguito un approccio strutturato:

• Livello Leaf: gli switch MQM9790-NS2F collegano i nodi GPU e i target di storage tramite collegamenti NDR da 400 Gb/s
• Livello Spine: unità MQM9790-NS2F aggiuntive forniscono connettività inter-leaf e diversità di percorso
• Accelerazione collettiva: NVIDIA SHARPv3 scarica le operazioni MPI e NCCL sul fabric
• Controllo della congestione: routing adattivo e QoS avanzato proteggono da incast e hot spot
• Gestione: strumenti InfiniBand standard e telemetria per il monitoraggio dello stato del fabric

Poiché lo switch InfiniBand MQM9790-NS2F fa parte della famiglia Quantum-2, si interopera con le pratiche di gestione InfiniBand esistenti e gli ecosistemi di adattatori. I team che valutano hardware compatibile con MQM9790-NS2F dovrebbero verificare che gli adattatori host channel, i cavi OSFP e i livelli firmware siano allineati con i requisiti NDR. Una soluzione di switch InfiniBand MQM9790-NS2F di questo tipo viene tipicamente pianificata insieme ai cicli di aggiornamento delle GPU per evitare colli di bottiglia tra generazioni miste.

Risultati e Vantaggi

Dopo la distribuzione, il cambiamento più visibile è stato nel tempo di completamento dei job per carichi di lavoro strettamente accoppiati. Le operazioni collettive che in precedenza si bloccavano a causa della congestione ora si completano con una latenza di coda inferiore e più coerente. La densità OSFP a 64 porte ha anche semplificato il cablaggio e ridotto il numero di hop di switching tra due endpoint qualsiasi, il che avvantaggia direttamente le prestazioni RDMA.

Da una prospettiva operativa, il fabric è diventato più facile da ragionare. Meno livelli significano meno domini di errore e una risoluzione dei problemi più semplice. Il traffico di storage, incluso NVMe over Fabrics, condivide lo stesso trasporto a bassa latenza del traffico di calcolo, il che migliora l'utilizzo complessivo del cluster. Per i responsabili IT, il punto chiave è che investire a livello di fabric può sbloccare la capacità già pagata a livello di calcolo.

I team di approvvigionamento e pianificazione spesso esaminano la scheda tecnica del MQM9790-NS2F per confermare il numero di porte, i requisiti di alimentazione e raffreddamento prima di finalizzare un progetto. Le domande sul prezzo del MQM9790-NS2F e sulla disponibilità del MQM9790-NS2F in vendita sono meglio indirizzate ai distributori autorizzati e ai rappresentanti aziendali NVIDIA, poiché il prezzo dipende dalla configurazione, dal supporto e dalla regione. 

Riepilogo e Prospettive

L'NVIDIA Mellanox MQM9790-NS2F dimostra come una piattaforma NDR ad alto grado di radix da 400 Gb/s possa rimodellare le prestazioni dei cluster AI, HPC e RDMA senza aggiungere complessità al fabric. Man mano che i carichi di lavoro scalano e la densità delle GPU aumenta, lo switching InfiniBand a bassa latenza rimarrà un investimento fondamentale. Per gli architetti che pianificano il prossimo aggiornamento del fabric, il MQM9790-NS2F è un blocco di costruzione pratico per un'interconnessione deterministica ad alta produttività.