NVIDIA Mellanox MQM9790-NS2F in Azione: Costruzione di un Fabric RDMA a Bassa Latenza per Cluster AI e HPC

NVIDIA Mellanox MQM9790-NS2F in Azione: Costruire un Fabric RDMA a Bassa Latenza per Cluster AI e HPC

Contesto e La Sfida: Quando lo Scale-Out Diventa il Collo di Bottiglia

Man mano che i modelli linguistici di grandi dimensioni scalano da migliaia a decine di migliaia di GPU e le simulazioni meteorologiche si spingono verso una risoluzione su scala chilometrica, i limiti dei tradizionali fabric Ethernet diventano palesemente evidenti. In questi ambienti, i pattern di comunicazione collettiva MPI — come all-reduce e all-to-all — impongono richieste estreme sulla latenza di rete e sul controllo della congestione. Senza un interconnessione appositamente costruita, anche i nodi di calcolo più potenti trascorrono una porzione significativa dei loro cicli in attesa di dati, sprecando di fatto costose risorse GPU.

Questa è precisamente la sfida che il NVIDIA Mellanox MQM9790-NS2F affronta. Essendo uno switch InfiniBand NDR da 400 Gb/s con 64 porte OSFP, è progettato per fornire una latenza deterministica, inferiore al microsecondo, su migliaia di endpoint, consentendo uno scaling lineare reale per i carichi di lavoro distribuiti.

Soluzione e Implementazione: Un Fabric Leaf-Spine Costruito per RDMA

In un tipico scenario di implementazione per un grande laboratorio di ricerca AI, lo switch InfiniBand MQM9790-NS2F costituisce il nucleo di una topologia leaf-spine a due livelli. A livello leaf, ogni rack di calcolo è dotato di una o due unità MQM9790-NS2F, che forniscono 64 porte di connettività a 400 Gb/s ai server GPU tramite cavi in rame direct-attach OSFP-to-OSFP o cavi ottici attivi. A livello spine, ulteriori switch MQM9790-NS2F interconnettono i leaf, creando un fabric fat-tree non bloccante con larghezza di banda di bisezione completa.

Ciò che rende questa soluzione particolarmente convincente è il supporto nativo dello switch per RDMA over Converged Ethernet (RoCE) quando opera in modalità InfiniBand — sebbene qui sfrutti le capacità RDMA native di InfiniBand per una latenza ancora inferiore e un offload della CPU. Il MQM9790-NS2F 400Gb/s NDR 64-port OSFP integra la tecnologia SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) di NVIDIA, che scarica le operazioni collettive direttamente sul fabric dello switch. In pratica, ciò significa che un'operazione all-reduce che normalmente attraverserebbe la rete più volte viene ora completata in un unico passaggio, riducendo i tempi di completamento dei job fino al 30% per i carichi di lavoro intensivi in termini di comunicazione.

Per gli architetti di rete che valutano la soluzione switch InfiniBand MQM9790-NS2F, il processo di implementazione è semplificato dall'Unified Fabric Manager (UFM) di NVIDIA. UFM fornisce visibilità centralizzata sullo stato del fabric, scoperta automatica della topologia e monitoraggio proattivo della congestione — capacità critiche quando si gestiscono fabric con oltre 2.000 porte. I primi adottanti hanno riferito che l'ecosistema MQM9790-NS2F compatibile, che include una vasta gamma di cavi e transceiver certificati NVIDIA, semplifica l'approvvigionamento e riduce il rischio di implementazione.

Risultati e Guadagni Misurabili: Dalla Teoria alla Realtà Produttiva

In una recente implementazione produttiva per un cluster da 2.048 GPU dedicato all'addestramento di modelli transformer su larga scala, l'aggiornamento dall'infrastruttura HDR (200 Gb/s) a NDR (400 Gb/s) — con il NVIDIA Mellanox MQM9790-NS2F al suo centro — ha prodotto miglioramenti misurabili su più dimensioni:

• Riduzione del tempo di completamento del job: Le iterazioni di addestramento end-to-end per un modello da 175B parametri sono diminuite del 28%, in gran parte attribuite all'offload SHARPv3 e alla ridotta latenza di coda.
• Utilizzo della rete: L'utilizzo medio del fabric è aumentato dal 62% all'89% senza innescare un collasso della congestione, grazie ai meccanismi avanzati di routing adattivo e controllo della congestione dello switch.
• Semplicità operativa: Con 64 porte per switch, il numero di switch spine richiesti è stato dimezzato rispetto a un design HDR a 32 porte, riducendo significativamente la complessità del cablaggio e il consumo energetico per rack.

Secondo le specifiche MQM9790-NS2F, lo switch offre una latenza porta-a-porta inferiore a 100 ns e supporta fino a 51,2 Tb/s di capacità di switching aggregata — cifre che si allineano strettamente alle prestazioni osservate in questa implementazione. Gli ingegneri di rete hanno anche notato che il datasheet MQM9790-NS2F rifletteva accuratamente le prestazioni reali, senza sorprese durante la fase di validazione.

Dal punto di vista del TCO, la capacità di consolidare più endpoint per livello di switch ha ridotto direttamente la spesa in conto capitale. Sebbene i punti di prezzo MQM9790-NS2F iniziali siano più alti rispetto alle soluzioni equivalenti da 200 Gb/s, il costo di rete per GPU è effettivamente diminuito grazie alla maggiore radix e al ridotto numero di livelli di switch. Questo vantaggio economico, unito ai guadagni di prestazioni, ha reso chiaro il caso d'affari per il comitato direttivo del laboratorio.

Riepilogo e Prospettive: Le Fondamenta NDR per il Calcolo Exascale

Il NVIDIA Mellanox MQM9790-NS2F è più di un aggiornamento incrementale — rappresenta un cambiamento fondamentale nel modo in cui vengono progettati i cluster HPC e AI. Fornendo larghezza di banda NDR da 400 Gb/s, densità di 64 porte e accelerazione del calcolo in-network in un unico fattore di forma 1U, consente agli architetti di costruire fabric che scalano a decine di migliaia di endpoint senza sacrificare prestazioni o gestibilità.

Guardando al futuro, poiché i carichi di lavoro continuano a richiedere maggiore larghezza di banda e minore latenza, lo switch InfiniBand MQM9790-NS2F servirà come blocco fondamentale per i sistemi exascale di prossima generazione. La sua compatibilità con le piattaforme NVIDIA Quantum-2 esistenti e la perfetta integrazione con UFM garantiscono un percorso di migrazione agevole per le organizzazioni che aggiornano dai fabric HDR. Per i responsabili IT e gli architetti che valutano i loro investimenti di rete di prossima generazione, l'MQM9790-NS2F offre una soluzione comprovata e pronta per la produzione che mantiene la promessa di ottimizzazione dell'interconnessione RDMA a bassa latenza.