NVIDIA Mellanox MQM9790-NS2F Riferimento tecnico: Ottimizzazione delle interconnessioni a bassa latenza per cluster RDMA/HPC/AI

Riferimento Tecnico NVIDIA Mellanox MQM9790-NS2F: Ottimizzazione dell'Interconnessione a Bassa Latenza per Cluster RDMA/HPC/AI

1. Contesto del Progetto e Analisi dei Requisiti

I moderni carichi di lavoro di training AI e simulazione HPC sono caratterizzati da schemi di comunicazione intensi, all-to-all, che pongono richieste estreme sul fabric di rete sottostante. Man mano che i cluster GPU scalano oltre i 1.000 nodi, l'approccio tradizionale di affidarsi a Ethernet con controllo della congestione basato su software si rivela insufficiente. I requisiti chiave emergenti da questi ambienti includono:

• Latenza deterministica ultra-bassa: Latenza porta-a-porta sub-microsecondo per minimizzare i tempi di completamento dei job MPI.
• Fabric lossless: Zero perdite di pacchetti in condizioni di congestione per prevenire TCP incast e collasso delle prestazioni.
• Offload di calcolo in-network: Riduzione dell'overhead della CPU host per operazioni collettive (es. all-reduce, broadcast).
• Topologia scalabile: Supporto per topologie fat-tree e dragonfly+ con larghezza di banda di bisezione completa fino a migliaia di endpoint.

Il NVIDIA Mellanox MQM9790-NS2F è progettato per soddisfare queste esigenze come switch InfiniBand NDR da 400 Gb/s con 64 porte OSFP, offrendo la densità e le prestazioni richieste per implementazioni di classe exascale.

2. Progettazione Architettonica Generale della Rete

La soluzione proposta impiega una topologia leaf-spine a due livelli, che offre un equilibrio tra scalabilità, controllo dell'oversubscription e semplicità di cablaggio. A livello leaf, ogni rack di calcolo ospita una o due unità MQM9790-NS2F InfiniBand switch, fornendo 64 porte di connettività a 400 Gb/s ai server GPU. A livello spine, un secondo livello di switch MQM9790-NS2F interconnette tutti i leaf, creando un fabric non bloccante.

Per implementazioni su larga scala superiori a 2.000 nodi GPU, è possibile adottare un'architettura folded-Clos a tre livelli, con il MQM9790-NS2F 400Gb/s NDR 64-port OSFP che funge sia da leaf che da spine per mantenere prestazioni costanti a tutti i livelli. Questo design garantisce che qualsiasi server possa comunicare con qualsiasi altro server alla velocità di linea, con un massimo di tre hop di switch.

La seguente tabella riassume i parametri di scalabilità tipici per un fabric leaf-spine a 2 livelli basato sul MQM9790-NS2F:

3. Ruolo e Caratteristiche Chiave del NVIDIA Mellanox MQM9790-NS2F

All'interno di questa architettura, il NVIDIA Mellanox MQM9790-NS2F funge da blocco fondamentale, fornendo diverse capacità critiche:

• 400 Gb/s NDR per porta: Ciascuna delle 64 porte OSFP supporta 400 Gb/s bidirezionali, con forward error correction (FEC) per una connettività affidabile a lungo raggio.
• SHARPv3 integrato (Scalable Hierarchical Aggregation and Reduction Protocol): Scarica le operazioni di comunicazione collettiva dalle CPU host, riducendo la latenza di MPI all-reduce fino al 40% nei job su larga scala.
• Routing adattivo e controllo della congestione: Rerutta dinamicamente il traffico per evitare hotspot, garantendo prestazioni prevedibili anche in presenza di pattern di traffico avversi.
• Telemetria avanzata: Contatori per flusso e per porta, insieme al monitoraggio dell'occupazione dei buffer, forniscono una profonda visibilità sullo stato del fabric.

Secondo il datasheet MQM9790-NS2F, lo switch offre una latenza cut-through inferiore a 100 ns e supporta fino a 51,2 Tb/s di capacità di switching aggregata. Queste specifiche lo rendono una scelta ideale sia per implementazioni nuove che per aggiornamenti graduali da infrastrutture HDR (200 Gb/s).

4. Raccomandazioni per l'Implementazione e la Scalabilità

Per le organizzazioni che pianificano di adottare la soluzione switch InfiniBand MQM9790-NS2F, si raccomandano le seguenti linee guida di implementazione:

• Strategia di cablaggio: Utilizzare cavi DAC (Direct Attach Copper) OSFP-to-OSFP per le connessioni intra-rack (fino a 3 m) e cavi ottici attivi (AOC) o transceiver ottici per i collegamenti inter-rack e spine-leaf (fino a 100 m).
• Ridondanza: Implementare alimentatori doppi e moduli ventola hot-swappable. Collegare ciascun alimentatore a PDU separate per la tolleranza ai guasti.
• Coerenza del firmware: Assicurarsi che tutti gli switch eseguano la stessa versione del firmware NVIDIA per evitare discrepanze nelle funzionalità. Utilizzare la funzione di aggiornamento automatico del firmware di UFM per aggiornamenti rolling.
• Scalabilità: Per cluster oltre i 4.000 nodi, considerare una topologia folded-Clos a tre livelli o dragonfly+ con routing adattivo abilitato. L'ecosistema compatibile con MQM9790-NS2F include un'ampia gamma di ottiche e cavi per supportare queste topologie.

Nel calcolo del costo totale di proprietà, considerare il numero ridotto di livelli di switch e la semplificazione del cablaggio rispetto ad alternative a radix inferiore. Sebbene il prezzo MQM9790-NS2F per unità sia superiore rispetto agli switch di generazione precedente, il costo per porta e il costo di rete per GPU sono significativamente inferiori nelle implementazioni su larga scala, rendendolo una scelta economicamente vantaggiosa per progetti Exascale.

5. Operazioni, Monitoraggio e Risoluzione dei Problemi

Una gestione efficace di un fabric NDR richiede un framework completo di monitoraggio e risoluzione dei problemi. Unified Fabric Manager (UFM) di NVIDIA fornisce un'unica interfaccia per l'intero fabric basato su NVIDIA Mellanox MQM9790-NS2F, offrendo:

• Visualizzazione della topologia: Scoperta automatica e rappresentazione grafica di tutti gli switch, collegamenti ed endpoint.
• Dashboard delle prestazioni: Viste in tempo reale dell'utilizzo delle porte, dei tassi di errore e degli indicatori di congestione.
• Allarmi proattivi: Allarmi basati su soglie per degrado dei collegamenti, anomalie di temperatura e guasti agli alimentatori.
• Isolamento dei guasti: Flussi di lavoro guidati per la risoluzione dei problemi che identificano cavi, transceiver o porte switch difettosi.

Per la risoluzione avanzata dei problemi, le specifiche MQM9790-NS2F includono il monitoraggio dettagliato dei buffer e statistiche a livello di flusso che possono essere esportate tramite l'API REST per l'integrazione con stack di monitoraggio personalizzati. Gli ingegneri di rete dovrebbero anche sfruttare gli strumenti diagnostici integrati dello switch, come i test di loopback e l'analisi BER (bit error rate), per convalidare l'integrità dei collegamenti prima di implementare carichi di lavoro di produzione.

Problemi comuni riscontrati durante le prime implementazioni includono routing subottimale causato da velocità di collegamento non uguali o tipi di cavi non corrispondenti. L'abilitazione del routing adattivo e la verifica che tutti i collegamenti funzionino a 400 Gb/s (con FEC abilitato) risolvono la maggior parte delle anomalie di prestazioni. La soluzione switch InfiniBand MQM9790-NS2F include anche il supporto per la ridondanza del subnet manager, garantendo che la riconfigurazione del fabric possa avvenire senza intervento manuale in caso di guasto di un nodo di gestione.

6. Riepilogo e Valutazione del Valore

Il MQM9790-NS2F rappresenta un significativo avanzamento nelle reti ad alte prestazioni, offrendo larghezza di banda NDR a 400 Gb/s, densità a 64 porte e accelerazione del calcolo in-network in un'unica piattaforma gestibile 1U. Per architetti e ingegneri che progettano cluster AI e HPC, questo switch fornisce un percorso comprovato verso prestazioni exascale, consentendo:

• Riduzione fino al 30% nei tempi di completamento dei job per carichi di lavoro di training su larga scala tramite offload SHARPv3.
• TCO inferiore rispetto a soluzioni alternative, guidato da un radix più elevato e da un numero ridotto di livelli di switch.
• Operazioni semplificate tramite integrazione UFM e telemetria completa per la gestione proattiva dei guasti.
• Scalabilità a prova di futuro per supportare interconnessioni GPU e acceleratori di prossima generazione.

Per le organizzazioni che valutano il MQM9790-NS2F in vendita tramite la rete di partner NVIDIA, si consiglia di consultare il datasheet MQM9790-NS2F dettagliato e di collaborare con un architetto di soluzioni certificato per personalizzare l'implementazione in base ai requisiti specifici del carico di lavoro e della scala. Il NVIDIA Mellanox MQM9790-NS2F è pronto ora per fungere da backbone di interconnessione ad alte prestazioni per il prossimo decennio di scoperte scientifiche e innovazione AI.