Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Soluzione tecnica

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Soluzione tecnica ¢ Ottimizzazione dell'interconnessione a bassa latenza per cluster RDMA/HPC/AI

Questo white paper tecnico presenta un'architettura di soluzioni completa incentrata sulMellanox (NVIDIA Mellanox) MQM9790-NS2FIl documento, rivolto agli architetti di rete, agli ingegneri pre-vendite e ai responsabili delle operazioni, illustra in dettaglio come ilMQM9790-NS2Foffre latenza deterministica ultra-bassa, RDMA senza perdite e larghezza di banda scalabile per infrastrutture HPC e AI di prossima generazione.migliori pratiche operative, e la convalida delle prestazioni.

1. Analisi del contesto e dei requisiti del progetto

La moderna formazione dell'IA e i carichi di lavoro di simulazione scientifica richiedono tessuti di rete in grado di sostenere massicci modelli di comunicazione all-reduce, all-gather e point-to-point con jitter sub-microsecondi.Soluzioni tradizionali basate su Ethernet, anche con RoCEv2, introducono complessità nella gestione della congestione, nella sintonizzazione PFC e nel controllo della latenza della coda, portando spesso a un utilizzo inefficiente della GPU e tempi di completamento imprevedibili.

I requisiti chiave identificati nei tipici progetti HPC/AI includono:

• L'intervallo di latenza di fine a fine < 1 μs (interruttore da porta a porta) a pieno carico
• Tessuto senza perdite con zero gocce di pacchetto a causa della congestione
• Scalabilità da 64 a oltre 2.000 nodi GPU senza modifiche architettoniche
• Operazioni semplificate grazie a una ricca telemetria e al recupero automatizzato dei guasti

IlNVIDIA Mellanox MQM9790-NS2FRisponde direttamente a queste richieste integrando la tecnologia NDR 400 Gb/s, il routing adattivo e il calcolo in rete in una piattaforma OSFP da 1U e 64 porte.

2. Progettazione complessiva dell'architettura di rete / sistema

L'architettura raccomandata adotta una topologia a due livelli di spina dorsale delle foglie (o fat-tree) per fornire una larghezza di banda di bisezione completa e un'elevata resilienza.con due caselle per ogni scaffaleMQM9790-NS2F InfiniBand switchIl livello spina dorsale aggrega il traffico da tutti gli switch di pagina, garantendo una comunicazione non bloccante tra due endpoint.

IlMQM9790-NS2F 400Gb/s NDR OSFP a 64 porteper un cluster 1.024-GPU, la funzione di switch è di fornire un hardware uniforme in tutto il tessuto, semplificando la conservazione e la manutenzione.un design tipico utilizza 16 switch a foglia (ciascuno connesso a 64 GPU) e 8 switch a spina dorsaleIl tessuto supporta sia le topologie fat-tree che Dragonfly+, con routing adattivo che bilancia dinamicamente il traffico su più percorsi.

3. Ruolo e caratteristiche chiave delMellanox (NVIDIA Mellanox) MQM9790-NS2Fnella soluzione

IlNVIDIA Mellanox MQM9790-NS2Fè la pietra angolare di questa soluzione, fornendo:

• 64 porte OSFPciascuno operante a 400 Gb/s (NDR) ‡ capacità di commutazione aggregata di 25,6 Tb/s, con una latenza di taglio inferiore a 600 ns.
• Routing adattivo- seleziona dinamicamente il percorso meno congestionato per pacchetto, evitando collegamenti hotspot e mantenendo una latenza costante anche in condizioni di traffico asimmetrico.
• SHARPv3 (Protocollo di aggregazione e riduzione gerarchica scalabile) riduce il carico della comunicazione collettiva (all-reduce, broadcast) dalle CPU host, riducendo la chatter della rete e accelerando la formazione dell'IA fino al 20­30%.
• Informatica in reteSupporta la riduzione dei dati, la segmentazione e persino le operazioni MPI su piccola scala direttamente sul switch, liberando preziose risorse GPU per il calcolo.
• Telemetria e gestione della congestione- monitoraggio avanzato integrato, compresi contatori per flusso, istogrammi di occupazione del buffer e metriche di latenza a livello di percorso, tutti esportabili tramite UFM o API REST.

Queste capacità consentono diMQM9790-NS2F Soluzione di commutazione InfiniBandL'obiettivo è quello di fornire prestazioni deterministiche su scala, come convalidato da benchmark interni e implementazioni dei clienti.Le specifiche MQM9790-NS2Fincludere anche il supporto sia per i DAC in rame passivo che per i moduli ottici attivi, fornendo flessibilità per distanze fino a 100 m (con l'ottica SR4 400G) e oltre.

4. Raccomandazioni per la distribuzione e la scalabilità (topologia tipica)

Per un'implementazione in campo verde, si raccomanda l'approccio graduale seguente:

• Fase 1 ¢ pilota:Impiegare 2 interruttori a foglia (ciascunoMQM9790-NS2FPer verificare le prestazioni rispetto alFogli di dati MQM9790-NS2Fparametri.
• Fase 2  Scale-out:Aggiungere gli interruttori a foglia in incrementi di 2 per rack e gli interruttori a spina dorsale se necessario per mantenere l'eccesso di sottoscrizione ≤ 1:1La densità di 64 porte consente a un singolo switch di ospitare un rack completo di 64 nodi GPU (se ogni nodo ha un singolo uplink 400G).
• Fase 3 Multipiano:Per i cluster superiori a 2.000 nodi, applicare più tessuti indipendenti (ad esempio, piani 2× o 4×) con bilanciamento del carico basato sul percorso,sfruttando il supporto dello switch per corsie virtuali e chiavi di partizione.

Il cablaggio tipico utilizza OSFP-to-OSFP DAC per le connessioni intra-rack (≤ 3 m) e moduli ottici OSFP-to-400G SR4 per distanze fino a 100 m.MQM9790-NS2F compatibileI transceiver sono convalidati con l'ecosistema di fornitori ottici NVIDIA, garantendo una interoperabilità senza soluzione di continuità.

5- Operazioni, monitoraggio, diagnosi e ottimizzazione dei guasti

Le operazioni efficaci sono fondamentali per mantenere una bassa latenza nella produzione.NVIDIA UFM (Unified Fabric Manager), che prevede:

• Pannello di controllo in tempo reale-  larghezza di banda per porta, contatori di errori e mappe di congestione.
• Ottimizzazione automatica del percorsoQuando un collegamento si degrada o non funziona, UFM ricalcola le rotte e riconfigura le tabelle di routing adattive senza intervento dell'operatore.
• Telemetria storica- memorizza i dati di latenza e di flusso per l'analisi post-mortem e la pianificazione della capacità.

Flusso di lavoro raccomandato per la risoluzione dei problemi:

1. Monitorare i fotogrammi di pausa e i rifiuti per porta ∼ si prevede zero rifiuti; eventuali rifiuti indicano una configurazione errata o un'ottica difettosa.
2. Validazione dell'operazione SHARPv3 tramite le statistiche collettive dell'UFM. Assicurati che le operazioni di riduzione siano completate.
3. Utilizzare strumenti diagnostici integrati (ad es.ibdiagnet,ibstatus) per verificare l'integrità del collegamento e dell'integrità del segnale.

Per l'ottimizzazione, regolare la soglia dell'algoritmo di routing adattivo (ad esempio, intervallo di rilevamento del carico) in base ai modelli di carico di lavoroMQM9790-NS2F InfiniBand switchGli aggiornamenti regolari del firmware (disponibili tramite il portale di supporto di NVIDIA) includono miglioramenti delle prestazioni e patch di sicurezza.

6. Riassunto e valutazione del valore

IlMellanox (NVIDIA Mellanox) MQM9790-NS2Foffre una base a prova di futuro e ad alte prestazioni per i cluster RDMA/HPC/AI. Combinando velocità NDR di 400 Gb/s, densità di porte 64 e elaborazione intelligente in rete,elimina i collo di bottiglia tradizionali e fornisce una scalabilità lineare fino alla classe exascaleLa soluzione riduce il costo totale di proprietà attraverso una potenza inferiore per porta (≈1,5 W), cablaggio semplificato e riduzione delle spese generali della CPU derivanti da scarichi SHARP.

Per le organizzazioni che valutano laMQM9790-NS2F prezzo, l'investimento è giustificato da miglioramenti misurabili dell'utilizzo della GPU (spesso superiori al 90% nella produzione) e da una riduzione fino al 40% dei tempi di completamento dei lavori rispetto ai tessuti RoCEv2.Fogli di dati MQM9790-NS2F- eLe specifiche MQM9790-NS2FLe unità sono facilmente reperibili (MQM9790-NS2F in venditaInoltre, la compatibilità dello switch con gli adattatori NVIDIA esistenti garantisce un percorso di migrazione agevole per gli utenti già investiti nell'ecosistema Mellanox.

In sintesi, questa soluzione tecnica basata sulMQM9790-NS2F InfiniBand switchoffre un tessuto robusto ed efficiente dal punto di vista operativo, che soddisfa i più esigenti requisiti di interconnessione a bassa latenza, che costituisce una pietra angolare per la prossima generazione di supercalcolo basato sull'IA.