Switch InfiniBand Mellanox 920-9B210-00FN-0D0 | Soluzione Tecnica per Bassa Latenza RDMA, HPC e Cluster AI

Switch InfiniBand Mellanox 920-9B210-00FN-0D0 | Soluzione Tecnica per l'Ottimizzazione dell'Interconnessione a Bassa Latenza per Cluster RDMA, HPC e AI

Una guida completa all'architettura tecnica e alla distribuzione che copre il networking InfiniBand NVIDIA Quantum-2 NDR, l'accelerazione RDMA, gli interconnessi scalabili per cluster GPU, la gestione del fabric e l'ottimizzazione delle prestazioni.

Prodotto: NVIDIA QM9790 / MQM9790-NS2F   |   SKU: 920-9B210-00FN-0D0   |   Tecnologia: InfiniBand NDR 400Gb/s

L'intelligenza artificiale, il calcolo ad alte prestazioni (HPC) e i carichi di lavoro distribuiti su GPU stanno imponendo richieste senza precedenti all'infrastruttura di rete dei data center. Man mano che i cluster di calcolo crescono, l'efficienza della comunicazione di rete determina sempre più se le costose risorse GPU possono operare al loro pieno potenziale. Lo switch InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 fornisce una piattaforma di switching ad alta larghezza di banda e bassa latenza per la costruzione di reti scalabili accelerate.

Alimentato dalla tecnologia NVIDIA Quantum-2, il QM9790 supporta 64 porte InfiniBand NDR non bloccanti da 400 Gb/s tramite 32 connettori OSFP, con una capacità di switching bidirezionale aggregata fino a 51,2 Tb/s. Questo white paper tecnico spiega come integrare lo switch nelle architetture di rete abilitate per RDMA, ottimizzare la comunicazione AI distribuita, progettare fabric HPC resilienti e stabilire pratiche di distribuzione e operative efficaci.

01. Background del Progetto e Analisi dei Requisiti

Le moderne piattaforme di addestramento AI collegano comunemente più server GPU in cluster di calcolo distribuiti. Durante l'addestramento del modello, le GPU scambiano frequentemente gradienti, parametri e risultati intermedi utilizzando librerie di comunicazione come NVIDIA NCCL. Le applicazioni HPC dipendono in modo simile dal passaggio di messaggi a bassa latenza tramite MPI e altri framework di calcolo parallelo.

All'aumentare del numero di nodi di calcolo, il traffico di comunicazione diventa più complesso. Le applicazioni possono incontrare saturazione della larghezza di banda, hotspot di congestione, ritardi nella comunicazione collettiva e prestazioni incoerenti causate da contesa di rete.

Una soluzione InfiniBand ad alte prestazioni dovrebbe affrontare i seguenti requisiti tecnici:

• Alta Larghezza di Banda: Fornire una capacità di interconnessione sufficiente per il movimento di dati su larga scala tra server GPU e nodi di calcolo.
• Bassa Latenza di Comunicazione: Minimizzare i ritardi associati a sincronizzazioni frequenti e scambi di messaggi di piccole dimensioni.
• Supporto RDMA: Abilitare la comunicazione efficiente da memoria a memoria con un ridotto coinvolgimento della CPU.
• Scalabilità di Rete: Supportare l'espansione da singoli rack di server a fabric AI e HPC multi-rack.
• Ottimizzazione del Traffico: Migliorare l'utilizzo della rete tramite routing adattivo e gestione della congestione.
• Affidabilità Operativa: Stabilire procedure di monitoraggio, isolamento dei guasti e validazione delle prestazioni.

Obiettivo di Progettazione: Costruire un fabric InfiniBand scalabile e ad alta larghezza di banda che minimizzi i colli di bottiglia legati alla rete e supporti prestazioni RDMA prevedibili per l'addestramento AI distribuito, il calcolo scientifico e le applicazioni HPC intensive sui dati.

02. Architettura Generale di Rete e Sistema

L'architettura proposta utilizza l' OPN dello switch InfiniBand 920-9B210-00FN-0D0 come blocco fondamentale all'interno di un fabric NDR ad alta velocità. A seconda della scala di distribuzione, gli switch possono operare in un design a singolo livello o in una topologia leaf-spine multi-livello.

Per i cluster GPU multi-rack, un'architettura Fat Tree a due livelli è un punto di partenza pratico. Gli switch leaf collegano i server di calcolo, mentre gli switch spine forniscono comunicazione ad alta larghezza di banda tra i rack. L'allocazione degli uplink dovrebbe essere calcolata in base ai modelli di traffico previsti, alla larghezza di banda di bisezione richiesta e alla sovrascrizione accettabile.

Topologia di Rete di Riferimento

Applicazioni AI Training / HPC
NCCL / MPI / UCX / RDMA
↓
Server GPU e Nodi di Calcolo
Adattatori InfiniBand NVIDIA ConnectX
↓
Livello Leaf
Switch NDR NVIDIA Quantum-2 QM9790
↓
Livello Spine
Switch NDR NVIDIA Quantum-2 QM9790
↓
Altri Rack GPU / Nodi di Calcolo HPC
Subnet Manager Esterno / Gestione Fabric NVIDIA UFM

In questa architettura, i nodi di calcolo utilizzano adattatori di rete abilitati per RDMA per accedere al fabric InfiniBand. Il livello leaf fornisce connettività rivolta ai server, mentre il livello spine supporta la comunicazione tra diversi segmenti di rete. Un design non bloccante richiede una larghezza di banda di uplink adeguata rispetto ai downlink collegati.

Grandi distribuzioni AI possono anche distribuire la comunicazione su più rail di rete indipendenti per migliorare l'isolamento dei guasti e l'utilizzo della larghezza di banda. L'allineamento dei rail, il posizionamento degli adattatori, l'affinità NUMA e la topologia della GPU dovrebbero essere considerati insieme per evitare che limitazioni lato host riducano i vantaggi dello switching ad alta velocità.

03. Ruolo e Caratteristiche Chiave di NVIDIA Mellanox 920-9B210-00FN-0D0

Lo switch InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR appartiene alla famiglia NVIDIA Quantum-2 QM9790. È un sistema di switching InfiniBand non gestito progettato per fabric gestiti esternamente, che supporta connettività densa e comunicazione ad alta velocità tra nodi di calcolo accelerati.

Le seguenti specifiche del 920-9B210-00FN-0D0 riassumono le caratteristiche del prodotto rilevanti per l'architettura di rete e la selezione dell'hardware.

Ottimizzazione della Comunicazione Basata su RDMA

Il Remote Direct Memory Access consente ai sistemi partecipanti di trasferire dati tra regioni di memoria registrate riducendo l'overhead di elaborazione della CPU. Negli ambienti AI e HPC, questa capacità supporta una comunicazione inter-nodo efficiente e può ridurre i costi di trasferimento dati legati al software.

Con adattatori NVIDIA ConnectX compatibili e uno stack software configurato in modo appropriato, le applicazioni possono utilizzare il trasporto RDMA tramite framework come UCX, MPI e NCCL. GPU Direct RDMA può ottimizzare ulteriormente il movimento dei dati dove la piattaforma hardware, i driver e la configurazione dell'applicazione lo supportano.

Routing Adattivo e Gestione della Congestione

NVIDIA Quantum-2 supporta meccanismi di routing adattivo che possono distribuire il traffico sui percorsi di rete disponibili. In combinazione con il controllo della congestione InfiniBand, le capacità di quality-of-service e la gestione delle virtual lane, queste tecnologie aiutano ad affrontare gli hotspot di traffico e a migliorare la stabilità della comunicazione.

I benefici effettivi dipendono dalla topologia del fabric, dalle policy di routing, dalle capacità del firmware e dalla configurazione del subnet manager. Gli architetti di rete dovrebbero validare queste impostazioni sotto traffico applicativo rappresentativo piuttosto che fare affidamento esclusivamente sulla capacità di switching teorica.

NVIDIA SHARP In-Network Computing

Il protocollo NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) consente di elaborare operazioni collettive supportate all'interno del fabric di rete. Riducendo il volume di dati scambiati durante le operazioni di riduzione supportate, SHARP può migliorare l'efficienza della comunicazione per carichi di lavoro AI e HPC selezionati. La distribuzione richiede firmware, componenti di gestione e supporto software applicativo compatibili.

04. Strategia di Distribuzione ed Espansione della Rete

La distribuzione della soluzione OPN dello switch InfiniBand 920-9B210-00FN-0D0 dovrebbe seguire un processo di implementazione strutturato che copra la compatibilità hardware, la pianificazione del fabric, la validazione della rete e i requisiti di capacità futuri. Un approccio graduale riduce i rischi di configurazione e rende più facile identificare i problemi di prestazioni.

Fase 1: Infrastruttura Hardware e Fisica

• Confermare SKU dello switch, OPN legacy, dimensioni del rack, requisiti di alimentazione e direzione del flusso d'aria P2C.
• Selezionare adattatori ConnectX compatibili, moduli ottici OSFP, cavi DAC o cavi ottici attivi in base alla velocità del collegamento e alla distanza.
• Pianificare il routing dei cavi, il raffreddamento del rack, la ridondanza dell'alimentazione e l'allocazione delle porte fisiche.
• Verificare le versioni del firmware supportate e l'interoperabilità hardware prima della distribuzione in produzione.

Fase 2: Configurazione e Validazione del Fabric

Poiché il QM9790 è uno switch non gestito, è necessario un Subnet Manager InfiniBand esterno per l'inizializzazione del fabric e la configurazione dei percorsi. NVIDIA UFM può fornire ulteriori capacità di gestione del fabric, monitoraggio e operative quando distribuito con componenti supportati.

Gli amministratori di rete dovrebbero verificare gli stati dei collegamenti delle porte, le velocità negoziate, la scoperta della subnet, la configurazione del routing e la connettività RDMA end-to-end. Ove pertinente, configurare il partizionamento, i livelli di servizio, le virtual lane, i controlli di congestione e il routing adattivo in base ai requisiti dell'applicazione.

Fase 3: Pianificazione della Scalabilità e della Capacità

L'espansione del cluster dovrebbe considerare il grado dello switch, la capacità di uplink disponibile, la distribuzione del traffico e il numero di livelli di rete. Sebbene il QM9790 fornisca 64 porte NDR logiche, la disposizione delle interfacce fisiche e le configurazioni di breakout dei cavi supportate devono essere riflesse accuratamente nel piano di allocazione delle porte.

Per distribuzioni più grandi, è possibile introdurre switch leaf e spine aggiuntivi per ospitare nuovi rack di server. I piani di espansione dovrebbero tenere conto della ridondanza, della separazione dei rail di rete, delle distanze dei cavi e del mantenimento della larghezza di banda richiesta tra i gruppi di calcolo.

05. Operazioni, Monitoraggio e Risoluzione dei Problemi

Operazioni InfiniBand affidabili richiedono visibilità continua sullo stato dei collegamenti, sulla salute del fabric, sul comportamento della congestione e sulle prestazioni dei carichi di lavoro. NVIDIA UFM e strumenti diagnostici InfiniBand compatibili possono essere utilizzati per monitorare le condizioni di rete e identificare modelli di comunicazione anomali.

Il monitoraggio operativo consigliato include:

• Salute del Collegamento: Monitorare le velocità negoziate, gli errori fisici, i flap dei collegamenti e gli eventi di porta disattivata.
• Utilizzo della Larghezza di Banda: Tracciare il traffico trasmesso e ricevuto per identificare collegamenti sovrascritti.
• Indicatori di Congestione: Ispezionare i contatori di attesa di trasmissione, l'attività di controllo del flusso e gli hotspot di traffico.
• Gestione del Fabric: Verificare la disponibilità del Subnet Manager, la coerenza del routing, le modifiche alla topologia e i dispositivi scoperti.
• Prestazioni dell'Applicazione: Correlare le misurazioni di rete con le metriche NCCL, MPI e dei carichi di lavoro di produzione.

Per test di prestazioni a livello di rete, gli ingegneri possono utilizzare utility InfiniBand come ibstat, ibdiagnet, perfquery e strumenti di prestazioni RDMA come ib_write_bw e ib_send_lat. NVIDIA NCCL Tests e benchmark MPI possono fornire ulteriori informazioni sulle prestazioni di comunicazione a livello di applicazione.

Quando si risolvono problemi di degrado delle prestazioni, verificare prima la connettività fisica, seguita dalla velocità della porta, dai contatori di errore, dal routing del fabric e dagli indicatori di congestione. Se le metriche di rete rimangono sane, indagare sulla larghezza di banda PCIe lato host, sul posizionamento NUMA, sull'affinità GPU, sulle versioni dei driver e sulle impostazioni di comunicazione dell'applicazione.

L'accettazione delle prestazioni dovrebbe includere larghezza di banda effettiva, latenza di comunicazione, throughput delle operazioni collettive e tempo di completamento del carico di lavoro. Le misurazioni di latenza P50, P95 e P99 possono aiutare a rivelare la variabilità delle prestazioni sotto traffico sostenuto o intenso.

06. Valore della Soluzione e Valutazione delle Prestazioni

Lo switch InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR fornisce la capacità di rete e l'architettura richieste per ambienti di calcolo distribuiti esigenti. Il suo valore principale risiede nell'abilitare comunicazioni ad alta velocità, design di fabric scalabili e integrazione efficiente con sistemi di calcolo abilitati per RDMA.

Dal punto di vista dell'infrastruttura, la connettività NDR a 400 Gb/s e l'alta densità di porte possono ridurre i vincoli di rete all'aumentare delle dimensioni dei cluster GPU. Le funzionalità avanzate di InfiniBand supportano una distribuzione del traffico più efficiente, mentre la gestione esterna del fabric migliora la visibilità operativa e la risoluzione dei problemi.

Una valutazione completa del valore dovrebbe confrontare i costi di distribuzione con miglioramenti misurabili nel throughput delle applicazioni, nell'utilizzo della GPU, nella stabilità della rete e nell'efficienza operativa. I team che valutano il prezzo del 920-9B210-00FN-0D0 dovrebbero anche considerare adattatori, ottiche, cavi, software di gestione, alimentazione e requisiti di supporto compatibili.

Principio di Valutazione Tecnica: Il successo di un aggiornamento di rete InfiniBand dovrebbe essere determinato tramite benchmarking riproducibile e validazione dei carichi di lavoro di produzione. La larghezza di banda dello switching da sola non garantisce una riduzione fissa del tempo di addestramento o della latenza dell'applicazione.

07. Conclusione e Sviluppo Futuro

Lo switch InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 è una soluzione di rete ad alta densità progettata per l'addestramento AI, le applicazioni HPC e gli ambienti di data center accelerati. Con la tecnologia NVIDIA Quantum-2, 64 porte NDR e fino a 51,2 Tb/s di throughput bidirezionale aggregato, offre una base per la costruzione di fabric di calcolo scalabili a bassa latenza.

Una distribuzione di successo richiede più della semplice installazione hardware. Una soluzione ben ingegnerizzata deve coordinare la topologia di rete, gli adattatori abilitati per RDMA, gli interconnessi ottici, la configurazione del Subnet Manager, l'ottimizzazione del carico di lavoro e il monitoraggio operativo.

Man mano che i cluster GPU si espandono e i carichi di lavoro distribuiti diventano sempre più intensivi in termini di comunicazione, i fabric InfiniBand ad alte prestazioni rimarranno una componente importante dell'infrastruttura di calcolo accelerato moderna. Il QM9790 offre un'opzione pratica per le organizzazioni che cercano connettività NDR affidabile e un percorso chiaro verso architetture di rete multi-rack più grandi.

Riferimento Tecnico: Manuale Utente Sistemi Switch InfiniBand NDR 400Gbps 1U NVIDIA QM97XX. Le specifiche di distribuzione finali, le funzionalità supportate, la compatibilità del firmware e le configurazioni fisiche devono essere verificate rispetto alla documentazione per lo SKU del prodotto esatto.

Soluzioni di Networking InfiniBand NVIDIA Mellanox

Beijing Zhongke Xinyuan Technology Co., Ltd. fornisce hardware di rete NVIDIA Mellanox e supporto per soluzioni per data center AI, cluster GPU, sistemi HPC e infrastrutture aziendali. Il nostro portafoglio prodotti include switch InfiniBand NVIDIA Quantum, adattatori di rete ConnectX, transceiver ottici e cavi DAC/AOC ad alta velocità.

Per i clienti che cercano componenti di rete compatibili con il 920-9B210-00FN-0D0, supporto per la selezione dei prodotti, informazioni sulla disponibilità o preventivi di progetto, il nostro team può assistere con l'identificazione del modello, l'abbinamento della configurazione e la pianificazione degli acquisti.