Mellanox 920-9B210-00FN-0D0 InfiniBand Switch.

Man mano che i modelli di intelligenza artificiale crescono in complessità, i cluster GPU e gli ambienti di calcolo ad alte prestazioni (HPC) dipendono sempre più da una comunicazione efficiente tra i nodi di calcolo. La larghezza di banda della rete, la latenza e la gestione della congestione sono diventati fattori critici che influenzano le prestazioni dei carichi di lavoro distribuiti. Lo switch InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 fornisce una base di rete ad alta densità per queste applicazioni esigenti.

Alimentato dalla tecnologia NVIDIA Quantum-2, il QM9790 offre 64 porte NDR che operano fino a 400 Gb/s, con una capacità di commutazione bidirezionale aggregata fino a 51,2 Tb/s. Questo articolo esamina uno scenario rappresentativo di distribuzione AI e HPC multi-rack, evidenziando come il 920-9B210-00FN-0D0 possa aiutare le organizzazioni a ottimizzare la comunicazione RDMA, migliorare la scalabilità del fabric e ridurre le limitazioni di prestazioni legate alla rete.

01. Contesto e Sfide: Colli di Bottiglia di Rete nei Cluster AI e HPC

Considerare un data center che opera più rack di server GPU per l'addestramento di modelli linguistici di grandi dimensioni, simulazioni scientifiche ed elaborazione distribuita di dati. Man mano che vengono distribuiti nodi di calcolo aggiuntivi, il volume di traffico generato dalla comunicazione collettiva, dalla sincronizzazione dei parametri e dall'accesso remoto ai dati aumenta in modo significativo.

Sebbene le GPU moderne forniscano notevoli capacità di calcolo, prestazioni di interconnessione insufficienti possono impedire alle applicazioni di utilizzare appieno le risorse disponibili. In questo ambiente, gli architetti di rete incontrano tipicamente diverse sfide importanti:

• Limitazioni di larghezza di banda: I carichi di lavoro GPU su larga scala richiedono uno scambio continuo di dati, potenzialmente sovraccaricando interconnessioni a bassa velocità.
• Latenza di comunicazione: Le frequenti operazioni di sincronizzazione possono aumentare i tempi di attesa tra i nodi di calcolo distribuiti.
• Congestione di rete: La comunicazione simultanea tra più server può creare hotspot e prestazioni incoerenti delle applicazioni.
• Sfide di scalabilità: L'espansione delle dimensioni del cluster richiede un'attenta pianificazione della capacità dello switch, della topologia di rete e dell'infrastruttura di cablaggio.
• Complessità operativa: Il mantenimento di una gestione affidabile del fabric, della visibilità dei guasti e della coerenza della configurazione diventa sempre più importante.

Queste sfide dimostrano perché le reti InfiniBand ad alta velocità rimangono importanti per i carichi di lavoro di calcolo strettamente accoppiati. Lo switch InfiniBand 920-9B210-00FN-0D0 InfiniBand switch OPN fornisce le capacità hardware necessarie per costruire architetture di interconnessione a larghezza di banda elevata e bassa latenza.

02. Architettura della Soluzione: Distribuzione dello Switch InfiniBand NVIDIA Quantum-2 NDR

Lo switch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR è progettato per fabric di calcolo ad alte prestazioni che richiedono larghezza di banda sostanziale e comunicazione efficiente. Dotato di 32 connettori OSFP fisici che forniscono 64 porte NDR, il sistema 1U supporta interconnessioni dense tra server GPU, switch di rete e altri dispositivi InfiniBand.

In un'implementazione multi-rack rappresentativa, gli switch QM9790 possono essere posizionati all'interno di una topologia InfiniBand leaf-spine. I server GPU dotati di adattatori NVIDIA ConnectX compatibili si connettono agli switch leaf, mentre gli switch spine forniscono connettività tra i rack. Il numero di switch, uplink e livelli di rete dipende dalle dimensioni del cluster, dai requisiti di larghezza di banda e dal rapporto di sovrascrizione selezionato.

Comunicazione Dati RDMA e a Bassa Latenza

Remote Direct Memory Access (RDMA) consente ai sistemi di calcolo compatibili di trasferire dati direttamente tra regioni di memoria registrate con un coinvolgimento ridotto della CPU. Negli ambienti GPU distribuiti, questo può aiutare a ridurre l'overhead di comunicazione e migliorare l'efficienza del movimento dei dati rispetto ai percorsi di rete convenzionali intensivi a livello software.

Il fabric InfiniBand Quantum-2 supporta la comunicazione basata su RDMA e funzionalità di rete avanzate, tra cui routing adattivo, controllo della congestione e calcolo in-network NVIDIA SHARP. Se configurate correttamente e supportate dallo stack applicativo, queste tecnologie possono aiutare a ottimizzare le operazioni collettive, ridurre i ritardi legati alla congestione e migliorare l'utilizzo delle risorse di rete.

Gestione del Fabric e Pianificazione della Compatibilità

Il QM9790 è uno switch InfiniBand gestito esternamente, a differenza del QM9700 gestito internamente. La distribuzione richiede quindi una gestione della subnet esterna appropriata e un monitoraggio operativo. NVIDIA Unified Fabric Manager (UFM) può essere integrato dove supportato per fornire visibilità centralizzata del fabric e funzioni di gestione.

Gli ingegneri che valutano gli adattatori e i componenti di interconnessione compatibili con il 920-9B210-00FN-0D0 dovrebbero confermare le capacità dell'adattatore host, l'interoperabilità del firmware, i cavi approvati e le configurazioni dei connettori. Il modello 920-9B210-00FN-0D0 corrisponde alla configurazione con flusso d'aria in avanti, alimentazione-connettore (P2C), che deve anche corrispondere al design del raffreddamento del data center.

03. Risultati Attesi e Benefici Operativi

Dopo aver implementato una rete InfiniBand NDR opportunamente progettata, le organizzazioni possono puntare a miglioramenti nell'efficienza della comunicazione, nell'utilizzo delle risorse e nella scalabilità del fabric. I guadagni di prestazioni effettivi dipendono dalle caratteristiche del carico di lavoro, dall'hardware del server, dalla topologia di rete, dalla configurazione del software e dai colli di bottiglia della rete originali.

Per una valutazione oggettiva delle prestazioni, gli ingegneri di rete dovrebbero stabilire una baseline prima della migrazione ed eseguire test controllati dopo la distribuzione. Utili strumenti di validazione includono utility di prestazioni InfiniBand, NCCL Tests e benchmark di applicazioni basati su MPI.

Le misurazioni consigliate includono throughput effettivo, latenza punto-punto, prestazioni della comunicazione collettiva, contatori di errori di collegamento, indicatori di congestione e tempo di completamento del carico di lavoro end-to-end. Il confronto della latenza P50, P95 e P99 in condizioni di carico rappresentative può anche aiutare a identificare problemi di coerenza delle prestazioni che i valori medi potrebbero nascondere.

Piuttosto che presumere miglioramenti percentuali fissi, l'obiettivo è determinare se la rete aggiornata riduce i colli di bottiglia di comunicazione misurabili e consente alle risorse di calcolo di operare in modo più efficiente sotto carichi di lavoro di produzione effettivi.

04. Specifiche Tecniche e Selezione del Prodotto

Lo switch NVIDIA Mellanox 920-9B210-00FN-0D0 appartiene alla famiglia NVIDIA Quantum-2 QM9790. Le seguenti specifiche forniscono un riferimento per la progettazione dell'infrastruttura e l'approvvigionamento dei prodotti.

Quando si esamina il datasheet del 920-9B210-00FN-0D0 o si confrontano le opzioni di distribuzione, i team IT dovrebbero valutare la soluzione completa piuttosto che la sola capacità dello switch. La progettazione del cablaggio, la compatibilità degli adattatori, la gestione della subnet esterna, il flusso d'aria del rack e l'espansione futura del cluster devono essere considerati insieme.

05. Conclusione e Prospettive Future

Lo switch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR fornisce una solida base per le organizzazioni che cercano di modernizzare l'infrastruttura di rete AI e HPC. Combinando la connettività InfiniBand ad alta velocità con le capacità di rete avanzate Quantum-2, supporta la comunicazione RDMA efficiente e le architetture di calcolo distribuito scalabili.

Man mano che i modelli AI diventano più grandi e i cluster GPU si espandono su più nodi di calcolo, l'ottimizzazione coordinata dell'hardware di rete, della gestione del fabric e della comunicazione software rimarrà essenziale. La soluzione OPN dello switch InfiniBand 920-9B210-00FN-0D0 offre un blocco pratico per progetti di interconnessione a basse prestazioni e bassa latenza che possono evolvere con i requisiti di carico di lavoro in evoluzione.