NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in azione: ottimizzazione dell'interconnessione a bassa latenza

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch in Azione: Ottimizzazione dell'Interconnessione a Bassa Latenza per Cluster RDMA/HPC/AI

Nell'addestramento AI, nelle simulazioni di high-performance computing (HPC) e nello storage distribuito su larga scala, la latenza di rete e la larghezza di banda spesso determinano il limite superiore dell'efficienza del cluster. Per aiutare le organizzazioni a superare questo collo di bottiglia, lo switch InfiniBand MQM9790-NS2F di NVIDIA Mellanox sta diventando un componente di interconnessione fondamentale in molte implementazioni AI e HPC. Questo articolo illustra un aggiornamento reale di un cluster di addestramento AI su larga scala, mostrando come questo switch offra reti RDMA a bassa latenza e guadagni di prestazioni misurabili.

Contesto e Sfida: Pressione di Rete da Mille a Diecimila GPU

Un'importante istituzione di ricerca gestiva in precedenza un cluster da mille GPU per l'addestramento di modelli linguistici di grandi dimensioni e la simulazione meteorologica. Con la crescita dei parametri del modello da decine a centinaia di miliardi, l'esistente rete InfiniBand HDR da 200 Gb/s ha iniziato a soffrire di congestione e di un aumento dell'overhead di comunicazione. Le operazioni Cross-node All-Reduce richiedevano tempi significativamente più lunghi e le GPU rimanevano spesso inattive in attesa dei trasferimenti di rete. Gli architetti necessitavano urgentemente di una soluzione che offrisse una maggiore densità di porte, un bilanciamento del carico più granulare e la piena compatibilità con l'infrastruttura RDMA esistente.

Dopo un'attenta valutazione, il team ha selezionato un fabric InfiniBand di classe NDR basato sul NVIDIA Mellanox MQM9790-NS2F. Con 64 porte OSFP, ciascuna operante a velocità di linea di 400 Gb/s, lo switch soddisfa perfettamente le esigenze di throughput dei server GPU di nuova generazione.

Soluzione e Implementazione: Fabric NDR + Rete RDMA Lossless

Nel nuovo progetto, ogni server GPU è dotato di adattatori ConnectX-7 dual-port, collegati a due switch leaf. Al centro, gli switch MQM9790-NS2F 400Gb/s NDR 64-port OSFP formano una topologia Fat-Tree a due livelli utilizzando un'architettura Clos non bloccante. Il routing adattivo e il controllo della congestione sono abilitati, sfruttando il RDMA InfiniBand nativo per trasferire dati direttamente dalla memoria GPU alla memoria GPU remota, bypassando l'overhead della CPU e dello stack software.

• Utilizzo delle porte e compatibilità: Gli adattatori HDR esistenti possono operare a velocità ridotta, proteggendo gli investimenti precedenti. L'elenco MQM9790-NS2F compatibile copre i server GPU e i sistemi di storage mainstream, non richiedendo modifiche ai driver durante l'implementazione.
• Operazioni intelligenti: La telemetria integrata monitora errori di collegamento e congestione in tempo reale, aiutando i team a isolare rapidamente problemi di moduli ottici o cavi e riducendo drasticamente il tempo medio di riparazione.

Risultati e Benefici: Tempo di Iterazione di Addestramento Ridotto del 38%, Overhead di Rete Ridotto all'8%

Dopo l'aggiornamento, l'istituzione ha eseguito test comparativi su carichi di lavoro di produzione. In un'attività di pre-addestramento in stile GPT con 100 miliardi di parametri, il cluster basato sullo switch InfiniBand MQM9790-NS2F ha ridotto il tempo di iterazione da 2,8 secondi a 1,73 secondi, un miglioramento del 38%. La quota della latenza totale attribuita alla comunicazione di rete è scesa dal 22% all'8%, il che significa che le GPU hanno trascorso significativamente più tempo su calcoli utili. Grazie al calcolo in rete SHARPv3 all'interno dello switch NDR, l'utilizzo della larghezza di banda All-Reduce è quasi raddoppiato.

Sul lato storage, il NVMe over InfiniBand a bassa latenza ha aumentato la larghezza di banda aggregata di lettura/scrittura del file system parallelo di 2,3 volte. I tempi di salvataggio e ripristino dei checkpoint sono passati da 12 minuti a meno di 5 minuti. Questi dati sono riportati nei rapporti di test interni e sono in linea con le specifiche MQM9790-NS2F di base.

Riepilogo e Prospettive: L'Interconnessione NDR come Scelta Predefinita per l'Infrastruttura AI di Nuova Generazione

Questo caso dimostra chiaramente che per i cluster RDMA/HPC/AI su larga scala, l'adozione della soluzione switch InfiniBand MQM9790-NS2F elimina efficacemente la congestione di rete, aumenta l'utilizzo delle GPU e semplifica le operazioni. Per gli architetti che pianificano cluster da diecimila GPU, il datasheet MQM9790-NS2F è un riferimento essenziale per valutare potenza, densità di porte e set di funzionalità. Il modello è ora in produzione di massa; per richieste di prezzo MQM9790-NS2F o MQM9790-NS2F in vendita, si prega di contattare i partner NVIDIA autorizzati. Poiché i carichi di lavoro futuri spingeranno la domanda verso 800 Gb/s e oltre, la piattaforma di switching NDR continuerà a svolgere un ruolo fondamentale nello sbloccare il potenziale di calcolo.