NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch in produzione. Ottimizzazione dell'interconnessione a bassa latenza per RDMA/HPC/AI

Poiché l'addestramento di grandi modelli di linguaggio e le simulazioni HPC exascale spingono i cluster GPU verso decine di migliaia di nodi, i tessuti Ethernet tradizionali lottano con la latenza di coda e la congestione incast.Un centro nazionale di calcolo dell'intelligenza artificiale ha recentemente affrontato questa sfidaNVIDIA Mellanox MQM8790-HS2FGli switch InfiniBand sono la spina dorsale dell'espansione della GPU a 800 nodi.Questo articolo mostra il loro percorso nel mondo reale – dai colli di bottiglia ai guadagni misurabili – utilizzando RDMA e in-network computing per ottimizzare le prestazioni delle interconnessioni di cluster.

Sfida e sfide: quando la rete diventa il collo di bottiglia dell'IA

Il cluster 400-node del centro è stato eseguito su 100Gb/s RoCEv2 Ethernet.Durante le operazioni All-Reduce, il tempo di attesa della rete consumava oltre il 40% del tempo totale di iterazione.e il supporto RDMA nativo, tutto riutilizzando l'ottica QSFP56 esistenteDopo aver valutato molteplici alternative, la Commissione ha deciso diMQM8790-HS2F InfiniBand switchsi distingue per la sua larghezza di banda HDR di 200 Gb/s e il design ad alta densità a 40 porte.

Soluzione e implementazione: HDR Fat-Tree basato su MQM8790-HS2F

La nuova interconnessione adotta una topologia a due strati di fat-tree, utilizzando 24 unità diNVIDIA Mellanox MQM8790-HS2FOgni switch fornisce 40 porte QSFP56 che funzionano a 200Gb/s per direzione, fornendo una capacità di commutazione non bloccante di 16Tb/s.foglio dati MQM8790-HS2F- eLe specifiche MQM8790-HS2Fogni nodo GPU si connette tramite gli adattatori HDR ConnectX‐6,sfruttando la RDMA nativa InfiniBand per trasferimenti di dati a copia zero .

Il centro ha inoltre riservato diversiMQM8790-HS2F 200Gb/s HDR 40 porte QSFP56con SHARP (Scalable Hierarchical Aggregation and Reduction Protocol),le operazioni collettive come All-Reduce vengono scaricate dai server direttamente sulla rete di switchNel training 128‐GPU, questo ha ridotto il tempo di comunicazione del 32% senza alcun cambiamento di codice nel framework dell'IA.

Risultati e vantaggi: minore latenza, maggiore throughput, TCO controllato

Le metriche post-impiego hanno mostrato miglioramenti drammatici:

• La latenza punto-punto:I test di ping-pong MPI hanno misurato ~ 0,9 μs su collegamenti HDR da 200 Gb/s, il 65% in meno rispetto alla configurazione RoCE precedente.
• Efficienza della comunicazione collettiva:A scala 512-GPU, All-Reduce è stato completato in soli 18,3 ms, una riduzione del 52% rispetto al precedente valore di riferimento.
• Utilizzazione della rete:Il routing adattivo ha mantenuto il bilanciamento del carico del collegamento al di sopra del 92%, con quasi nessun punto di congestione.
• Acquisti e operazioni:IlMQM8790-HS2F prezzoper porta era inferiore di circa il 12% rispetto alle soluzioni 200G concorrenti.MQM8790-HS2F compatibileL'ottica è costituita da moduli QSFP56 standard, che consentono il pieno riutilizzo dei cavi esistenti.

¢Dopo essersi trasferito nelMQM8790-HS2F Soluzione di interruttore InfiniBand"Abbiamo finalmente raggiunto una scalabilità quasi lineare (efficienza 0,9) sulla formazione dei modelli a trilioni di parametri", ha affermato l'architetto capo del centro.La rete non è più il collo di bottiglia ̇ possiamo concentrarci sull'innovazione dell'architettura del modello anziché sulla pianificazione della comunicazione. "

Conclusioni e prospettive: blocco di base per le interconnessioni exascale

Questo caso reale dimostra che laMQM8790-HS2Fcon HDR a 200 Gb/s, RDMA nativo, calcolo in rete SHARP e routing adattivo,si rivolge direttamente ai punti critici dell'interconnessione a bassa latenza negli attuali cluster AI/HPCSe si sta progettando un centro di supercalcolo universitario o l'aggiornamento di un cloud di IA aziendale, ilNVIDIA Mellanox MQM8790-HS2FIl progetto è stato sviluppato per offrire un percorso equilibrato che combina prestazioni, compatibilità e prevedibilità dei costi.foglio dati MQM8790-HS2FPer l'inventario in tempo reale oMQM8790-HS2F in venditaInfine, la Commissione ritiene che la Commissione debba adottare misure adeguate per garantire che le informazioni fornite da questi servizi siano accessibili a tutti i clienti.