Riferimento tecnico dello switch InfiniBand NVIDIA Mellanox MQM8790-HS2F

Questo white paper tecnico è destinato agli architetti di rete, agli ingegneri pre-vendite e ai responsabili delle operazioni.NVIDIA Mellanox MQM8790-HS2FInfiniBand switch, fornisce un riferimento dettagliato per la progettazione, la distribuzione,e l'utilizzo di tessuti ad alte prestazioni che servono alla formazione su larga scala dell'IA e alle simulazioni HPC, con particolare attenzione all'accelerazione RDMA e alla comunicazione deterministica a bassa latenza.

I moderni carichi di lavoro AI e HPC stanno spingendo i cluster GPU verso decine di migliaia di nodi.mostrano incoerenze di prestazioni sotto i modelli incast e soffrono di maggiori costi generali della CPUI requisiti chiave per le interconnessioni di cluster di prossima generazione sono:

• La latenza punto-punto sotto-microsegundo per le operazioni collettive sincronizzate
• Trasporto senza perdite e senza ingorghi per evitare che i ritardatari si allontanino
• Discarico completo dell'elaborazione della comunicazione dai core CPU/GPU
• Topologie fat-tree o dragonfly+ scalabili con larghezza di banda non bloccante
• Percorso di migrazione conveniente dalle ottiche 100G/200G esistenti

Per rispondere a queste esigenze, la Commissione haMQM8790-HS2F InfiniBand switchfornisce 200 Gb/s di HDR per porta, 40 porte QSFP56 per unità e supporto nativo per RDMA e network computing.Questa soluzione è stata progettata appositamente per ambienti in cui l'efficienza dell'interconnessione si traduce direttamente nel tempo di completamento del lavoro e nel TCO.

La topologia fisica raccomandata per i cluster AI/HPC utilizzando laNVIDIA Mellanox MQM8790-HS2Fè un albero di grasso a due o tre livelli (noto anche come leaf-spine). Ogni switch di foglia si connette ai server GPU tramite collegamenti HDR o HDR100, mentre i switch di spina dorsale forniscono una connettività a maglia completa tra le foglie.Una configurazione tipica di 800-GPU utilizza:

• 20 interruttori a foglia: ciascunoMQM8790-HS2F 200Gb/s HDR 40 porte QSFP56con una lunghezza massima non superiore a 15 mm
• 4 interruttori spinale: interconnessi interamente con foglie utilizzando collegamenti ascendenti da 200 Gb/s
• Relazione non bloccante di 1:1 per ogni livello

Per i cluster più grandi (2.000+ GPU), un'architettura a tre livelli aggiunge un livello super-spina dorsale.L'intera gestione del tessuto è gestita dal Subnet Manager (SM) che viene eseguito su un controller dedicato o incorporato nel firmware dello switch per tessuti più piccoli.

All'interno di questa architetturaMQM8790-HS2FLa sua caratteristica principale è:

• 200 Gb/s HDR per porta:Trasmissione bidirezionale completa con capacità di commutazione aggregata non bloccante di 16 Tb/s
• Routing adattivo (AR):Distribuisce dinamicamente il traffico su più percorsi per evitare i punti critici, fondamentali per l'efficienza del fat-tree
• SHARPv2 (Protocollo di aggregazione e riduzione gerarchica scalabile):Scarica le operazioni collettive (All-Reduce, Reduce-Scatter) direttamente nella rete degli switch, riducendo il tempo di inattività della GPU
• Controllo della congestione:Controllo del flusso di granuli fini con meccanismi FECN/BECN garantisce un tessuto senza perdite
• Alta densità di porti:40 porte QSFP56 per telaio 1U, semplificando il layout del rack e riducendo la complessità del cablaggio inter-rack

Gli ingegneri possono riferirsi allafoglio dati MQM8790-HS2F- eLe specifiche MQM8790-HS2FLa piattaforma è anche disponibile per l'utilizzo di dispositivi di controllo di velocità, per i numeri dettagliati di potenza, temperatura e latenza.MQM8790-HS2F compatibilecon una vasta gamma di ottiche HDR, HDR100 e persino EDR, che consentono aggiornamenti graduali.

Per un cluster AI con 1.000 GPU equilibrato, si raccomanda la seguente sequenza di distribuzione:

• Fase 1 L' strato di foglie:Installare 25xMQM8790-HS2Fcollegare ogni server GPU (8 GPU per server) tramite due porte HDR a due diverse foglie per ridondanza e larghezza di banda.
• Passo 2 Distribuire 8xNVIDIA Mellanox MQM8790-HS2Fcollegare ogni foglia a ogni spina dorsale utilizzando collegamenti a 200 Gb/s (40 collegamenti ascendenti per foglia, ma in genere un sottoinsieme sufficiente a mantenere il rapporto di blocco ≤1:1).
• Fase 3 Messa in funzione del subnet manager:Eseguire istanze SM ridondanti su due server leggeri o utilizzare l'SM incorporato per cluster con meno di 2.000 porte.
• Fase 4 Partitioning:Utilizzare partizioni InfiniBand per isolare i flussi di traffico di produzione, sviluppo e storage sullo stesso tessuto fisico.

Per l'espansione a 2.500+ GPU, aggiungere un livello super-spine utilizzando unità MQM8790-HS2F aggiuntive e aumentare la densità di uplink da leaf-to-spine.MQM8790-HS2F Soluzione di interruttore InfiniBandscala linearmente senza ri-architettura del nucleo.

Funzionamento quotidiano di un tessuto costruito suMQM8790-HS2FLe pratiche chiave includono:

• Monitoraggio:Utilizzare `ibdiagnet` per la convalida della topologia, `perfquery` per i contatori portuali e le dashboard Grafana con gli esportatori Prometheus per la telemetria in tempo reale (utilizzazione dei collegamenti, errori di simbolo, marcatori di congestione).
• Firmware e software:Mantenere il firmware coerente su tutti gli switch.foglio dati MQM8790-HS2Fper la compatibilità delle versioni.
• Risoluzione dei problemi:I problemi comuni ▌link flapping, MTU non corrispondenti o configurazione errata della partizione sono rapidamente isolati utilizzando `ibstatus`, `smpquery` e switch syslog.
• Ottimizzazione:Per l'addestramento di IA su larga scala, abilitare SHARP sulle librerie MPI applicabili (ad esempio, NCCL con plugin SHARP).

Quando si pianifica il bilancio o l'ampliamento, chiedereMQM8790-HS2F prezzo- le offerte dei partner autorizzati e verificareMQM8790-HS2F in venditaLa compatibilità della piattaforma con i cavi QSFP56 esistenti riduce il rischio di acquisto.

IlMQM8790-HS2Fnon è solo uno switch è un elemento fondamentale per i tessuti HPC e AI deterministici a bassa latenza.e SHARP in-network computing affronta direttamente i punti critici delle moderne interconnessioni di clusterRispetto alle soluzioni Ethernet 200G alternative, l'ecosistema InfiniBand offre:

• Basso sovraccarico della CPU (vero RDMA con sgancio di trasporto hardware)
• La latenza deterministica su scala di microsecondi sotto carico reale
• Gestione semplificata del tessuto con il Subnet Manager centralizzato
• Scalabilità comprovata su decine di migliaia di endpoint

Per le organizzazioni che costruiscono o espandono cluster GPU, adottare laNVIDIA Mellanox MQM8790-HS2Fsignifica ottenere FLOPS efficaci più elevati per dollaro, ridurre il tempo di completamento del lavoro e rendere l'interconnessione a prova di futuro per gli aggiornamenti HDR200 di prossima generazione (400Gb/s).compresa la completaLe specifiche MQM8790-HS2Fe matrici di cablaggio, sono disponibili attraverso il portale partner NVIDIA.