Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in pratica

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in pratica. Ottimizzazione delle interconnessioni a bassa latenza per cluster RDMA/HPC/AI

Sfondo e sfide: quando i cluster RDMA colpiscono il collo di bottiglia della rete

In un tipico ambiente misto di carico di lavoro HPC e AI, i cluster di calcolo eseguono spesso simulazioni CFD, dinamica molecolare e addestramento distribuito di grandi modelli fianco a fianco.Questi carichi di lavoro si basano fortemente su RDMA per la comunicazione tra nodi e sono estremamente sensibili alla larghezza di bandaQuando un cluster cresce da dozzine di nodi a centinaia, l'interconnessione originale può rapidamente diventare il fattore limitante.

I sintomi comuni includono una lunga latenza durante AllReduce, utilizzo irregolare dei collegamenti in tutto il tessuto e tempi di completamento dei lavori degradati non appena più inquilini condividono la rete.Per ingegneri e architetti di reti, la sfida non è semplicemente aggiungere larghezza di banda, ma costruire un tessuto che mantenga la latenza prevedibile sotto congestione.

Soluzione e implementazione: costruzione del tessuto attorno al MQM8790-HS2F

Per risolvere questi problemi, il tessuto del cluster è stato riprogettato attorno al Mellanox (NVIDIA Mellanox) MQM8790-HS2F, uno switch HDR InfiniBand da 200 Gb/s progettato per ambienti ad alta densità e bassa latenza.Il fattore di forma MQM8790-HS2F 200Gb/s HDR 40 porte QSFP56 consente 40 porte in 1U, che si inserisce naturalmente in una topologia a due livelli di fat-tree.

La distribuzione ha seguito un approccio a strati:

• Strato spinale:Gli switch NVIDIA Mellanox MQM8790-HS2F sono stati implementati come dispositivi di spina dorsale, fornendo collegamenti ascendenti a 200Gb / s e non bloccando il traffico est-ovest tra gruppi di foglie.
• Strato di foglie:Gli switch Leaf collegano nodi di calcolo dotati di adattatori ConnectX-6 o ConnectX-7, formando un percorso HDR end-to-end compatibile con MQM8790-HS2F.
• Informatica in rete:La tecnologia SHARP sul MQM8790-HS2F sgancia operazioni collettive come AllReduce sul switch, riducendo la GPU e la CPU.
• Gestione e telemetria:MLNX-OS, UFM e NetQ sono stati utilizzati per il provisioning del tessuto, il monitoraggio e la visibilità della congestione.

Durante la pianificazione, il team ha rivisto la scheda dati MQM8790-HS2F e le specifiche MQM8790-HS2F per convalidare il budget di potenza, i requisiti di raffreddamento e le opzioni di divisione delle porte come il breakout di 2 × 100Gb / s.Il cablaggio e l'ottica sono stati standardizzati in QSFP56 per semplificare l'economia e l'espansione futura.

Risultati e benefici: cosa è cambiato dopo la spedizione

Dopo la migrazione alla soluzione di commutazione MQM8790-HS2F InfiniBand, il cluster ha mostrato miglioramenti misurabili nell'efficienza della comunicazione e nella stabilità del lavoro.

Dal punto di vista operativo, il team ha ottenuto un migliore controllo sul comportamento del tessuto.mentre la telemetria ha reso più facile identificare nodi lenti e collegamenti mal configuratiPer gli architetti che valutano il prezzo di MQM8790-HS2F o le opzioni di vendita di MQM8790-HS2F, il punto chiave è che lo switch si ripagherà attraverso un maggiore utilizzo del cluster piuttosto che solo il numero di porte grezze.

Conclusioni e prospettive

L'MQM8790-HS2F dimostra come uno switch InfiniBand appositamente progettato possa eliminare i colli di bottiglia delle interconnessioni nei cluster RDMA, HPC e AI.e una gestione matura, il NVIDIA Mellanox MQM8790-HS2F offre una latenza bassa prevedibile in scala.i tessuti costruiti sul switch MQM8790-HS2F InfiniBand sono ben posizionati per supportare la prossima ondata di espansione.