Soluzione tecnica switch InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Soluzione tecnica.

Analisi del contesto e dei requisiti del progetto

Come l'AI grande-modello di formazione e HPC scientifico di calcolo scala a più grandi impronte,la sfida principale per i cluster di calcolo è passata dalla potenza di calcolo a singolo nodo all'efficienza della comunicazione tra i nodi. Le reti RDMA fungono da spina dorsale di trasporto per le operazioni collettive, l'accesso allo storage e il traffico dei checkpoint, e il loro comportamento determina direttamente l'utilizzo complessivo dei cluster.

I requisiti tipici di questi progetti sono:

• Larghezza di banda elevata per nodo:I server GPU richiedono sempre più 200Gb/s o più per tenere il passo con i carichi di lavoro di formazione multi-GPU.
• Previsibile bassa latenza:AllReduce e la sincronizzazione dei parametri sono sensibili alla latenza della coda, non solo alla latenza media.
• Scalabilità:Il tessuto deve crescere da decine di nodi a centinaia o migliaia senza ridisegnare la topologia.
• Gestibilità:Le squadre operative hanno bisogno di telemetria e visibilita' della congestione per isolare nodi lenti e collegamenti mal configurati.

L'MQM8790-HS2F è posizionato per soddisfare questi requisiti come piattaforma di commutazione HDR InfiniBand da 200 Gb/s.

Progettazione complessiva dell'architettura di rete e sistema

L'architettura raccomandata è un albero di grasso a due livelli non bloccante, con uno strato spinale costruito da switch MQM8790-HS2F e uno strato di foglie che collega i nodi di calcolo e di archiviazione.Questa progettazione fornisce una larghezza di banda uniforme est-ovest e una prevedibile diversità di percorsi, che è essenziale per gli schemi di traffico RDMA.

Le decisioni architettoniche principali includono:

• HDR end-to-end:I nodi di calcolo dotati di adattatori ConnectX-6 o ConnectX-7 si collegano a 200 Gb/s agli switch a foglia, formando un percorso end-to-end compatibile MQM8790-HS2F.
• Capacità spinale:Ogni switch QSFP56 HDR da 40 porte MQM8790-HS2F 200Gb/s fornisce 40 porte a 200Gb/s, consentendo una flessibile allocazione di collegamenti ascendenti e discendenti basata su obiettivi di sovrascrizione.
• Tessuti da deposito:Gli obiettivi di archiviazione parallela e NVMe-over-Fabrics possono essere posizionati su gruppi di foglie dedicati per isolare il traffico di archiviazione dal traffico di formazione.
• Piano di gestione:La gestione fuori banda e la raccolta della telemetria sono separate dal piano dei dati per evitare interferenze.

Ruolo del Mellanox (NVIDIA Mellanox) MQM8790-HS2F e caratteristiche chiave

In questa soluzione, il Mellanox (NVIDIA Mellanox) MQM8790-HS2F funge da elemento di commutazione spinale, aggregando il traffico di foglie e consentendo il calcolo in rete.riduce anche i costi di comunicazione collettiva e migliora l'efficienza del tessuto.

Tra le caratteristiche tecniche principali figurano:

• Porte HDR da 40 × 200 Gb/s:Fino a 16Tb/s di throughput aggregato in un fattore di forma 1U, con supporto adattivo per velocità HDR, EDR e FDR.
• SHARP in-network computing:Offloads AllReduce e le relative operazioni collettive allo switch, riducendo la partecipazione della GPU e della CPU.
• Routing adattivo:Riduce i punti caldi e migliora l'equilibrio del carico su più percorsi.
• Controllo della congestione:Supporta DCQCN e meccanismi correlati per mantenere la latenza stabile sotto carico.
• Ecosistema software:Gestito da MLNX-OS e monitorato da UFM e NetQ.

Gli architetti dovrebbero rivedere la scheda dati MQM8790-HS2F e le specifiche MQM8790-HS2F per l'alimentazione, il raffreddamento e i dettagli della divisione delle porte prima di finalizzare i layout dei rack.Il prezzo MQM8790-HS2F e le opzioni di vendita MQM8790-HS2F dovrebbero essere convalidati con il canale di appalto, poiché i prezzi variano a seconda della scala e della configurazione.

Raccomandazioni per il dispiegamento e l'espansione

Per la distribuzione iniziale, un singolo switch MQM8790-HS2F InfiniBand può fungere da spina dorsale e core in un piccolo cluster, collegando fino a 40 nodi a 200 Gb/s.vengono aggiunti altri interruttori spinali, e il tessuto passa a un disegno a due livelli completo con separazione foglia-spina dorsale.

Guida all' espansione:

• Disciplina del cablaggio:Standardizzare l'ottica QSFP56 e i tipi DAC/AOC per semplificare il risparmio e ridurre il rischio di compatibilità.
• Spartizione delle porte:Utilizzare il breakout 2×100Gb/s quando non sono richiesti 200Gb/s per nodo, migliorando l'efficienza delle porte.
• Obiettivi di sovrascrizione:Pianificare rapporti spina dorsale-foglia basati su modelli di carico di lavoro piuttosto che sulla larghezza di banda teorica di picco da sola.
• Potenza e raffreddamento:Valida la potenza di testa per il rack rispetto al disegno nominale dell'interruttore prima di scalare.

Monitoraggio delle operazioni, risoluzione dei problemi e ottimizzazione

La visibilità operativa è fondamentale per mantenere una bassa latenza su larga scala.La soluzione di commutazione MQM8790-HS2F InfiniBand dovrebbe essere integrata con UFM per il monitoraggio su tutto il tessuto e NetQ per la telemetria e la convalida.

Le pratiche raccomandate includono:

• Monitorare i contatori per porto per errori, scarti e eventi di congestione.
• Tracciare i candidati con nodi lenti utilizzando la telemetria piuttosto che basarsi esclusivamente sui fallimenti a livello di lavoro.
• Valida la coerenza del firmware su tutti gli switch e gli adattatori per evitare problemi di compatibilità.
• Rivedere periodicamente la configurazione SHARP, poiché alberi di aggregazione mal configurati possono ridurre piuttosto che migliorare le prestazioni.

Riassunto e valutazione del valore

L'MQM8790-HS2F fornisce una base pratica per i cluster RDMA, HPC e AI che richiedono una bassa latenza prevedibile e un'elevata larghezza di banda.SHARP in-network computing, e un ecosistema di gestione maturo, l'NVIDIA Mellanox MQM8790-HS2F aiuta gli architetti a progettare tessuti scalabili senza sacrificare l'efficienza.

Dal punto di vista del valore, il contributo dello switch dovrebbe essere valutato in base all'utilizzo del cluster, al tempo di completamento del lavoro e alle spese generali operative piuttosto che solo al numero di porte.