Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch Soluzione tecnica

Questo white paper tecnico fornisce ad architetti, ingegneri pre-vendita e team operativi un progetto di riferimento completo incentrato sulMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Interruttore InfiniBand. La soluzione affronta le sfide più urgenti nei moderni ambienti AI e HPC: latenza indotta dalla rete, congestione e limitazioni di scalabilità dei tradizionali tessuti Ethernet.

1. Contesto del progetto e analisi dei requisiti

Le organizzazioni che implementano cluster GPU su larga scala per l'addestramento di modelli linguistici di grandi dimensioni, simulazioni di dinamica molecolare o previsioni meteorologiche si trovano ad affrontare un collo di bottiglia comune: il tessuto di interconnessione. L'Ethernet con perdita convenzionale non può garantire la latenza deterministica, inferiore al microsecondo, richiesta per operazioni collettive efficienti di riduzione all-tutto e all-to-all. I requisiti chiave identificati dalle implementazioni nel mondo reale includono:

• Latenza end-to-end inferiore a 1 µs per carichi di lavoro MPI sensibili alla latenza
• Senza perdite, velocità di linea di 400 Gb/s per porta senza blocco head-of-line
• Elaborazione in rete per scaricare le operazioni collettive dalle CPU host
• Scalabilità perfetta da 8 a oltre 2.000 nodi GPU senza riarchitettura del tessuto

Queste richieste hanno portato il nostro team di progettazione a selezionare il920-9B210-00FN-0D0come elemento fondamentale per il tessuto a bassa latenza di prossima generazione.

2. Progettazione complessiva dell'architettura di rete/sistema

L'architettura proposta adotta una topologia leaf-spine a due livelli ottimizzata per una larghezza di banda a bisezione completa e non bloccante. Tutti i nodi di elaborazione (server GPU, dispositivi di storage, host di gestione) si connettono agli switch foglia, mentre gli switch spine forniscono connettività any-to-any tra le foglie. Questo design elimina gli abbonamenti eccessivi e garantisce una latenza prevedibile indipendentemente dai modelli di comunicazione.

Per un cluster di riferimento da 512 GPU, implementiamo 16 switch leaf e 8 switch spine, ciascuno dei quali èNVIDIA Mellanox 920-9B210-00FN-0D0. I collegamenti leaf-spine funzionano a 400 Gb/s NDR, risultando in una larghezza di banda aggregata del tessuto superiore a 200 Tb/s. Gli algoritmi di routing adattivo (AR) e di controllo della congestione sono abilitati su tutte le porte per bilanciare dinamicamente il traffico ed evitare hotspot durante gli eventi incast.

3. Ruolo del 920-9B210-00FN-0D0 e principali differenziatori

IL920-9B210-00FN-0D0 MQM9790-NS2F NDR da 400 Gb/sL'interruttore funge sia da foglia che da dorso, fornendo prestazioni costanti su tutto il tessuto. I suoi vantaggi architettonici critici includono:

Gli ingegneri che valutano gli appalti troveranno il file920-9B210-00FN-0D0 Interruttore InfiniBand OPN(codice articolo dell'ordine) semplifica il preventivo e la consegna. Per la convalida dell'interoperabilità, ilScheda tecnica 920-9B210-00FN-0D0ESpecifiche 920-9B210-00FN-0D0fornire matrici dettagliate di compatibilità con ConnectX-7, DPU BlueField-3 e dispositivi di archiviazione di terze parti.

4. Raccomandazioni per la distribuzione e la scalabilità

Consigliamo un approccio di distribuzione graduale per ridurre al minimo le interruzioni della produzione:

• Fase 1 (Pilota):Da 8 a 16 nodi GPU + 2920-9B210-00FN-0D0interruttori (topologia a binario singolo). Convalida le prestazioni RDMA e raccogli le metriche di base.
• Fase 2 (Produzione parziale):Scala fino a 128 GPU utilizzando 4 foglie + 2 spine. Abilita il routing adattivo e SHARPv3.
• Fase 3 (produzione completa):Distribuisci 16 foglie + 8 spine per oltre 512 GPU. Introduci il routing multipercorso e il partizionamento della struttura utilizzando NVIDIA UFM.

Per il cablaggio utilizzare cavi ottici attivi (AOC) o cavi in ​​rame attivi per tratte inferiori a 5 metri; per spine più lunghe o collegamenti cross-rack, utilizzare ricetrasmettitori NDR da 400 Gb/s con fibra monomodale. Tutte le porte suCompatibile con 920-9B210-00FN-0D0L'ecosistema supporta la negoziazione automatica tra le modalità operative da 400 Gb/s e 200 Gb/s.

5. Operazioni, monitoraggio e risoluzione dei problemi

La preparazione alla produzione richiede una solida osservabilità. Integriamo il920-9B210-00FN-0D0 Soluzione OPN switch InfiniBandcon NVIDIA Unified Fabric Manager (UFM). Le principali capacità operative includono:

• Telemetria in tempo reale:Contatori per porta, istogrammi di latenza, occupazione del buffer e notifiche di congestione esportate tramite Prometheus/Graphite.
• Failover automatico:Reindirizzamento del collegamento inferiore al secondo in caso di guasto del cavo o del ricetrasmettitore.
• Diagnostica delle prestazioni:Contatori di prestazioni SHARP integrati e strumenti di analisi del tessuto per identificare i nodi a drenaggio lento.

Per problemi comuni, fare riferimento aScheda tecnica 920-9B210-00FN-0D0per i codici di errore e le azioni correttive suggerite. Quando si pianificano aumenti di capacità, consultare il920-9B210-00FN-0D0 prezzomodelli per compromessi tra espansione della sola foglia e dell’intera colonna vertebrale.

6. Riepilogo e valutazione del valore

ILNVIDIA Mellanox 920-9B210-00FN-0D0La soluzione basata su cloud offre latenza deterministica inferiore al microsecondo, throughput senza perdite di 400 Gb/s e accelerazione informatica in rete per cluster RDMA/HPC/AI. Rispetto ai design alternativi Ethernet da 400 Gb, questa struttura InfiniBand raggiunge una latenza di riduzione totale 2,5 volte inferiore ed elimina fino al 90% del traffico collettivo tramite SHARPv3. Per le organizzazioni che valutano il920-9B210-00FN-0D0 in venditaopzioni, il costo totale di proprietà viene generalmente recuperato entro 6-12 mesi grazie a un maggiore utilizzo della GPU e tempi di completamento dei lavori ridotti. Raccomandiamo l'implementazione pilota immediata per qualsiasi infrastruttura AI nuova o in scala.