Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in azione
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in azione ¢ Ottimizzazione dell'interconnessione a bassa latenza per cluster RDMA/HPC/AI
Un centro regionale di supercalcolo ha recentemente intrapreso un importante aggiornamento della sua infrastruttura di calcolo dell'IA,l'espansione da 64 a 256 GPU NVIDIA A100 per supportare la formazione di modelli linguistici su larga scala e i carichi di lavoro di sequenziamento genomicoTuttavia, la rete RoCEv2 esistente a 100GbE è diventata un collo di bottiglia persistente, con frequenti tempeste di PFC, latenza di coda imprevedibile,la complessità della sintonizzazione ECN ha richiesto un notevole sforzo tecnico e ha prolungato i tempi di completamento del lavoro di oltre il 40%Questo caso di studio esamina come il centro ha implementato laMellanox 920-9B110-00FH-0D0InfiniBand commuta per trasformare il suo tessuto, fornendo interconnessione deterministica a bassa latenza per applicazioni ad alta intensità di RDMA.
Sfondo e sfide del tetto Ethernet
L'architettura iniziale del centro utilizzava due switch a foglia 100GbE con RoCEv2, che collegavano server GPU e un file system parallelo.Prima cosa, PFC (Priority Flow Control) blocchi si sono verificati quotidianamente, costringendo il ripristino manuale; secondo, tutte le operazioni collettive riducono hanno sperimentato latenze di coda superiori a 200 μs, rallentando direttamente l'utilizzo della GPU;Terzo, la risoluzione dei problemi richiedeva un'ispezione approfondita dei pacchetti, che richiedeva tempo e raramente era conclusiva.Non poteva provvedere agli incoscienti., deterministico necessario per i carichi di lavoro dell'IA di prossima generazione.
Soluzione e implementazione 920-9B110-00FH-0D0 InfiniBand Switch OPNcome la Nuova Spina dorsale
Dopo aver valutato molteplici opzioni, il centro ha selezionato leNVIDIA Mellanox 920-9B110-00FH-0D0La Commissione ha deciso di920-9B110-00FH-0D0 MQM8790-HS2FL'implementazione ha utilizzato una topologia a due livelli di fat-tree: quattro920-9B110-00FH-0D0switch come foglie (ciascuno connesso 64 nodi GPU tramite 200G link) e due unità aggiuntive come spine, fornendo larghezza di banda bisezione completa.,Sfruttare il920-9B110-00FH-0D0 compatibileLe decisioni chiave di attuazione includono:
- Cavi:Moduli ottici HDR 200G per distanze fino a 100 metri, con DAC passivi per connessioni intra-rack.
- Gestione:NVIDIA UFM (Unified Fabric Manager) per la scoperta automatizzata della topologia, le politiche di routing adattivo e la telemetria in tempo reale.
- Scarico collettivo:SHARPv2 ha permesso di accelerare le operazioni all‐reducing, scaricando il lavoro dalle CPU host e riducendo la chatter di rete.
Il team ha fatto riferimento al920-9B110-00FH-0D0 scheda dati- e920-9B110-00FH-0D0 specifichePer convalidare i requisiti di potenza e di raffreddamento, l'interruttore ha un fattore di forma di 1U e una densità di 200G per porta, che si adattano perfettamente ai rack esistenti senza ulteriori modifiche delle infrastrutture.920-9B110-00FH-0D0 InfiniBand switch OPN soluzioneInoltre, l'approvvigionamento è stato semplificato, con l'esatto OPN (numero della parte di ordine) che garantisce la corretta configurazione.
Risultati e benefici misurati
Dopo due settimane di implementazione e convalida, il centro ha documentato miglioramenti significativi in tutti gli indicatori chiave di performance.La tabella seguente riassume le metriche prima e dopo per un lavoro di formazione rappresentativo di 256 GPU (pre-training BERT-large):
| Metrica | Prima (RoCEv2) | Dopo (920-9B110-00FH-0D0) |
|---|---|---|
| All‐Reduce Latency (in media) | ~ 24 μs | ~ 9 μs |
| La latenza della coda (99,9 percentile) | > 250 μs | ~ 18 μs |
| Utilizzazione efficace della GPU | ~ 68% | ~ 89% |
| Tempo di completamento del lavoro (in media) | Valore di riferimento | -36% (1,56 volte più veloce) |
| Incidenti connessi alla rete (settimanale) | 8 ¢ 12 | 0 |
Oltre ai numeri, il team ha riferito che ilNVIDIA Mellanox 920-9B110-00FH-0D0La telemetria integrata fornita dal sistema di rilevamento dei PFC è stata utilizzata per rilevare i PFC utilizzati per il riciclaggio di materiale.920-9B110-00FH-0D0 InfiniBand switch OPNIl progetto ha fornito al personale operativo una visibilità dettagliata della congestione per flusso e dell'utilizzo del percorso, consentendo una pianificazione proattiva della capacità.920-9B110-00FH-0D0 prezzoIl progetto ha dimostrato di essere economicamente conveniente rispetto all'aggiornamento a switch NDR 400G, il che lo rende ideale per il budget medio del centro.
Riassunto e prospettive Un percorso comprovato verso l'interconnessione a bassa latenza
L'esperienza del centro di supercomputing dimostra che laMellanox 920-9B110-00FH-0D0offre un'alternativa pragmatica e ad alte prestazioni sia ai tessuti Ethernet in difficoltà che alle costose soluzioni di fascia alta.e trasporto RDMA senza perdite, il passaggio consente alle organizzazioni di sfruttare appieno il potenziale dei loro investimenti in GPU, accelerando il tempo di comprensione dei carichi di lavoro di IA e HPC.
Guardando al futuro, il centro prevede di espandere il suo tessuto a 512 GPU utilizzando lo stesso920-9B110-00FH-0D0 InfiniBand switch OPN soluzione, scalabile aggiungendo ulteriori interruttori a foglia mantenendo l'infrastruttura spinale esistente.La compatibilità dello switch con i futuri adattatori NVIDIA (compreso ConnectX‐7) garantisce un percorso di aggiornamento fluidoPer le organizzazioni che valutano aggiornamenti simili, la920-9B110-00FH-0D0 specifiche- e920-9B110-00FH-0D0 scheda datiLa Commissione ritiene che la proposta di direttiva debba essere approvata.920-9B110-00FH-0D0 in venditaattraverso canali autorizzati).
Questa implementazione nel mondo reale conferma che la920-9B110-00FH-0D0è più di un prodotto è un fattore comprovato per la rete cluster ad bassa latenza e ad alta efficienza, pronta a soddisfare le esigenze del prossimo decennio dell'IA e dell'informatica scientifica.