Switch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 in Produzione

Le imprese e gli istituti di ricerca che effettuano la formazione sull'intelligenza artificiale e le simulazioni HPC si trovano spesso ad affrontare un collo di bottiglia comune: la latenza e la congestione indotte dalla rete che sprecano i cicli di calcolo della GPU.Questo caso di studio di implementazione esamina come un laboratorio di ricerca sull'IA di medie dimensioni ha trasformato le prestazioni dei cluster utilizzando ilMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0InfiniBand switch, raggiungendo tessuto deterministico a bassa latenza per carichi di lavoro paralleli.

Sfida e sfide: quando Ethernet diventa il collo di bottiglia

L'esistente tessuto Ethernet da 100 Gb del laboratorio ha costantemente mostrato picchi di latenza della coda durante le operazioni all-reduce, causando tempi di inattività della GPU fino al 25% nei lavori di formazione su larga scala.I loro switch legacy mancavano di controllo della congestione RDMA e capacità di calcolo in reteGli architetti avevano bisogno di una soluzione che potesse fornire latenza sotto-microsegundo, trasporto senza perdite e scalabilità senza soluzione di continuità per un backbone NDR in espansione a 400Gb/s. Dopo aver valutato più opzioni, il progetto è stato progettato per offrire un'ampia gamma di soluzioni per la distribuzione di dati NDR.la squadra ha selezionato il920-9B210-00FN-0D0come blocco di costruzione per il loro nuovo tessuto InfiniBand.

Soluzione e implementazione: costruzione di un tessuto AI a bassa latenza

La distribuzione si è concentrata sulla920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRSwitch, che funge da spina dorsale per 32 server GPU.

• Supporto completo RDMA:Eliminare i costi di bypass del kernel utilizzando lo strato di trasporto proprietario di NVIDIA.
• Routing adattivo:Bilanciamento dinamico del traffico su più percorsi per evitare punti critici.
• Aggregazione in rete SHARPv3:Scaricare le operazioni collettive dalle CPU host sul piano dati degli switch.

Gli ingegneri hanno fatto riferimento al920-9B210-00FN-0D0 scheda dati- e920-9B210-00FN-0D0 specificheper convalidare la compatibilità con gli adattatori ConnectX-7 esistenti.920-9B210-00FN-0D0 compatibileL'ecosistema ha permesso una sostituzione a caduta per gli interruttori spinale precedenti senza modifiche di cablaggio.920-9B210-00FN-0D0 InfiniBand switch OPN(numero della parte di ordinazione) semplificato i flussi di lavoro di appalto e RMA.

Risultati e benefici: benefici misurabili per l'HPC e l'IA

Dopo la migrazione verso laNVIDIA Mellanox 920-9B210-00FN-0D0- a base di tessuto, il laboratorio ha registrato i seguenti miglioramenti nel corso di un periodo di valutazione di 30 giorni:

Per i gestori IT che valutano il costo totale di proprietà, il920-9B210-00FN-0D0 prezzoLa riduzione del 40% della potenza inattiva del cluster e un'accelerazione del volume di lavoro sono stati compensati da una riduzione del 40% della potenza inattiva del cluster e da un aumento del volume di lavoro.920-9B210-00FN-0D0 in venditaIl canale di distribuzione attraverso distributori autorizzati ha inoltre fornito un supporto per il ciclo di vita di 5 anni, fondamentale per la pianificazione a lungo termine delle infrastrutture HPC.

Riassunto e prospettive: un progetto per i cluster di IA di nuova generazione

Il laboratorio di ricerca ha ora standardizzato la920-9B210-00FN-0D0 InfiniBand switch OPN soluzioneIn futuro, il team prevede di scalare da 32 a 256 porte NDR utilizzando la stessa piattaforma di commutazione, sfruttando la sua architettura non bloccante e il controllo della congestione.Per gli architetti che progettano tessuti RDMA a bassa latenza, ilNVIDIA Mellanox 920-9B210-00FN-0D0fornisce una base comprovata, pronta per la produzione, che elimina l'imprevedibilità della rete, dai piccoli cluster di prototipazione dell'IA alle implementazioni HPC exascale.