NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch in pratica

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch in pratica. Ottimizzazione delle interconnessioni a bassa latenza per cluster RDMA/HPC/AI

Sfida e sfide: il collo di bottiglia della latenza nei cluster AI e HPC su larga scala

Man mano che i cluster di addestramento dell'intelligenza artificiale si riducono a migliaia di GPU e i sistemi HPC spingono verso prestazioni exascale, il tessuto di rete che collega i nodi di calcolo è diventato un determinante critico delle prestazioni.In questi ambienti, la latenza non è solo una metrica, ma ha un impatto diretto sulle prestazioni delle applicazioni, sul tempo di risoluzione e sull'efficienza complessiva del cluster.Per carichi di lavoro che dipendono fortemente da operazioni collettive MPI (Message Passing Interface) e da modelli di comunicazione tutti-a-tuttiPer esempio, la formazione di modelli linguistici di grandi dimensioni e la dinamica dei fluidi computazionali, anche aumenti di latenza a livello di microsecondi possono tradursi in ore di runtime aggiuntivo.anche con RDMA su Ethernet convergente (RoCE), spesso faticano a fornire la latenza deterministica bassa richiesta da queste applicazioni impegnative.

Questa sfida è stata recentemente affrontata da un laboratorio di ricerca nazionale che ha implementato un cluster HPC di 2.000 nodi per la modellazione climatica e la ricerca sull'IA.Il cluster richiedeva una connettività a 200 Gb/s con latenza inferiore a 100 nanosecondi per supportare sia i carichi di lavoro HPC basati su MPI che la formazione distribuita dell'IAIl team di ingegneri aveva bisogno di uno switch in grado di fornire prestazioni costanti e a bassa latenza su scala,supportando funzionalità avanzate come il routing adattivo e il controllo della congestione per mantenere l'efficienza del tessuto in condizioni di carico variabili. ilNVIDIA Mellanox MQM8790-HS2FL'azienda è emersa come la soluzione ideale, offrendo 40 porte di HDR InfiniBand da 200 Gb/s con latenza inferiore ai 100 nanosecondi e capacità avanzate di calcolo in rete.

Soluzione e implementazione: costruzione di un tessuto InfiniBand a bassa latenza

Per affrontare le sfide legate alla latenza e alla scalabilità, il laboratorioNVIDIA Mellanox MQM8790-HS2FQuesto modello è stato progettato per essere utilizzato come interruttore centrale in un'architettura di tessuto spine-leaf.MQM8790-HS2F InfiniBand switchfornisce 40 porte QSFP56, ciascuna operante a 200Gb/s HDR, fornendo una capacità di commutazione totale di 8Tb/s con latenza sotto-100 nanosecondi da porta a porta.Topologia a 16 foglie, collegando 2.000 nodi di calcolo ciascuno dotato di adattatori HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR 40 porte QSFP56La configurazione ha permesso al team di costruire un tessuto non bloccante con larghezza di banda di bisezione completa, garantendo che ogni nodo potesse comunicare con ogni altro nodo alla velocità del filo.

L'implementazione si è svolta in tre fasi chiave:

• Disegno del tessuto:Utilizzando ilMQM8790-HS2F Soluzione di interruttore InfiniBand, il team ha progettato una topologia di spine-leaf in cui ciascuno dei 16 switch di spine è collegato a 50 nodi di calcolo (utilizzando una combinazione di connessioni dirette da 200 Gb/s e connessioni di breakout HDR100 da 100 Gb/s),mentre 4 interruttori spinale forniscono la connettività inter-foglia. ilMQM8790-HS2Fgli switch sono stati configurati con il routing adattivo abilitato, consentendo al tessuto di distribuire dinamicamente il traffico tra i percorsi disponibili ed evitare i punti di congestione.
• Configurazione delle funzionalità avanzate:Il team ha abilitato SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) sui switch MQM8790-HS2F per scaricare le operazioni collettive MPI dai nodi di calcolo.Questa capacità di calcolo in rete ha permesso agli switch di eseguire tutte le operazioni di riduzione e di trasmissione direttamente, riducendo il numero di percorsi di rete e diminuendo la latenza complessiva per la comunicazione collettiva.
• Tuning delle prestazioni:La gestione della sottorete è stata configurata utilizzando la piattaforma NVIDIA Unified Fabric Manager (UFM), che ha fornito visibilità in tempo reale sullo stato del tessuto, sulle metriche di latenza e sui modelli di congestione.Il team ha regolato i parametri di controllo della congestione per ottimizzare le prestazioni per il profilo di carico di lavoro misto HPC e AI.

Perché ilNVIDIA Mellanox MQM8790-HS2FèMQM8790-HS2F compatibilecon l'ecosistema più ampio NVIDIA InfiniBand, inclusi gli adattatori ConnectX‐6 e BlueField‐2, la distribuzione è stata senza soluzione di continuità, senza richiedere driver personalizzati o patch firmware.L'integrazione dell'interruttore con la piattaforma UFM ha permesso al team di monitorare le prestazioni del tessuto su larga scala, identificare e risolvere i potenziali colli di bottiglia prima che abbiano un impatto sull'esecuzione delle applicazioni.

Risultati e benefici: miglioramenti misurabili della latenza e delle prestazioni delle applicazioni

L'analisi comparativa post-implementazione nel cluster di 2 000 nodi ha rivelato significativi miglioramenti delle prestazioni.La latenza media da porta a porta su tutto il tessuto è stata misurata a 85 nanosecondi in linea con la specifica sotto-100 nanosecondi documentata nel documento di riferimento.foglio dati MQM8790-HS2FQuesta bassa latenza si è tradotta direttamente in miglioramenti delle prestazioni delle applicazioni: le operazioni MPI all-reduce sono state completate fino al 35% più velocemente rispetto al precedente tessuto InfiniBand da 100 Gb/s del laboratorio.mentre i lavori di formazione distribuita dell'IA (utilizzando la comunicazione basata su NCCL) hanno visto i tempi di epoca end-to-end ridotti di circa il 28%.

In secondo luogo, la capacità di calcolo in rete SHARP ha fornito notevoli vantaggi di prestazione.il cluster ha ridotto l'utilizzo della CPU e della GPU per le attività di comunicazione fino al 20%Ciò è stato particolarmente utile per la formazione su larga scala dell'IA, dove la comunicazione collettiva può rappresentare il 30-40% del tempo di esecuzione totale.

In terzo luogo, la funzione di routing adattivo si è rivelata fondamentale per mantenere prestazioni costanti in condizioni di carico variabili.,il routing adattivo distribuisce dinamicamente il traffico tra i percorsi disponibili, mantenendo la latenza media entro il 10% del valore di riferimento e prevenendo il degrado delle prestazioni causato dalla congestione.Il team ha monitorato la salute dei tessuti utilizzando la piattaforma UFM, che ha fornito cruscotti in tempo reale per monitorare la latenza, il throughput e l'utilizzo dei collegamenti su tutti i 20 switch.

In quarto luogo, la densità diMQM8790-HS2F 200Gb/s HDR 40 porte QSFP56Il laboratorio ha ridotto il numero di switch richiesti del 50% rispetto alla precedente infrastruttura InfiniBand a 100 Gb/s,riduzione del consumo di spazio e dei requisiti di potenzaOgni MQM8790-HS2F consumava meno di 230 W di potenza tipica, contribuendo a una riduzione del 20% dei costi di raffreddamento per l'infrastruttura di rete.

Dal punto di vista operativo, le capacità di gestione dell'interruttore semplificavano la manutenzione in corso.Il team di rete del laboratorio ha utilizzato le interfacce CLI e Web UI per eseguire aggiornamenti del firmware e modifiche di configurazione senza interrompere le operazioni del tessuto, sfruttando il supporto dello switch per gli aggiornamenti senza colpi.Le specifiche MQM8790-HS2Fincludere funzionalità di gestione complete, tra cui il monitoraggio SNMP e l'integrazione del syslog,consentire al team di integrare il tessuto nel quadro di monitoraggio del proprio centro operativo di rete (NOC) esistente.

Riassunto e prospettive: un progetto per i tessuti InfiniBand a bassa latenza

L'esperienza di distribuzione con ilNVIDIA Mellanox MQM8790-HS2Fattraverso un cluster HPC e AI di 2.000 nodi dimostra chiaramente che un switch HDR InfiniBand da 40 porte a 200 Gb/s può fornire la bassa latenza, la scalabilità,e caratteristiche avanzate richieste per carichi di lavoro di ricerca e aziendali impegnativiSfruttando la latenza inferiore ai 100 nanosecondi dello switch, il routing adattivo e le capacità di calcolo in rete di SHARP, le organizzazioni possono costruire tessuti che accelerano la comunicazione MPI e AI,ridurre il tempo di risoluzione, e migliorare l'efficienza complessiva dei cluster.

Guardando al futuro, man mano che i cluster di formazione AI continueranno a crescere verso oltre 10.000 GPU e sistemi HPC scalabili in esa-scala, la domanda di switch InfiniBand ad alta densità e bassa latenza aumenterà solo.L' MQM8790-HS2F e' ben posizionata per questa traiettoria., perché la sua densità di 40 porte, la sua capacità di commutazione di 8 Tb/s e il supporto per le velocità HDR200 e HDR100 garantiscono la compatibilità con i nodi di calcolo di generazione corrente e successiva.Per le organizzazioni che pianificano implementazioni di cluster HPC o AI simili, l'approccio a livelli di spine-leaf convalidato in questa implementazione offre una tabella di marcia pratica: implementare gli switch MQM8790-HS2F per la connettività di accesso,utilizzare interruttori spinali a maggiore densità di porte (come la serie QM9700 a 64 porte) per tessuti più grandi, e mantenere un quadro di gestione unificato che sfrutti l'UFM per l'ottimizzazione proattiva dei tessuti.

Per i modelli dettagliati di progettazione dei tessuti, le guide di regolazione delle prestazioni e le liste di controllo di implementazione, si rimanda alfoglio dati MQM8790-HS2Fe la documentazione di architettura NVIDIA Mellanox InfiniBand.