Soluzione tecnica per switch InfiniBand NVIDIA Mellanox MQM8790-HS2F

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Soluzione tecnica. Ottimizzazione delle interconnessioni a bassa latenza per cluster RDMA/HPC/AI.

1. Analisi del contesto e dei requisiti del progetto

Mentre i cluster di formazione sull'intelligenza artificiale (AI) si riducono a migliaia di GPU e sistemi di calcolo ad alte prestazioni (HPC) spingono verso prestazioni exascale,il tessuto di rete che collega i nodi di calcolo è diventato un determinante critico delle prestazioniIn questi ambienti, la latenza non è solo una metrica, ma ha un impatto diretto sulle prestazioni delle applicazioni, sul tempo di risoluzione e sull'efficienza complessiva del cluster.Per carichi di lavoro che dipendono fortemente da operazioni collettive MPI (Message Passing Interface) e da modelli di comunicazione tutti-a-tutti come la formazione di grandi modelli linguistici, dinamica dei fluidi computazionali e simulazioni di chimica quantistica anche aumenti di latenza a livello di microsecondi possono tradursi in ore di tempo di esecuzione aggiuntivo.anche con RDMA su Ethernet convergente (RoCE), spesso faticano a fornire la latenza deterministica bassa e il funzionamento senza congestione richiesto da queste applicazioni esigenti.

Questa sfida è amplificata da tre tendenze concomitanti: in primo luogo, la crescente scala dei modelli di IA (ora che superano i trilioni di parametri) richiede un parallelo massiccio tra migliaia di GPU,che richiede un tessuto in grado di sostenere un elevato throughput con una minima varianza di latenzaIn secondo luogo, la convergenza dei carichi di lavoro HPC e AI significa che un unico tessuto deve supportare efficacemente sia i modelli di comunicazione basati su MPI che le operazioni collettive GPU basate su NCCL.L'efficienza operativa richiede che il tessuto sia gestibile su scala, con capacità di monitoraggio e ottimizzazione automatizzate.È necessaria una soluzione tecnica strutturata che sfrutti uno switch InfiniBand ad alte prestazioni con inoltro a bassa latenza, gestione avanzata della congestione e accelerazione del calcolo in rete per fornire prestazioni prevedibili su larga scala.

2. Progettazione complessiva dell'architettura di rete / sistema

L'architettura proposta adotta una topologia a spina dorsale che utilizzaNVIDIA Mellanox MQM8790-HS2Fswitch come livello di foglia, collegati a switch spinale a maggiore densità di porte (come la serie QM9700 con 64 porte di 400Gb/s NDR) per tessuti su larga scala.L'architettura è progettata per supportare la comunicazione non bloccante con larghezza di banda di bisezione completa, garantendo che qualsiasi nodo di calcolo possa comunicare con qualsiasi altro nodo alla velocità del filo senza contesa.

In una distribuzione tipica per un cluster di 2.000 nodi, l'architettura comprende:

• Livello di foglie:20MQM8790-HS2F InfiniBand switchunità, ciascuna dotata di 40 porte QSFP56 che operano a 200 Gb/s HDR.Ogni switch a foglia si connette a 50 nodi di calcolo (utilizzando un mix di connessioni dirette da 200 Gb/s e HDR100 da 100 Gb/s tramite cavi QSFP56 a 2×QSFP56).
• Livello spinale:4 switch QM9700 (o switch di alta densità equivalenti), ciascuno con 64 porte di NDR di 400 Gb/s, che forniscono connettività inter-foglia.
• Nodi di calcolo:Ogni nodo dotato di uno o più adattatori ConnectX-6 HDR o ConnectX-7 NDR, collegati a interruttori a foglia tramite cavi ottici passivi in rame o attivi.
• Rete di gestione:Una rete Ethernet separata fuori banda per la gestione degli switch, integrata con la piattaforma NVIDIA Unified Fabric Manager (UFM) per il monitoraggio e l'ottimizzazione centralizzati dei tessuti.

L'architettura sfrutta laMQM8790-HS2F 200Gb/s HDR 40 porte QSFP56L'uso di breakout HDR100 consente opzioni di connettività flessibili:ciascuna porta a 200 Gb/s può supportare un singolo endpoint a 200 Gb/s o due endpoint a 100 Gb/s, che ospita nodi di calcolo eterogenei con velocità di interfaccia diverse.

3. Ruolo e caratteristiche chiave del NVIDIA Mellanox MQM8790-HS2F nella soluzione

All'interno di questa architetturaMQM8790-HS2Ffunge da switch di base, fornendo connettività a bassa latenza e ampia larghezza di banda ai nodi di calcolo, supportando al contempo funzionalità avanzate essenziali per i carichi di lavoro HPC e AI.Le sue caratteristiche tecniche chiave sono fondamentali per il successo della soluzione complessiva:

• La latenza da porta a porta inferiore a 100 nanosecondi:Fornisce una latenza deterministica bassa essenziale per i collettivi MPI sensibili alla latenza e le operazioni all-reduce.
• 40 porte di HDR InfiniBand da 200 Gb/s:Fornisce una capacità di commutazione totale di 8Tb / s in un fattore di forma compatto 1U, massimizzando la densità delle porte e riducendo il consumo di spazio rack.
• supporto per SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Consente l'accelerazione del calcolo in rete per le operazioni collettive MPI, scaricando fino al 20% del carico di lavoro di comunicazione dalla CPU/GPU.
• Routing adattivo:Distribuisce in modo dinamico il traffico tra i percorsi di tessuto disponibili sulla base di metriche di congestione in tempo reale, ottimizzando il throughput e riducendo al minimo la varianza di latenza.
• Controllo della congestione:Attuazione di meccanismi avanzati di gestione della congestione (compreso il controllo del flusso a livello di pacchetto e la notifica della congestione) per evitare che gli hotspot della rete degradino le prestazioni.
• Supporto per l' HDR100:Permette di configurare ciascuna porta da 200 Gb/s come due porte indipendenti da 100 Gb/s, fornendo flessibilità di implementazione per ambienti a velocità mista.
• Interfacce di gestione complete:Supporta IBTA-compliant Subnet Management (SM), SNMP, CLI, Web UI e integrazione con UFM per la gestione centralizzata dei tessuti.
• Efficienza energetica:Consumo tipico di energia inferiore a 230 W, che contribuisce a ridurre i requisiti di raffreddamento e a migliorare il PUE.

Queste caratteristiche sono ampiamente documentate nelfoglio dati MQM8790-HS2F, che comprende curve di prestazione dettagliate, specifiche termiche e disegni meccanici per l'integrazione negli strumenti di layout dei rack.

4. Raccomandazioni di distribuzione e scalabilità (con descrizione tipica della topologia)

Per la distribuzione iniziale, raccomandiamo una strategia di espansione modulare basata sull'architettura a livello di pod.supporto di circa 400 nodi di calcolo con larghezza di banda di bisezione completa. ilMQM8790-HS2F Soluzione di interruttore InfiniBandconsente una scalabilità incrementale aggiungendo pods man mano che la capacità di calcolo cresce, con il livello spinale che fornisce la connettività tra i pods per un tessuto unificato.

Topologia tipica per un singolo pod (400 nodi di calcolo):

• Interruttori a foglia:4 × MQM8790-HS2F, ciascuna con 40 porte a 200Gb/s. Per la connettività dei nodi di calcolo vengono utilizzate 36 porte per foglio (supportando fino a 72 nodi per foglio utilizzando il breakout HDR100),mentre 4 porte per foglia sono utilizzati per spine uplinks.
• Interruttori spinali:2 × QM9700 (o switch NDR a 64 porte equivalenti), ciascuno connesso a tutti e 4 gli switch a foglia tramite collegamenti ascendenti a 400 Gb/s (utilizzando cavi QSFP56 a QSFP-DD da 4 × 200 Gb/s).
• Nodi di calcolo:400 nodi, ciascuno collegato a un switch a foglia tramite una singola connessione HDR100 da 200 Gb/s o doppia connessione HDR100 da 100 Gb/s.

Scalare oltre una singola capsula:

• Aggiungere capsule aggiuntive (ciascuna con 4 switch MQM8790-HS2F a foglia) a seconda della capacità di calcolo richiesta.
• Collegare le capsule attraverso uno strato superiore della colonna vertebrale (superspina) utilizzando altri interruttori QM9700 o NDR.
• Mantenere la consistenza del tessuto utilizzandoMQM8790-HS2Fin tutte le posizioni delle foglie, garantendo una latenza e una gestione uniformi su tutto il tessuto.

Quando si utilizza laMQM8790-HS2Fin modalità di interruzione HDR100 si applicano le seguenti linee guida di cablaggio:

Per i tessuti su larga scala che superano i 2.000 nodi, si raccomanda di utilizzare le capacità di simulazione dei tessuti di UFM per convalidare la progettazione della topologia e il comportamento di congestione prima della distribuzione.

5. Operazioni e manutenzione: monitoraggio, risoluzione dei problemi e ottimizzazione

Il ciclo di vita operativo del tessuto InfiniBand basato su MQM8790-HS2F richiede un approccio sistematico al monitoraggio, alla risoluzione dei problemi e all'ottimizzazione.Raccomandiamo di implementare la piattaforma NVIDIA UFM come strumento centrale di gestione e monitoraggio, fornendo visibilità in tempo reale delle prestazioni del tessuto, delle metriche di latenza e dei modelli di congestione.

Metrici di monitoraggio chiave da monitorare:

• La latenza a livello di porta:La latenza end-to-end attraverso il tessuto, con avvisi per porte che superano le soglie di latenza.
• Prodotto e utilizzo:L'indicatore di potenza di caricamento deve essere in grado di identificare i collegamenti sottoutilizzati o sovrautilizzati.
• Indicatori di congestione:Packet drop, pause frames e notifiche di congestione.
• Salute dei tessuti:Status del collegamento, contatori di errori e telemetria temperatura/potenza.

Protocollo di risoluzione dei problemi comuni:

1. Degradazione della latenza:Utilizzare gli strumenti di analisi della latenza di UFM per identificare il percorso specifico o la porta con maggiore latenza; verificare la congestione o la configurazione errata del routing adattivo.
2. Errori di collegamento:Ispezionare la connettività fisica (cavi, ottici) e i contatori di errore delle porte; verificare che ilMQM8790-HS2F compatibileIn questo caso si tratta di un'operazione di ricerca.Le specifiche MQM8790-HS2F.
3. Problemi di gestione della sottorete:Verificare che il Subnet Manager (SM) sia in esecuzione e che la topologia del tessuto sia correttamente scoperta; verificare l'esistenza di eventi di failover SM.

Raccomandazioni di ottimizzazione:

• Regolazione del percorso:Aggiustare i parametri dell'algoritmo di routing in base ai modelli di traffico osservati ¢ utilizzare l'UFM per simulare diverse politiche di routing prima di applicarle al tessuto di produzione.
• Configurazione di controllo della congestione:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Aggiornamenti del firmware e del software:Aggiornare regolarmente il firmware e il software UFM per accedere a miglioramenti delle prestazioni e nuove funzionalità.
• Controlli periodici dei tessuti:Per garantire l'affidabilità operativa su larga scala, effettuare regolarmente audit dei cablaggi, dell'alimentazione e del raffreddamento.

6. Riassunto e valutazione del valore

IlNVIDIA Mellanox MQM8790-HS2FLa soluzione tecnica basata su RDMA fornisce una metodologia completa e convalidata sul campo per ottimizzare l'interconnessione a bassa latenza nei cluster RDMA/HPC/AI.Sfruttando le 40 porte del switch di 200 Gb/s HDR InfiniBand, latenza inferiore ai 100 nanosecondi, calcolo in rete SHARP e capacità di routing adattivo,le organizzazioni possono costruire tessuti che offrono prestazioni prevedibili su scala semplificando la gestione e riducendo le spese operative.

Le metriche di valore chiave di implementazioni comparabili includono:

• Riduzione della latenza:La latenza port-to-port inferiore ai 100 nanosecondi riduce i tempi di completamento collettivo dell'MPI fino al 35% rispetto ai tessuti di generazione precedente.
• Accelerazione di applicazione:SHARP in-network compute offload riduce il sovraccarico di comunicazione CPU/GPU fino al 20%, accelerando i tempi di formazione dell'IA del 25-30%.
• Efficienza del tessuto:Il routing adattivo e il controllo della congestione mantengono prestazioni costanti sotto carichi variabili, riducendo la variabilità delle prestazioni fino al 60%.
• Semplificazione operativa:L'integrazione UFM fornisce una visibilità e un'automazione complete, riducendo il MTTR per gli incidenti di tessuto fino al 50%.
• Efficienza dei costi:IlMQM8790-HS2F prezzocombinato con la sua elevata densità di porte offre costi più bassi per porta rispetto alle soluzioni alternative InfiniBand, riducendo al contempo il requisito di spazio e di potenza.

Per gli architetti di rete e i responsabili dell'ingegneria, l'MQM8790-HS2F offre una base scalabile e ad alte prestazioni per i cluster HPC e AI di prossima generazione.La soluzione è particolarmente raccomandata per le organizzazioni che implementano ambienti GPU-accelerated su larga scala, così come i tradizionali centri HPC che passano da 100Gb/s a 200Gb/s.Il supporto di MQM8790-HS2F per l'evoluzione HDR100 garantisce la compatibilità con le infrastrutture esistenti, fornendo al contempo un percorso di migrazione chiaro verso velocità future.

Per i modelli dettagliati di progettazione dei tessuti, le guide di regolazione delle prestazioni e le liste di controllo di implementazione, si rimanda alfoglio dati MQM8790-HS2Fe la documentazione di architettura NVIDIA Mellanox InfiniBand.