Soluzione Tecnica NVIDIA Mellanox MQM8790-HS2F: Ottimizzazione dell'Interconnessione a Bassa Latenza per Cluster RDMA/HPC/AI

Questa soluzione tecnica è progettata per architetti di rete, ingegneri pre-vendita e responsabili delle operazioni. Fornisce una guida completa per la progettazione, l'implementazione e la gestione di fabric InfiniBand ad alte prestazioni incentrate sul NVIDIA Mellanox MQM8790-HS2F, destinate a cluster HPC e di addestramento AI intensivi di RDMA.

I moderni cluster di addestramento AI e di calcolo scientifico affrontano sempre più l'interconnessione di rete come il principale collo di bottiglia delle prestazioni. I tradizionali fabric Ethernet faticano con il controllo della congestione, la latenza di coda e le capacità di offload della CPU, non riuscendo a soddisfare le esigenze dei modelli di comunicazione di addestramento distribuiti come All-Reduce e All-to-All. I requisiti chiave includono: latenza end-to-end sub-microsecondo, trasporto senza perdite e senza cadute, supporto GPU Direct RDMA e la capacità di scalare linearmente a migliaia di nodi. È necessaria un'architettura di switching InfiniBand dedicata per risolvere fondamentalmente queste sfide di efficienza dell'interconnessione.

Questa soluzione raccomanda una topologia Fat-Tree a due livelli per ottenere una larghezza di banda non bloccante e completa. Sia i livelli leaf che spine utilizzano lo switch InfiniBand MQM8790-HS2F, che fornisce 40 porte da 200 Gb/s HDR QSFP56. Utilizzando un cluster da 512 nodi come esempio, il design è il seguente:

• Livello leaf: Ogni MQM8790-HS2F collega 20 nodi di calcolo (dual-uplink) e 8 uplink al livello spine.
• Livello spine: 8 switch MQM8790-HS2F formano il piano spine, con connettività full-mesh tra ogni switch leaf e ogni switch spine.
• Rete di storage e gestione: Una subnet InfiniBand separata o Ethernet out-of-band per evitare interferenze con il traffico di calcolo.

Questa architettura garantisce una larghezza di banda di 200 Gb/s tra due nodi qualsiasi, con percorsi ridondanti multipli che assicurano che un singolo punto di guasto non influenzi la connettività globale. L'alta densità di porte del MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 riduce il numero di switch richiesti del 50% rispetto alle soluzioni EDR di generazione precedente, abbassando anche la complessità del fabric.

Il NVIDIA Mellanox MQM8790-HS2F funge da unità di switching centrale in questa soluzione, svolgendo i seguenti ruoli critici:

• Motore di switching senza perdite: Il controllo di flusso a livello di link InfiniBand elimina la perdita di pacchetti, garantendo l'efficienza del trasporto RDMA.
• Routing adattivo: Bilancia dinamicamente il traffico su più percorsi, evitando hotspot di congestione e migliorando il throughput effettivo.
• Calcolo in-network SHARPv3: Scarica le operazioni di riduzione sullo switch, accelerando All-Reduce di 2-3 volte.
• Alta densità e basso consumo energetico: 40 porte a 200 Gb/s con consumo energetico per porta leader del settore, riducendo il TCO.

Secondo il datasheet MQM8790-HS2F e le specifiche MQM8790-HS2F, lo switch offre una capacità di switching aggregata di 16 Tb/s, una latenza porta-porta inferiore a 130 ns e supporta alimentatori e ventole hot-swap per ambienti di produzione 24/7. Inoltre, il dispositivo è completamente compatibile con gli adattatori NVIDIA ConnectX-6/7 HDR e un'ampia gamma di cavi ottici/rame HDR, validando la maturità dell'ecosistema MQM8790-HS2F compatibile.

Seguire questi passaggi durante l'implementazione della soluzione:

• Gestione della subnet: Implementare gestori di subnet (SM) attivi-standby; la piattaforma NVIDIA UFM è raccomandata per la gestione centralizzata e la telemetria.
• Partizioni e livelli di servizio: Utilizzare chiavi di partizione (P_Key) per isolare tenant o workload; configurare le mappature SL2VL per dare priorità al traffico di addestramento AI.
• Selezione dei cavi: Utilizzare cavi in rame passivi per brevi distanze (<=3m) e cavi ottici attivi o transceiver per percorsi più lunghi per mantenere l'integrità del segnale.

Per cluster più grandi che superano i 2.000 nodi, è possibile adottare una topologia Fat-Tree a tre livelli o Dragonfly+, con il livello core che continua a utilizzare il MQM8790-HS2F come blocco fondamentale. Al momento dell'acquisto di unità aggiuntive, verificare il prezzo MQM8790-HS2F e la disponibilità tramite distributori autorizzati; gli elenchi verificati di MQM8790-HS2F in vendita includono tipicamente il firmware più recente e la garanzia. La soluzione switch InfiniBand MQM8790-HS2F scala con grazia dalla ricerca AI dipartimentale ai centri di supercalcolo exascale.

Un'operatività efficace del fabric InfiniBand richiede un monitoraggio proattivo e una risoluzione dei problemi disciplinata:

• Monitoraggio: Utilizzare ibnetdiscover per la verifica della topologia, perfquery per i contatori di porta e la telemetria UFM per la visibilità della congestione in tempo reale.
• Problemi comuni e risoluzione:
  • Link flapping: Verificare il corretto inserimento dei cavi ed eseguire test diagnostici sui cavi; sostituire ottiche difettose.
  • Failover del gestore di subnet: Assicurarsi che le priorità SM siano configurate correttamente e che lo SM secondario disponga di un database valido.
  • Routing adattivo non uniforme: Regolare i parametri dell'algoritmo di routing (ad esempio, routing_engine=ftree) e abilitare la distribuzione del carico.
• Suggerimenti per l'ottimizzazione: Abilitare l'aggregazione SHARP per le operazioni collettive; ottimizzare l'MTU a 4096 byte per trasferimenti di messaggi di grandi dimensioni; utilizzare la Quality of Service per separare il traffico di controllo, dati e gestione.

Aggiornamenti regolari del firmware tramite il portale di supporto NVIDIA garantiscono patch di sicurezza e miglioramenti delle prestazioni. Fare riferimento al datasheet MQM8790-HS2F per le linee di base delle prestazioni dettagliate e i valori dei contatori attesi in condizioni ottimali.

Il NVIDIA Mellanox MQM8790-HS2F offre una piattaforma di switching InfiniBand a prova di futuro che affronta le sfide principali dell'interconnessione di cluster RDMA/HPC/AI: latenza, perdite, overhead della CPU e scalabilità. Implementando l'architettura Fat-Tree a due livelli descritta sopra, le organizzazioni possono ottenere una scalabilità delle prestazioni lineare, tempi di completamento dei job prevedibili e un TCO significativamente ridotto rispetto alle soluzioni Ethernet legacy. La combinazione dello switch di velocità HDR a 200 Gb/s, densità a 40 porte e capacità di calcolo in-network lo rende una scelta ideale per implementazioni greenfield o aggiornamenti graduali da fabric EDR/HDR. Per i team di architettura che valutano cluster di prossima generazione, la soluzione switch InfiniBand MQM8790-HS2F offre un design di riferimento comprovato e pronto per la produzione.