Soluzione tecnica per switch InfiniBand Mellanox (NVIDIA) 920-9B110-00FH-0D0｜Ottimizzazione dell'interconnessione a bassa latenza

1. Contesto del progetto e analisi dei requisiti

La distribuzione e il ridimensionamento di cluster di calcolo accelerati moderni per l'addestramento dell'IA e i carichi di lavoro HPC presentano sfide di rete uniche. Le reti tradizionali basate su TCP/IP introducono una latenza significativa e un sovraccarico della CPU, diventando il principale collo di bottiglia. I requisiti chiave per una soluzione di interconnessione di nuova generazione includono: latenza deterministica inferiore al microsecondo per prevenire lo stallo della GPU, larghezza di banda bi-sezionale elevata per schemi di comunicazione da tutti a tutti, calcolo in rete scalabile per scaricare le operazioni collettive e una gestione della fabric robusta per la semplicità operativa.

Il NVIDIA Mellanox 920-9B110-00FH-0D0 è progettato per soddisfare queste precise esigenze, costituendo la base di una soluzione 920-9B110-00FH-0D0 InfiniBand switch OPN performante ed efficiente. Questo documento delinea un progetto tecnico completo per la sua distribuzione.

2. Progettazione generale dell'architettura di rete/sistema

L'architettura proposta è una topologia a fat-tree spine-leaf, non bloccante, che è lo standard de facto per la costruzione di cluster HPC e AI prevedibili e ad alta larghezza di banda. Questo design garantisce un conteggio degli hop e una latenza coerenti tra due nodi qualsiasi, eliminando la sovra-sottoscrizione e gli hotspot. L'architettura è costruita su un ecosistema completo, ottimizzato per NVIDIA.

• Livello di calcolo: Sistemi NVIDIA DGX o HGX, o server GPU equivalenti con NIC NVIDIA ConnectX-7.
• Livello di interconnessione: Una fabric omogenea di switch 920-9B110-00FH-0D0 che fungono sia da switch leaf (Top-of-Rack) che da switch spine.
• Livello di gestione e orchestrazione: NVIDIA UFM® per la gestione della fabric, integrato con scheduler di cluster come Slurm o Kubernetes tramite lo stack NVIDIA Magnum IO.

Questa architettura end-to-end garantisce prestazioni ottimali per le comunicazioni RDMA e GPUDirect, creando una "fabric come risorsa di calcolo" unificata.

3. Ruolo del 920-9B110-00FH-0D0 e caratteristiche tecniche chiave

All'interno di questa architettura, il 920-9B110-00FH-0D0 funge da unità fondamentale del piano dati. Il suo ruolo si estende oltre la semplice inoltro di pacchetti, diventando un elemento computazionale attivo.

Pilastri tecnici fondamentali:

• Latenza ultra-bassa e larghezza di banda elevata: Alimentato dall'ASIC 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR, offre una latenza da porta a porta leader del settore e una larghezza di banda di 200 Gb/s per porta a velocità di linea completa, fondamentale per il traffico RDMA.
• Calcolo in rete (SHARP): L'hardware dello switch accelera le operazioni collettive MPI e NCCL (All-Reduce, Broadcast) eseguendo l'aggregazione dei dati all'interno della rete. Questo riduce drasticamente il tempo di inattività della GPU e il sovraccarico della CPU.
• Controllo avanzato della congestione: I meccanismi di controllo della congestione Adaptive Routing e Timely gestiscono dinamicamente i flussi di traffico, prevenendo la perdita di pacchetti e garantendo una distribuzione equa della larghezza di banda durante gli scenari di incast comuni nell'addestramento dell'IA.
• Telemetria e visibilità: Il supporto integrato per l'infrastruttura di telemetria di NVIDIA fornisce approfondimenti sui modelli di traffico, l'occupazione del buffer e l'integrità dei collegamenti, essenziali per l'ottimizzazione delle prestazioni.

Gli ingegneri dovrebbero consultare la scheda tecnica ufficiale del 920-9B110-00FH-0D0 per le specifiche dettagliate del 920-9B110-00FH-0D0 su alimentazione, raffreddamento e configurazioni delle porte.

4. Raccomandazioni per la distribuzione e il ridimensionamento

La distribuzione inizia con un'attenta analisi dell'elenco dei componenti compatibili con 920-9B110-00FH-0D0. Un'unità di ridimensionamento tipica è un "pod" costruito con un fat-tree non bloccante.

Esempio: Pod cluster a 512 GPU

• Livello Leaf: Distribuire switch 920-9B110-00FH-0D0 come Top-of-Rack (ToR), ciascuno collegato a un massimo di 16 server GPU (ad esempio, 8 sistemi DGX A100).
• Livello Spine: Un secondo livello di switch 920-9B110-00FH-0D0 interconnette tutti gli switch leaf, fornendo una larghezza di banda bi-sezionale completa.
• Cablaggio: Utilizzare cavi QSFP56 HDR (passivi o attivi) per tutte le connessioni inter-switch e server a 200 Gb/s.

Ridimensionamento oltre un pod: Più pod possono essere interconnessi utilizzando switch spine-of-spine dedicati o estendendo la gerarchia fat-tree, sfruttando l'elevato radix del 920-9B110-00FH-0D0. Lo switch InfiniBand OPN 920-9B110-00FH-0D0 fornisce una chiara tabella di marcia per l'interoperabilità delle parti durante l'espansione.

5. Operazioni, monitoraggio, risoluzione dei problemi e ottimizzazione

La gestione proattiva è fondamentale per mantenere le massime prestazioni della fabric. NVIDIA UFM® è la piattaforma di gestione centrale consigliata.

Sono essenziali aggiornamenti regolari del firmware e l'adesione alle best practice delineate nella documentazione dello switch. Per problemi come prestazioni RDMA degradate, il flusso diagnostico dovrebbe iniziare con la telemetria UFM®, controllare l'integrità dei cavi e verificare le impostazioni SHARP e di controllo della congestione.

6. Conclusione e valutazione del valore

L'implementazione di un'interconnessione di cluster basata sul Mellanox (NVIDIA) 920-9B110-00FH-0D0 fornisce una base ad alte prestazioni e a prova di futuro per RDMA, HPC e carichi di lavoro AI. La sua proposta di valore è multiforme: massimizza l'utilizzo della GPU e il ROI riducendo al minimo il sovraccarico di comunicazione, consente la crescita scalabile del cluster e semplifica le operazioni attraverso la gestione e la telemetria integrate.

Sebbene il prezzo del 920-9B110-00FH-0D0 rappresenti un investimento premium, il costo totale di proprietà (TCO) è favorevole se si considerano le drastiche riduzioni del tempo di completamento dei lavori, la migliore produttività dei ricercatori e il ridimensionamento efficiente che evita costose riprogettazioni della fabric. Le organizzazioni che valutano il 920-9B110-00FH-0D0 in vendita dovrebbero considerarlo non come una spesa di rete, ma come un acceleratore di calcolo strategico. Questa soluzione tecnica fornisce il progetto per sbloccare il pieno potenziale delle infrastrutture di calcolo accelerato.