NVIDIA Mellanox MCX653105A-HDAT Server Adapter in Azione | RDMA/RoCE a Bassa Latenza e Guadagni di Throughput del Server

NVIDIA Mellanox MCX653105A-HDAT Server Adapter in azione.

Sfondo e sfida: il collo di bottiglia della formazione all'IA

Un'azienda leader nella tecnologia finanziaria specializzata nel trading algoritmico e nell'analisi dei rischi in tempo reale ha dovuto affrontare una sfida critica in materia di infrastrutture.Il loro team di apprendimento automatico aveva implementato un cluster di formazione distribuito composto da 32 server accelerati da GPUTuttavia, man mano che la complessità del modello è cresciuta da milioni a miliardi di parametri, la latenza della rete è diventata il collo di bottiglia dominante.Gli adattatori 25GbE esistenti, che funziona con il tradizionale TCP/IP, ha introdotto una latenza inattesa imprevedibile che ha rallentato significativamente la sincronizzazione dei gradienti in tutto il cluster.

Gli architetti delle infrastrutture dell'azienda hanno identificato due problemi principali.lo stack TCP/IP consumava notevoli risorse di CPU su ciascun server, fino al 30% dei core disponibili, riducendo la capacità disponibile per l'addestramento del modello.In secondo luogo, l'assenza di carico hardware per RDMA significava che i trasferimenti di dati tra la memoria GPU e la rete richiedevano più copie della memoria.aggiungendo ritardi a livello di microsecondi che si sono accumulati attraverso migliaia di scambi di parametri per passo di formazioneIl team aveva bisogno di una soluzione che potesse fornire una comunicazione deterministica a bassa latenza senza sacrificare la capacità di trasmissione del server o richiedere una revisione completa della rete.

Soluzione e implementazione: Attuazione del RoCE con il MCX653105A-HDAT

Dopo aver valutato molteplici opzioni, l'azienda ha selezionato laNVIDIA Mellanox MCX653105A-HDATQuesta scheda di rete PCIe è stata distribuita in ciascuno dei 32 server di formazione, sostituendo gli adattatori di generazione precedente.MCX653105A-HDAT ConnectX adattatore scheda di rete PCIeha fornito la combinazione necessaria di ampiezza di banda e supporto RoCEv2 accelerato da hardware, consentendo una vera comunicazione RDMA attraverso il tessuto Ethernet esistente.

L'impiego ha seguito un approccio strutturato:

• Installazione fisica:Ogni server ha ricevuto ilscheda di adattatore Ethernet MCX653105A-HDAT, collegati tramite collegamenti SFP28 a doppia porta 25GbE a switch top-of-rack ridondanti.
• Configurazione RoCEv2:Gli switch di rete sono stati configurati con Priority Flow Control (PFC) e Explicit Congestion Notification (ECN) per garantire il trasporto Ethernet senza perdite – un prerequisito per prestazioni RDMA ottimali.
• GPUDirect integrazione:Il team ha sfruttato le funzionalità GPUDirect dell'adattatore, consentendo il movimento diretto dei dati tra la memoria GPU e l'interfaccia di rete senza il coinvolgimento della CPU host.
• Software Stack:Il driver di rete NVIDIA è stato installato e il framework di formazione (PyTorch con dati distribuiti paralleli) è stato configurato per utilizzare il livello di trasporto RDMA.

Secondo ilscheda dati MCX653105A-HDAT, l'adattatore supporta PCIe Gen 4.0 x16,fornendo fino a 256 GB/s di larghezza di banda ▌ sufficiente a saturare completamente le doppie porte 25GbE, lasciando ampio spazio per futuri aggiornamenti a 50GbE o 100GbEIl team ha notato che la flessibilità dell'adattatore lo rendeva completamenteCompatibile con MCX653105A-HDATcon il loro hardware server esistente, che supportava sia PCIe Gen 3.0 che 4.0.

IlLe specifiche MCX653105A-HDATHanno regolato i parametri di interruzione per bilanciare la latenza rispetto all'utilizzo della CPU.e impostazioni di priorità per coda configurate per garantire che il traffico di sincronizzazione gradiente riceva il trattamento QoS più elevato.

Risultati e benefici misurabili

I miglioramenti delle prestazioni sono stati sostanziali e direttamente misurabili in più dimensioni:

Oltre ai miglioramenti quantitativi, laNVIDIA Mellanox MCX653105A-HDATha fornito benefici operativi che il team non aveva previsto.La latenza deterministica ha assicurato che la convergenza della formazione fosse conseguita in modo coerente entro tempi prevedibili, un requisito fondamentale per i cicli di sviluppo dei modelli dell'azienda.I core CPU liberati sono stati reindirizzati verso il calcolo effettivo, aumentando efficacemente la capacità di calcolo effettiva del cluster senza aggiungere nuovo hardware.

Il team ha anche sfruttato la telemetria integrata dell'adattatore per ottenere visibilità sui modelli di congestione del tessuto.Questi dati li hanno aiutati a ottimizzare le configurazioni del buffer di rete e a identificare in modo proattivo potenziali degradi delle prestazioni. ilSoluzione per schede di adattamento Ethernet MCX653105A-HDATIl programma di ricerca ha dimostrato di essere sia un acceleratore delle prestazioni che uno strumento di intelligence operativa.

Riassunto e prospettive

Questa distribuzione ha convalidato che laNVIDIA Mellanox MCX653105A-HDATè più di un aggiornamento della rete è un investimento strategico nelle prestazioni di calcolo distribuito.l'adattatore ha ridotto il tempo di addestramento di oltre il 70%, il tempo di commercializzazione accelerato per i nuovi modelli e l'efficienza delle infrastrutture notevolmente migliorata.

L'azienda sta ora progettando di estendere questa architettura ad altri cluster, inclusa la loro piattaforma di analisi del rischio in tempo reale,quando è essenziale un movimento di dati a bassa latenza tra i database in memoria e i nodi di calcolo. ilPrezzo MCX653105A-HDAT, se valutati rispetto ai risparmi operativi e ai miglioramenti delle prestazioni,La Commissione ritiene che la misura in questione sia stata adottata in base a un'analisi approfondita dei costi di gestione dell'infrastruttura..

Per le organizzazioni che valutano attivamenteMCX653105A-HDAT in venditaOpzioni, questo caso di studio dimostra che l'adattatore fornisce la sua promessa di rete a bassa latenza e alta capacità di produzione in ambienti di produzione reali.La combinazione di accelerazione hardware, la telemetria completa e la compatibilità senza soluzione di continuità con l'infrastruttura EthernetNVIDIA Mellanox MCX653105A-HDATun componente fondamentale per le moderne architetture di data center.