NVIDIA Mellanox MCX556A-ECAT Server Adapter in azione: sblocco delle prestazioni RDMA/RoCE a bassa latenza e accelerazione dell'IA

NVIDIA Mellanox MCX556A-ECAT Server Adapter in azione: Sblocco delle prestazioni RDMA/RoCE a bassa latenza e accelerazione dei carichi di lavoro di AI e storage distribuito

Modello:MCX556A-ECAT♫ Marchio: NVIDIA Mellanox ♫ Categoria: Adaptore Ethernet ad alte prestazioni ♫ Capacità chiave: RDMA/RoCE Trasporto a bassa latenza e ottimizzazione della resa dei server

Sfondo e sfide: colli di bottiglia della rete nella formazione sull'IA su larga scala

Per il team dell'infrastruttura dati di una azienda leader nella tecnologia della guida autonoma,la rapida crescita dei carichi di lavoro di formazione dei modelli di IA aveva superato le capacità della loro infrastruttura di rete esistenteIl loro cluster di calcolo era costituito da oltre 200 server GPU, ciascuno dotato di adattatori 25GbE, collegati a un sistema di archiviazione distribuito che ospitava petabyte di dati di sensori e simulazione.Durante i lavori di formazione su larga scala, il team ha costantemente osservato due problemi critici: l'utilizzo della GPU raramente superava il 70% a causa dei colli di bottiglia del caricamento dei dati,Le operazioni di salvataggio e di controllo dei punti di controllo, essenziali per il recupero del modello, hanno richiesto oltre 40 secondi., rallentando significativamente i cicli di formazione iterativi.

La causa principale è stata rintracciata al livello di accesso alla rete: agli adattatori esistenti mancavano robuste capacità di scarico RDMA, costringendo l'I/O di archiviazione a attraversare lo stack TCP/IP e consumando cicli CPU eccessivi.Ciò ha portato ad alte latenze di coda, uso inefficiente delle risorse GPU e limitazione della scalabilità per l'espansione futura del cluster.Il team aveva urgentemente bisogno di un adattatore ad alte prestazioni in grado di fornire latenza RDMA inferiore ai 5 μs e throughput a piena velocità di linea per sbloccare il potenziale del loro tessuto di archiviazione NVMe-oFQuesto è esattamente il punto in cui laNVIDIA Mellanox MCX556A-ECATLa Commissione ha adottato un parere sulla proposta di regolamento (CE) n.

Soluzione e implementazione: costruzione di un tessuto ottimizzato RDMA intorno al MCX556A-ECAT

Dopo un'analisi approfondita delFogli di dati MCX556A-ECATe la convalida del suoSpecificativi MCX556A-ECATIn base ai parametri di performance interni, il team di architettura ha progettato una strategia di implementazione graduale.MCX556A-ECAT ConnectX adattatore scheda di rete PCIeè stata selezionata per la sua capacità di doppia porta 50GbE e per il maturo ASIC ConnectX-5, che offriva l'equilibrio ideale tra prestazioni, efficienza energetica e maturità dell'ecosistema.

La strategia di diffusione ha seguito tre fasi chiave:

• Fase 1  Implementazione pilota (16 nodi GPU):Due adattatori MCX556A-ECAT sono stati installati per nodo di calcolo, dual-homed per separare gli switch a foglia abilitati RoCEv2.Il team ha configurato gli adattatori con SR-IOV per assegnare funzioni virtuali dedicate allo storage I/O e alla comunicazione di formazione, garantendo l'isolamento QoS.
• Fase 2: integrazione del tessuto di stoccaggio:Gli obiettivi di archiviazione NVMe-oF sono stati configurati per pubblicizzare endpoint compatibili con RDMA. PFC ed ECN sono stati abilitati in tutto il tessuto per garantire il trasporto senza perdite per il traffico RoCEv2.
• Fase 3  Espansione della produzione (tutti i 200 nodi GPU):Sulla base dei risultati positivi del progetto pilota, la diffusione è stata estesa a tutto il cluster.Compatibile con MCX556A-ECATL'ecosistema ha assicurato un'integrazione senza soluzione di continuità con le piattaforme di server, gli array di storage e le infrastrutture di switch esistenti.

Durante l'intera missione, lascheda di adattatore Ethernet MCX556A-ECATha dimostrato un'eccezionale semplicità plug-and-play.Il team ha sfruttato lo stack dei driver MLNX_OFED con la libreria di comunicazioni collettive NVIDIA (NCCL) per ottimizzare le prestazioni RDMA per i modelli di comunicazione GPU-to-GPU e GPU-to-storage.

Risultati misurabili: miglioramenti significativi delle prestazioni e liberazione di risorse

Dopo la realizzazione della produzione su larga scala, il team ha documentato miglioramenti sostanziali in più metriche critiche.La tabella seguente riassume il confronto delle prestazioni prima e dopo l'introduzione dellaNVIDIA Mellanox MCX556A-ECAT:

Oltre ai miglioramenti quantitativi, il team ha riportato una drammatica riduzione dei tempi di iterazione dell'addestramento da una media di 4,2 giorni per modello a soli 2,8 giorni.che rappresenta un'accelerazione del 33% del tempo complessivo di commercializzazione per i nuovi modelli di guida autonomaInoltre, nel valutare laPrezzo MCX556A-ECATLa capacità di CPU liberata ha permesso al team di rinviare gli aggiornamenti dei server pianificati,La riduzione del tempo di formazione si è tradotta direttamente in un vantaggio competitivo. ilMCX556A-ECAT in venditaLe opzioni offerte attraverso i partner di canale di NVIDIA offrivano modelli di approvvigionamento flessibili allineati ai cicli di spesa di capitale dell'azienda.

Riassunto e prospettive: una fondazione per le future infrastrutture dell'IA

L'adozione reale delNVIDIA Mellanox MCX556A-ECATIn questo contesto di guida autonoma dimostra che la connettività dei server abilitata RDMA/RoCE non è più un lusso ma una necessità per i carichi di lavoro moderni dell'IA.Soluzione per schede di adattamento Ethernet MCX556A-ECATha dimostrato la sua capacità di eliminare i colli di bottiglia dello storage, massimizzare l'utilizzo della GPU e accelerare significativamente i cicli di formazione del modello, il tutto all'interno di un tessuto di rete unificato e gestibile.

In futuro, il team prevede di esplorare ulteriori casi d'uso abilitati dalMCX556A-ECAT ConnectX adattatore scheda di rete PCIe, compresa la trasmissione in tempo reale dei dati dei sensori e la sincronizzazione multi-cluster per l'apprendimento federato.Fogli di dati MCX556A-ECATe in evoluzioneSpecificativi MCX556A-ECATL'obiettivo è quello di promuovere l'innovazione e di migliorare la qualità delle comunicazioni, in particolare nel settore dell'informazione e della comunicazione.MCX556A-ECAToffre un modello comprovato per bilanciare prestazioni, affidabilità e semplicità operativa in ambienti mission-critical.