Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in Azione | Trasporto a bassa latenza RDMA/RoCE e Server

Scheda Server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT in Azione | Trasporto a Bassa Latenza RDMA/RoCE e Ottimizzazione del Throughput del Server

In uno scenario di distribuzione ibrida bare-metal elastica e inferenza AI di un'azienda Internet su larga scala, la latenza di rete e l'overhead della CPU erano diventati ostacoli critici alla scalabilità dell'utilizzo della GPU e delle prestazioni dello storage. Il team dell'infrastruttura necessitava di una soluzione in grado di fornire una latenza sub-microsecondo per i job di training distribuiti, supportando al contempo traffico di storage NVMe-oF ad alto throughput, il tutto senza imporre costosi aggiornamenti all'infrastruttura di cablaggio esistente. Questo caso di studio esamina come la MCX623106AN-CDAT di Mellanox (NVIDIA Mellanox) abbia affrontato queste sfide e trasformato il fabric di rete in un vero acceleratore di calcolo.

Contesto e Sfide: Quando le NIC da 25G Raggiungono i Loro Limiti

L'ambiente di produzione consisteva in oltre 1.200 nodi di calcolo divisi tra due zone di disponibilità, che eseguivano un mix di servizi di inferenza online, training AI offline e storage a oggetti distribuito. Le schede Ethernet da 25G esistenti, sebbene adeguate per la connettività di base, faticavano sotto carichi di lavoro concorrenti. I principali punti dolenti includevano:

• Elevato utilizzo della CPU: L'elaborazione dello stack TCP/IP basata su software consumava fino al 35% dei core della CPU sui nodi di storage durante i picchi di I/O.
• Latenza incoerente: La latenza di coda (p99) per le operazioni all-reduce distribuite superava frequentemente i 50 µs, causando una sottoutilizzazione della GPU durante la sincronizzazione dei parametri.
• Collo di bottiglia dello storage: Il traffico NVMe-oF su Ethernet con perdite soffriva di perdite di pacchetti, innescando ritrasmissioni che degradavano il throughput effettivo di quasi il 40%.

Dopo aver valutato diverse alternative, tra cui InfiniBand proprietario e NIC da 25G concorrenti, il team ha selezionato la NVIDIA Mellanox MCX623106AN-CDAT per la sua combinazione unica di accelerazione RoCEv2 basata su hardware, data path programmabile e ampia compatibilità della piattaforma.

Soluzione e Approccio di Distribuzione

La strategia di distribuzione si è concentrata su tre pilastri: abilitazione RDMA/RoCE, attivazione smart offload e migrazione graduale della flotta. Ogni nodo di calcolo ha ricevuto una scheda adattatore Ethernet MCX623106AN-CDAT, sostituendo le NIC di generazione precedente senza modificare l'infrastruttura in rame/fibra da 25G sottostante.

Dal punto di vista della configurazione, il team ha sfruttato il datasheet MCX623106AN-CDAT per ottimizzare i seguenti parametri:

• Configurazione RoCEv2 PFC (Priority Flow Control): Sono state definite classi di traffico lossless dedicate per lo storage (NVMe-oF) e le comunicazioni collettive AI, mentre il traffico best-effort è rimasto su code lossy separate.
• Offload hardware abilitati: VXLAN/NVGRE tunnel offload, checksum segmentation e LRO (Large Receive Offload) sono stati attivati per ridurre l'intervento della CPU per pacchetto.
• Programmabilità DPU-ready: Utilizzando ASAP², il team ha distribuito regole di flusso leggere per indirizzare il traffico di storage direttamente agli endpoint target NVMe-oF, bypassando completamente lo stack di rete del kernel.

La validazione della compatibilità è stata semplice: l'elenco compatibile MCX623106AN-CDAT copriva tutti i modelli di server della flotta (Dell PowerEdge R750 e serie Supermicro Ultra), e i nodi esistenti basati su Red Hat OpenShift e Ubuntu hanno adottato i nuovi driver senza problemi.

Risultati e Benefici Misurabili

Dopo tre settimane di distribuzione in produzione su il 40% della flotta di calcolo, i guadagni di prestazioni sono stati immediatamente visibili. La seguente tabella riassume le principali metriche prima e dopo:

Oltre ai miglioramenti quantitativi, il team di ingegneria ha riportato un cambiamento qualitativo nella stabilità operativa. I meccanismi PFC ed ECN (Explicit Congestion Notification) basati su hardware hanno garantito che il traffico di storage rimanesse virtualmente lossless, eliminando le tempeste di ritrasmissione a cascata che in precedenza influivano sugli SLA delle applicazioni. Inoltre, la scheda di rete PCIe adattatore MCX623106AN-CDAT ConnectX gestiva la crittografia IPSec a velocità di linea per il traffico di replica cross-zone, consentendo al team di sicurezza di applicare policy zero-trust senza distribuire appliance di crittografia dedicate.

Riepilogo e Prospettiva Futura

Questa distribuzione sottolinea che la soluzione scheda adattatore Ethernet MCX623106AN-CDAT non è semplicemente un aggiornamento incrementale della NIC, ma un abilitatore strategico per le moderne architetture di data center. Combinando RoCEv2 accelerato via hardware, programmabilità flessibile e capacità di offload complete, l'adattatore trasforma efficacemente un fabric Ethernet standard in uno strato di infrastruttura a bassa latenza e alta efficienza. L'organizzazione IT sta ora pianificando di espandere la distribuzione a tutti i nodi rimanenti e sta valutando attivamente le specifiche MCX623106AN-CDAT per i progetti Spine-Leaf di prossima generazione da 50G.

Per architetti di infrastrutture e responsabili IT che affrontano soffitti prestazionali simili, la MCX623106AN-CDAT offre un percorso convincente e comprovato. Come ha osservato un architetto senior: "Abbiamo ottenuto una latenza migliore rispetto alle nostre precedenti NIC da 25G con la metà del costo della CPU, e non abbiamo dovuto ricablare un singolo rack." Con il suo ampio ecosistema compatibile MCX623106AN-CDAT e un posizionamento di prezzo MCX623106AN-CDAT competitivo, questo adattatore è ben posizionato per diventare la scelta predefinita per le distribuzioni RoCE da 25G, sia che il carico di lavoro sia training AI, storage distribuito o analisi in tempo reale.

Tag: MCX623106AN-CDAT | NVIDIA Mellanox ConnectX-6 Dx | Distribuzione RDMA/RoCE | Networking a Bassa Latenza | Ottimizzazione del Throughput del Server