Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in azione: RDMA/RoCE-Driven Low-Latency Transport e Server

Negli ambienti di produzione reali che ospitano database distribuiti, cluster di inferenza AI e storage iperconvergente, la latenza jitter e l'overhead della CPU causati dallo stack TCP/IP tradizionale sono diventati ostacoli difficili per lo scaling. Un team di infrastrutture Internet su larga scala ha recentemente completato un aggiornamento completo della rete basato sull'adattatore server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT, concentrandosi sulla convalida dei benefici tangibili della tecnologia RDMA/RoCE per il trasporto a bassa latenza e il miglioramento del throughput del server. Questo articolo analizza i dettagli di implementazione e i risultati chiave di questo caso pratico.

Il team gestiva un cluster di migliaia di server che eseguivano storage distribuito (Ceph) e sistemi di raccomandazione in tempo reale. Durante i picchi di traffico, ogni nodo di storage doveva gestire migliaia di connessioni TCP concorrenti, consumando quasi il 30% delle risorse della CPU per l'elaborazione dei protocolli di rete, con una latenza di lettura/scrittura end-to-end che spesso superava i 200 µs. Inoltre, gli esperimenti NVMe over Fabrics tra rack, privi di capacità di offload hardware, non sono riusciti costantemente a raggiungere le prestazioni flash locali attese. Il team necessitava urgentemente di una soluzione di adattatore server in grado di supportare RoCEv2, fornire offload di trasporto a livello hardware e offrire contemporaneamente sia un throughput elevato che una bassa latenza.

Dopo la valutazione, il team ha scelto il MCX623106AN-CDAT come motore di rete principale. Questo adattatore appartiene alla famiglia ConnectX-6 Dx. Sostituendo semplicemente gli adattatori 10GbE legacy con NVIDIA Mellanox MCX623106AN-CDAT su ogni nodo e implementando una configurazione di rete RoCE lossless (DCQCN e PFC), il team ha posto le basi. Per sfruttare appieno la scheda di rete Ethernet MCX623106AN-CDAT, i nodi di storage hanno abilitato l'offload TCO hardware e l'aggregazione dinamica dei link. Durante l'implementazione, gli ingegneri hanno consultato il datasheet MCX623106AN-CDAT per la guida sulle capacità PCIe 4.0 x16 e dual-port 100GbE, garantendo il budget di collegamento e la compatibilità del backplane. Dopo i test, tutti i server hanno raggiunto un'interconnessione compatibile con MCX623106AN-CDAT con gli switch Leaf-Spine esistenti, senza richiedere la sostituzione delle apparecchiature di rete core.

La valutazione delle prestazioni post-aggiornamento ha fornito risultati sorprendenti. Eseguendo lo stesso carico di lavoro di storage distribuito, i nodi dotati della scheda di rete PCIe adattatore ConnectX MCX623106AN-CDAT hanno dimostrato:

• Latenza media end-to-end ridotta da 210 µs a 18 µs (operazioni di lettura NVMe over Fabrics su RoCEv2);
• Overhead di rete della CPU ridotto dal 28% al 4%, liberando cicli di calcolo per le applicazioni aziendali;
• Throughput effettivo per nodo raggiunto 98,7 Gbps, vicino alla velocità di linea;
• IOPS di scrittura casuale 4K complessivi del cluster Ceph multi-nodo aumentati di 3,2 volte.

Il responsabile del team ha osservato: "La soluzione con scheda di rete Ethernet MCX623106AN-CDAT porta una vera capacità RoCE a velocità di linea nel nostro ambiente. Carichi di lavoro misti sensibili alla latenza che in precedenza erano inimmaginabili possono ora coesistere con attività in background sullo stesso piano di rete." Inoltre, secondo i registri di approvvigionamento, il prezzo MCX623106AN-CDAT in questo caso ha ridotto il costo totale di proprietà (TCO) del 40% rispetto agli adattatori acceleratori basati su FPGA, e MCX623106AN-CDAT in vendita attraverso canali standard ha notevolmente accorciato la tempistica del progetto. Le specifiche dettagliate MCX623106AN-CDAT hanno confermato che l'adattatore offre una latenza inferiore a 600 ns e prestazioni wire-rate su tutte le dimensioni dei pacchetti, il che si allineava perfettamente con i requisiti del team.

Questa pratica applicativa dimostra chiaramente che MCX623106AN-CDAT non è solo un adattatore Ethernet ad alte prestazioni, ma una pietra angolare per la costruzione di reti di data center a bassa latenza e ad alto throughput. La sua architettura completa di offload RoCE e il motore di accelerazione hardware affrontano le sfide principali dell'elaborazione di rete legata alla CPU e della latenza dello stack di protocollo. Per qualsiasi organizzazione che desideri sbloccare il throughput del server, ridurre la latenza di accesso allo storage e prepararsi per i carichi di lavoro AI e NVMe-oF, il Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT offre un percorso comprovato e pronto per la produzione.