Pratica Applicativa: NVIDIA Mellanox MCX631102AN-ADAT – Trasporto RDMA/RoCE a Bassa Latenza e Miglioramento del Throughput del Server
April 27, 2026
Nello storage distribuito, nel calcolo ad alte prestazioni e nei cluster di addestramento AI, la latenza di rete e l'overhead della CPU sono diventati i principali colli di bottiglia che limitano le prestazioni del server. Un provider di servizi cloud ha recentemente aggiornato il proprio backend di storage NVMe-oF selezionando la scheda server NVIDIA Mellanox MCX631102AN-ADAT. Implementando RDMA over Converged Ethernet (RoCEv2), hanno ottenuto un trasporto end-to-end a bassa latenza e significativi guadagni di throughput del server. Questo caso di studio esamina le prestazioni della scheda in un ambiente di produzione.
Contesto e sfida: il collo di bottiglia dello stack di protocollo TCP/IP
L'infrastruttura 25GbE esistente del provider gestiva il traffico di storage utilizzando lo stack software TCP/IP tradizionale. Negli scenari NVMe/TCP, l'utilizzo della CPU per l'incapsulamento e il de-incapsulamento dei pacchetti superava il 40%, con conseguenti latenze di storage superiori a 200µs e una capacità di calcolo gravemente ridotta sui server applicativi. Gli architetti necessitavano urgentemente di una soluzione in grado di bypassare lo stack di rete del kernel, ridurre l'interferenza della CPU e mantenere il throughput a velocità di linea sui collegamenti dual 25GbE. Dopo aver valutato diverse opzioni, hanno scelto la scheda MCX631102AN-ADAT ConnectX-6 Lx dual-port 25GbE SFP28 come hardware principale per la ristrutturazione del loro fabric di storage.
Soluzione e distribuzione: RDMA/RoCEv2 con offload hardware
La distribuzione ha sostituito tutti i server rivolti allo storage con la scheda di rete MCX631102AN-ADAT, in esecuzione in modalità RoCEv2 lossless (utilizzando ECN e PFC). I passaggi chiave della distribuzione includevano:
- Abilitazione di SR-IOV e assegnazione di funzioni virtuali (VF) alle macchine virtuali di storage, bypassando lo stack di rete dell'hypervisor
- Configurazione di NVMe over Fabrics (NVMe-oF) con trasporto RDMA, eliminando completamente l'overhead TCP
- Regolazione delle soglie dei buffer dello switch per il traffico RoCE 25GbE lossless attraverso la topologia leaf-spine
Le specifiche della MCX631102AN-ADAT — inclusi timestamp hardware, trasporto di connessione dinamica (DCT) e motore di ricezione vettorizzato — sono state pienamente sfruttate per garantire una latenza prevedibile sub-microsecondo anche sotto un carico aggregato di 50 Gbps.
Guadagni di prestazioni misurati e benefici operativi
Dopo la migrazione al fabric basato su NVIDIA Mellanox MCX631102AN-ADAT, sono state registrate le seguenti metriche:
| Metrica | Prima (TCP/IP 25GbE) | Dopo (RoCEv2 con MCX631102AN-ADAT) |
|---|---|---|
| Latenza di lettura NVMe-oF (P99) | 215 µs | 18 µs |
| Utilizzo CPU (percorso I/O storage) | 41% (singolo core saturo) | 7% (distribuito sui core) |
| Throughput server aggregato (RX+TX) | 42 Gbps (limitato dal software) | 49,8 Gbps (velocità di linea) |
| Throughput pacchetti piccoli (64B) | 8,1 Mpps | 37,5 Mpps (instradamento flussi hardware) |
Gli ingegneri hanno notato che la soluzione con scheda di rete MCX631102AN-ADAT ha fornito una latenza di coda prevedibile adatta per database di analisi in tempo reale. Inoltre, i core CPU liberati sono stati riassegnati ai carichi di lavoro applicativi, aumentando la densità complessiva degli tenant di circa il 24% sugli stessi server fisici.
Compatibilità e integrazione dell'ecosistema
Durante l'espansione della distribuzione, il team operativo ha verificato che la scheda è compatibile con la MCX631102AN-ADAT con i loro switch NVIDIA Spectrum esistenti (profili RoCE lossless), nonché con switch ToR di terze parti di Arista e Cisco con configurazione DCBX. Per la pianificazione degli acquisti, hanno fatto riferimento al datasheet della MCX631102AN-ADAT per convalidare gli inviluppi di potenza (circa 12 W tipici) e i requisiti termici. Le prime richieste di acquisto in blocco hanno confermato che il prezzo della MCX631102AN-ADAT rimane competitivo rispetto alle SmartNIC di classe simile, con diversi distributori che elencano MCX631102AN-ADAT in vendita secondo accordi di volume standard.
Riepilogo e prospettive
Il caso di produzione dimostra chiaramente che la scheda MCX631102AN-ADAT consente un cambiamento fondamentale dalle reti di storage limitate da TCP ai fabric accelerati da RDMA senza richiedere una revisione completa dell'infrastruttura 100GbE. Sfruttando il design MCX631102AN-ADAT ConnectX-6 Lx dual-port 25GbE SFP28, le organizzazioni possono raddoppiare il throughput effettivo per i carichi di lavoro sensibili alla latenza, recuperando al contempo significative risorse CPU. Guardando al futuro, lo stesso modello di distribuzione si estenderà ai framework di machine learning distribuiti (NCCL su RoCE) e alle applicazioni stateful basate su microservizi. Per gli architetti che valutano gli aggiornamenti a 25GbE, la scheda NVIDIA Mellanox MCX631102AN-ADAT si pone come un blocco di costruzione comprovato e pronto per la produzione per reti di data center ad alte prestazioni e a bassa latenza.