RDMA/RoCE Trasporto a bassa latenza e miglioramento del throughput del server

Questo white paper tecnico fornisce agli architetti, agli ingegneri pre-vendite e ai responsabili delle operazioni un progetto di riferimento completo incentrato sulNVIDIA Mellanox MCX631432AN-ADAB. La soluzione affronta le sfide dei moderni data center, vale a dire il sovraccarico della CPU da stack di rete legacy, la latenza di archiviazione incoerente e la larghezza di banda di 25GbE sottoutilizzataMCX631432AN-ADAB scheda di adattatore Ethernetcome pietra angolare di un tessuto RDMA/RoCE convergente ad alte prestazioni.

1. Analisi del contesto e dei requisiti del progetto

Le reti convenzionali di data center si basano su TCP/IP sia per il traffico di calcolo che per quello di archiviazione, costringendo la CPU a elaborare ogni pacchetto.NVMe-over-fabrics (NVMe-oF), o carichi di lavoro di formazione dell'IA, questo approccio basato sul software crea tre problemi fondamentali: latenza elevata e variabile (spesso superiore a 50 μs per le operazioni di storage),una tassa significativa sulla CPU (30-60% per l'elaborazione della rete)Come 25GbE diventa la velocità di livello di accesso standard, queste inefficienze non sono più accettabili.Le esigenze target per questa soluzione sono:: latenza di archiviazione end-to-end inferiore a 5 μs, utilizzo della CPU inferiore al 10% per l'I/O di rete e utilizzo completo delle porte doppie 25GbE per server.

2. Progettazione complessiva dell'architettura di rete/sistema

L'architettura proposta adotta una topologia a due livelli con Ethernet lossless al livello 2.ciascuna configurata con PFC (Priority Flow Control) e ECN (Explicit Congestion Notification) per abilitare RoCEv2La decisione architettonica chiave è quella di implementare ilMCX631432AN-ADAB ConnectX-6 Lx a doppia porta 25GbE SFP28Una coda di priorità dedicata basata su DSCP è assegnata per il traffico RoCE, separata dal traffico IP best-effort.La gestione centralizzata utilizza Cumulus Linux o SONiC di NVIDIA per la configurazione degli switch, mentre l'orchestrazione lato host sfrutta lo stack NVIDIA OFED.

3. Ruolo e caratteristiche chiave del NVIDIA Mellanox MCX631432AN-ADAB

Nell'ambito di questa soluzione, laMCX631432AN-ADABL'impostazione di un sistema di distribuzione di dati basato su dati di base è un elemento fondamentale per la trasformazione dei server commodity in nodi a bassa latenza e ad alto throughput.Fogli di dati MCX631432AN-ADAB, l'adattatore incorpora diverse funzionalità avanzate:

• Discarico RDMA hardware:Full RoCEv2 state machine in silicio, eliminando l'elaborazione del trasporto basato su software.
• SFP28 a doppia porta 25GbE:Supporta sia il cablaggio ottico attivo che quello DAC, con elaborazione PPS indipendente per porta.
• Interfaccia host PCIe 4.0 x16:Fornisce una larghezza di banda bidirezionale fino a 200 Gbps, senza lasciare alcun collo di bottiglia tra l'adattatore e la memoria host.
• Scarica di crittografia in linea:L'elaborazione IPsec e TLS a velocità di linea, critica per le reti di archiviazione a fiducia zero.
• Accelerazione NVMe-oF:L'installazione in coda di comando basata su hardware e il posizionamento dei dati specificamente ottimizzati per NVMe/TCP e NVMe/RoCE.

Secondo il funzionarioSpecificativi MCX631432AN-ADAB, l'adattatore offre una latenza hardware inferiore a 800ns e supporta fino a 200 milioni di messaggi al secondo.le applicazioni possono passare da socket TCP a verbi RDMA con cambiamenti minimi di codicePer le organizzazioni che valutano questa soluzione, è importante notare che laMCX631432AN-ADAB compatibileL'elenco dei server include tutte le principali piattaforme OEM (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem e Supermicro) con driver certificati per RHEL, Ubuntu, Rocky Linux e Windows Server.

4. Raccomandazioni per la distribuzione e la scalabilità

Una distribuzione tipica a livello di rack segue questo modello: ogni nodo di calcolo o di archiviazione riceve unoMCX631432AN-ADAB soluzione per schede di adattamento Ethernet, con le sue doppie porte configurate in legame LACP attivo-attivo per la ridondanza o come percorsi di tessuto separati (uno per foglio A, uno per foglio B).

• Ogni server → due collegamenti 25GbE → due switch separati (supportando il failover senza colpo).
• Leaf switches → 100GbE uplinks → due spine switches per non bloccaggio full-mesh.
• Marcatura DSCP dedicata (ad esempio, 46) per il traffico RoCE su tutti gli interruttori con PFC abilitato su quella classe.

Per la scalabilità oltre i 200 server, si consiglia di distribuire un cluster RoCE separato rispettivamente per lo storage e il calcolo, o utilizzare la politica QoS per garantire che il traffico RoCE di storage sia prioritario.La regolazione del tampone agli interruttori delle foglie è anche fondamentaleLe dimensioni del buffer condiviso per porta dovrebbero aumentare a 12 MB per le porte 25GbE per assorbire i micro-burst senza perdita di pacchetti.MCX631432AN-ADAB in venditaI cataloghi dei fornitori per la determinazione dei prezzi di volume eMCX631432AN-ADAB prezzoper nodo in genere ammortizza entro sei mesi a causa dei risparmi di CPU e dei guadagni di efficienza di archiviazione.

5. Operazioni, monitoraggio e messa a punto delle prestazioni

Dopo l'implementazione, i seguenti strumenti e pratiche garantiscono una latenza bassa e sostenuta:

• Monitoraggio da parte dell'ospite:Usomlx_perf- e-Sper tracciare i contatori RDMA in coda, la ritrasmissione PCIe e i segni di congestione RoCE.
• Telemetria degli interruttori:Abilitare gli istogrammi di marcatura PFC e ECN per rilevare il blocco della testa di linea prima che abbia un impatto sulla produzione.
• Raccomandazioni di sintonizzazione:Impostatoirqequilibrioper isolare i core della CPU per le code di completamento RDMA; aumentare la dimensione massima della richiesta di lettura PCIe a 4096 byte; disabilitare l'ECN sulla code di miglior sforzo per evitare falsi segnali di congestione.
• Ciclo di vita del firmware e del driver:Abbonati alle note di rilascio di NVIDIA OFED;MCX631432AN-ADAB scheda di adattatore Ethernetsupporta l'aggiornamento del firmware in loco senza riavvio dell'host a causa di due banche di immagini.

Per la risoluzione dei problemi, i contatori di errore integrati dell'adattatore (ad esempio, errori di simbolo, errori di integrità del collegamento locale) forniscono diagnosi rapide.MCX631432AN-ADAB compatibilematrice di interoperabilità mantenuta da NVIDIA.

6. Riassunto e valutazione del valore

IlNVIDIA Mellanox MCX631432AN-ADABLa soluzione basata sul software offre un valore misurabile in tre dimensioni: prestazioni, TCO e semplicità operativa.e elaborazione di protocolli di archiviazione dalla CPU all'adattatore, le organizzazioni raggiungono una latenza NVMe-oF inferiore ai 5 μs liberando oltre il 40% dei cicli della CPU per la logica delle applicazioni.e il software NVIDIA OFED maturo riduce il rischio di integrazionePer gli architetti che progettano un'implementazione greenfield 25GbE o la modernizzazione dell'infrastruttura TCP-bound esistente, questa soluzione tecnicaMCX631432AN-ADAB ConnectX-6 Lx a doppia porta 25GbE SFP28 rappresenta un percorso comprovato, scalabile e protetto dagli investimenti per il successo di RDMA/RoCE.