Soluzione tecnica NVIDIA Mellanox MCX653106A-HDAT: trasporto e server a bassa latenza basati su RDMA/RoCE

Questo white paper tecnico è progettato per architetti di rete, ingegneri pre-vendita e responsabili operativi. Si concentra suNVIDIA Mellanox MCX653106A-HDATadattatore server e delinea come costruire un'infrastruttura di rete di data center in grado di trasportare RDMA/RoCE su scala microsecondo e prestazioni di throughput ultra elevate.

I data center moderni devono affrontare tre sfide principali: latenza imprevedibile nello storage distribuito, carenza di larghezza di banda nei cluster di addestramento dell’intelligenza artificiale e consumo eccessivo di CPU da parte degli stack di protocolli di rete tradizionali. Le soluzioni TCP/IP convenzionali non sono più in grado di soddisfare le esigenze di latenza su scala microsecondo di NVMe-oF, trading ad alta frequenza e analisi in tempo reale. L'industria richiede urgentemente aSoluzione con scheda adattatore Ethernet MCX653106A-HDATche fornisce trasporto RDMA con offload hardware su infrastruttura Ethernet standard scalando al tempo stesso il throughput del server a livelli di 200 Gbps.

Questa soluzione adotta un'architettura CLOS Leaf-Spine a due strati. Tutti i nodi di calcolo e archiviazione sono collegati tramiteNVIDIA Mellanox MCX653106A-HDATagli switch ToR da 25G/100G. I principi chiave della progettazione includono:

• Rete senza perdite end-to-end abilitata da PFC (Priority Flow Control) ed ECN (Explicit Congestion Notification)
• Corsie di trasporto RDMA dedicate per carichi di lavoro di storage e HPC
• Separazione del piano di controllo (TCP/IP standard) e del piano dati (RoCEv2)
• Offload di virtualizzazione basati su hardware (SR-IOV, VXLAN/NVGRE/Geneve)

Sulla base diScheda tecnica MCX653106A-HDAT, l'adattatore offre una latenza da porta a porta inferiore a 600 ns e supporta fino a 215 milioni di pacchetti al secondo, rendendolo ideale sia per il traffico di storage est-ovest che per i flussi applicativi nord-sud.

ILScheda di rete PCIe adattatore ConnectX MCX653106A-HDATfunge da motore del piano dati fondamentale. I suoi ruoli principali includono:

• Accelerazione RDMA/RoCE:Offload hardware completo di RoCEv2, inclusa la gestione della congestione, la gestione dei pacchetti fuori ordine e il posizionamento immediato dei dati nei buffer delle applicazioni.
• Offload del protocollo di archiviazione:Supporto nativo per NVMe-oF (entrambe le varianti TCP e RoCE), iSER e SRP, eliminando l'elaborazione del target basata su software.
• Virtualizzazione e multi-tenancy:Fino a 1.000 funzioni virtuali (VF) per porta, con offload del tunnel overlay che garantisce incapsulamento/decapsulamento della velocità di linea.
• Sicurezza e telemetria:Crittografia IPsec/TLS in linea a 200 Gbps, oltre al monitoraggio del flusso basato su hardware (ad esempio, monitoraggio della connessione, istogrammi).

SecondoSpecifiche MCX653106A-HDAT, l'adattatore supporta le interfacce PCIe 4.0/5.0 x16, garantendo l'assenza di colli di bottiglia sul lato host anche alla velocità di linea massima di 200 GbE.

Una topologia di riferimento convalidata è costituita da:

• Livello di calcolo:48 server dual-socket, ciascuno dotato di unoMCX653106A-HDAT(configurazione a doppia porta 100GbE). Le porte sono legate come un LAG attivo-attivo.
• Livello di archiviazione:12 server di destinazione NVMe-oF all-flash, ciascuno con dueMCX653106A-HDAT Scheda adattatore Ethernetunità: una per l'accesso al calcolo front-end, una per la replica back-end.
• Livello di rete:Quattro switch Spine da 100 GbE e otto switch Leaf, configurati con soglie DCBX, PFC (classe 3 per RoCE) ed ECN.

Per scalare oltre i 200 nodi, l'architettura supporta progetti multi-pod utilizzando EVPN-VXLAN con offload hardware (completamenteCompatibile con MCX653106A-HDATcon gli switch dei principali fornitori). Quando si valuta la capacità,Prezzo MCX653106A-HDATper porta 100GbE utilizzabile è inferiore di circa il 40% rispetto alle soluzioni Fibre Channel o InfiniBand comparabili.

Il funzionamento efficace delle distribuzioni RDMA/RoCE richiede strumenti specializzati. Si consigliano le seguenti pratiche:

Per la risoluzione dei problemi, acquisire i metadati specifici di RoCEv2 utilizzandordmatoolEibv_devinfo. Le insidie ​​​​comuni includono priorità PFC configurate in modo errato (garantire la coerenza su tutti i dispositivi di rete) e velocità di collegamento PCIe non corrispondenti (convalidare conlspci -vvv).

ILNVIDIA Mellanox MCX653106A-HDAToffre una piattaforma collaudata e pronta per la produzione per trasformare le strutture Ethernet standard in reti ad alte prestazioni e senza perdite. Le valutazioni dei valori chiave includono:

• Latenza:Latenza di lettura NVMe-oF deterministica inferiore a 10 µs (P99), che consente analisi in tempo reale e convergenza HPC.
• Produttività:200 GbE con velocità quasi di linea con perdita di pacchetti pari a zero, convalidata rispetto aSpecifiche MCX653106A-HDAT.
• Efficienza della CPU:Libera fino al 30% dei core della CPU precedentemente consumati dagli stack di rete e di storage.
• TCO:Rispetto alle interconnessioni proprietarie,MCX653106A-HDAT in venditaIl prezzo, combinato con la commutazione Ethernet standard, riduce i costi operativi triennali di circa il 35-50%.

Architetti e responsabili operativi possono implementare con sicurezza questa soluzione per tessuti IA, storage disaggregato e sistemi finanziari a latenza estremamente bassa. Per le fasi di implementazione dettagliate, fare riferimento al funzionarioScheda tecnica MCX653106A-HDATe la libreria di documentazione DOCA di NVIDIA.