White paper tecnico sull'adattatore server NVIDIA Mellanox MCX556A-ECAT | Trasporto RDMA/RoCE a bassa latenza e throughput del server

NVIDIA Mellanox MCX556A-ECAT Server Adapter Libro bianco tecnico.

1. Analisi del contesto e dei requisiti del progetto

I moderni data center stanno attraversando una trasformazione fondamentale guidata dall'intelligenza artificiale, dall'HPC e dall'analisi in tempo reale.Questi carichi di lavoro richiedono prestazioni di rete senza precedenti non solo larghezza di banda grezzaGli adattatori Ethernet tradizionali, basati su stack TCP/IP basati su software, sono diventati un grosso ostacolo.consuma 20~30% dei core della CPU e introduce variazioni di latenza imprevedibili che degradano le prestazioni delle applicazioniPer le organizzazioni che operano su larga scala, questa inefficienza si traduce direttamente in costi più elevati per le infrastrutture e tempi più lenti per ottenere informazioni.

Questo libro bianco presenta una soluzione tecnica completa incentrata sullaNVIDIA Mellanox MCX556A-ECATL'adattatore per server è stato progettato per le imprese che cercano di massimizzare il ritorno sui loro investimenti in 100GbE.scheda di adattatore Ethernet MCX556A-ECATfornisce RDMA accelerato da hardware su Ethernet convergente (RoCE), consentendo un trasporto senza perdite e a bassa latenza che trasforma l'I/S della rete da una responsabilità in un bene strategico.La soluzione è specificamente progettata per soddisfare tre obiettivi fondamentali: (1) raggiungere una latenza di applicazione end-to-end inferiore a 10 μs, (2) ridurre i costi generali di elaborazione della rete CPU a meno del 5% e (3) fornire una base scalabile e a prova di futuro per 100GbE e oltre.

2. Progettazione complessiva dell'architettura di rete e sistema

L'architettura raccomandata adotta una topologia leaf-spine ad alte prestazioni con 100GbE come livello di accesso al server e 400GbE uplinks alla colonna vertebrale.MCX556A-ECAT ConnectX adattatore scheda di rete PCIeL'architettura è costruita attorno a cinque principi chiave:

• Tessuto Ethernet senza perdite:Sfruttare il RoCE v2 con PFC (Priority Flow Control) ed ECN (Explicit Congestion Notification) su tutti gli switch per eliminare i pacchetti caduti e garantire la latenza deterministica per il traffico RDMA.
• Discarica di hardware ovunque:Offloading processing del livello di trasporto, compreso il checksum offload, la segmentazione (LSO/LRO), il tagging VLAN e il RDMA all'adattatore, liberando i cicli di CPU per la logica applicativa.
• Riduzione attiva-attivaUtilizzando entrambe le porte QSFP28 in modalità di aggregazione di collegamenti (LACP) per 200Gb/s di larghezza di banda aggregata e failover automatico con recupero sotto-secondo.
• Segmentazione del traffico:Classi di traffico dedicate per l'archiviazione (NVMe-oF), il calcolo (MPI/RDMA) e il traffico di gestione, garantendo una qualità di servizio prevedibile su tutti i carichi di lavoro.
• Piano di controllo scalabile:Gestione centralizzata tramite switch NVIDIA Spectrum con telemetria integrata e automazione tramite API REST e playbook Ansible.

La soluzione è completamenteCompatibile con MCX556A-ECATPer l'archiviazione, il sistema è compatibile con le principali piattaforme di server (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) e si integra perfettamente con i principali sistemi operativi (Linux, Windows Server, VMware ESXi).l'architettura supporta NVMe-oF su RoCE, consentendo lo storage condiviso disaggregato con latenze che si avvicinano alle unità NVMe locali.

3Il ruolo e le caratteristiche chiave del NVIDIA Mellanox MCX556A-ECAT

Come componente fondamentale di questa soluzione, laNVIDIA Mellanox MCX556A-ECATsvolge tre ruoli critici all'interno dell'architettura:

Le principali specifiche tecniche tratte dalFogli di dati MCX556A-ECATincludono l'interfaccia host PCIe 3.0/4.0 x16, capacità di scarico complete (checksum, LSO/LRO, VLAN stripping/insertion, RSS) e telemetria avanzata per porta.L'efficienza energetica dell'adattatore (in genere inferiore a 15W) e l'ampio supporto del sistema operativo lo rendono un elemento costruttivo versatile per ambienti eterogenei. ilSpecificativi MCX556A-ECATsottolineare inoltre il supporto per la compatibilità 25GbE e 40GbE, offrendo flessibilità di implementazione per ambienti a velocità mista.

4. Raccomandazioni per la distribuzione e la scalabilità

Per le implementazioni in greenfield, si raccomanda una topologia a due livelli con accesso a 100GbE e collegamenti ascendenti a 400GbE.scheda di adattatore Ethernet MCX556A-ECATcon entrambe le porte QSFP28 collegate a switch separati per la ridondanza.PFC sulla priorità 3 (per il traffico RDMA) e la priorità 4 (per lo stoccaggio)Si raccomanda di assegnare VLAN dedicate per il traffico RoCE, gestione e storage per semplificare il monitoraggio e la risoluzione dei problemi.

Per gli ambienti di campo rosso con infrastrutture 40GbE esistenti, ilSoluzione per schede di adattamento Ethernet MCX556A-ECATPoiché l'adattatore è retrocompatibile con l'ottica 40GbE QSFP+, il cablaggio esistente può essere riutilizzato durante l'aggiornamento in fasi a 100GbE.L'adattatore supporta anche la commutazione Ethernet standard senza abilitazione RoCE obbligatoria, consentendo ai team di implementare prima l'hardware e attivare le capacità RDMA in fasi man mano che il tessuto matura e i carichi di lavoro giustificano la transizione.

La scalabilità della soluzione oltre i 50 nodi introduce ulteriori considerazioni.Raccomandiamo l'implementazione di una strategia dedicata di gestione della congestione RoCE utilizzando switch NVIDIA Spectrum con telemetria integrata e regolazione dinamica della soglia ECN. Per cluster superiori a 200 nodi, considerare l'implementazione di un controller centralizzato di gestione del tessuto (ad esempio, NVIDIA Cumulus NetQ) per mantenere la visibilità end-to-end e la coerenza della configurazione automatizzata.IlMCX556A-ECAT in venditaL'azienda ha inoltre fornito un'ampia gamma di servizi per la gestione dei sistemi di gestione dei dati, compresi i servizi di gestione dei dati e la gestione dei dati personali.

5. Operazioni, monitoraggio, risoluzione dei problemi e ottimizzazione

Il funzionamento efficace del tessuto RoCE richiede una strategia di monitoraggio e risoluzione dei problemi a più livelli:

• Telemetria a livello di adattatore:IlSpecificativi MCX556A-ECATincludono contatori per porta per fotogrammi PFC, pacchetti contrassegnati da ECN, fotogrammi abbandonati e errori di collegamento.mlx5cmd,Eticole, o strumenti firmware NVIDIA per esportare queste metriche nelle dashboard di Prometheus/Grafana.
• Monitoraggio a livello di interruttore:Monitorare l'occupazione del buffer, il numero di frame in pausa, le profondità di coda e i tassi di marcatura ECN sui switch spine e leaf.L'aumento improvviso dei frame di pausa indica una micro-congestione che potrebbe richiedere l'adeguamento della soglia ECN.
• Metrici a livello di applicazione:Per le applicazioni RDMA, tenere traccia delle latenze di completamento WR (Work Request), degli eventi di sovraccarico CQ (Completion Queue) e dei conteggi di errori QP (Queue Pair) utilizzando le librerie NVIDIA libibverbs e rdma-core.

Scenari comuni di risoluzione dei problemi e azioni raccomandate:

• Deterioramento delle prestazioni RoCE:Verificare che il PFC sia abilitato su tutte le porte dello switch e che il marchio DSCP corrisponda alla configurazione dello switch.Fogli di dati MCX556A-ECATper convalidare le impostazioni di allocazione del buffer rispetto ai valori raccomandati per il profilo del carico di lavoro.
• Errori di collegamento o CRC:Verificare la qualità del cavo QSFP28 e assicurarsi che il firmware dell'adattatore sia aggiornato all'ultima versione.
• CPU ancora alta nonostante il discarico:Confirmare che RDMA viene effettivamente utilizzato (non ricadendo su TCP) ispezionando i contatori dei driver, i registri delle applicazioni e gli stati di connessione.
• PFC deadlock o tempesta di pausa:Controllare la presenza di priorità mal configurate e assicurarsi che il PFC sia abilitato solo per le classi di traffico RoCE (non per il traffico di gestione o di archiviazione).

Per l'ottimizzazione, raccomandiamo i seguenti parametri di regolazione basati su una vasta convalida di laboratorio:

• Interruzione della fusione (moderazione):impostato su 4 ‰ 8 μs per carichi di lavoro misti (trading + storage) per bilanciare la latenza e l'efficienza della CPU.
• RDMA MTU:Aumento a 4096 byte per i carichi di lavoro di archiviazione per ridurre i costi generali del protocollo e migliorare il throughput.
• RSS (Receive Side Scaling):Configurare tra più core CPU per il traffico non RDMA per distribuire l'elaborazione ed evitare la saturazione di un singolo core.
• Limiti ECN:Impostare la soglia minima al 50% del buffer e la soglia massima all'80% per il traffico prioritario 3, adeguandosi in base ai modelli di congestione osservati.

6. Riassunto e valutazione del valore

IlNVIDIA Mellanox MCX556A-ECATLa soluzione offre un valore di trasformazione per i moderni data center.le organizzazioni possono ottenere riduzioni di latenza a livello di applicazione di 5 ‰ 10x, riducono gli on-head della rete CPU di oltre l'80% e aumentano la densità dei container del server del 30­50%.scheda di adattatore Ethernet MCX556A-ECATfornisce un percorso conveniente per l'adozione di 100GbE con protezione degli investimenti attraverso la retrocompatibilità a 40GbE e capacità di scarico future per carichi di lavoro emergenti.

Nel valutare il costo totale di proprietà, ilPrezzo MCX556A-ECATè compensato da un notevole risparmio operativo: minore numero di server (a causa di un utilizzo maggiore), minori costi di raffreddamento (grazie al consumo di energia < 15W),e eliminazione di tessuti separati InfiniBand o RDMA proprietariLa soluzione è completamenteCompatibile con MCX556A-ECATcon i principali ecosistemi open-source e aziendali, tra cui Kubernetes, Apache Spark, TensorFlow e VMware vSphere, garantendo un'ampia applicabilità nelle distribuzioni aziendali, HPC e cloud-native.

Per scrittori di distribuzione dettagliati, modelli di configurazione e rapporti di performance di riferimento, consultare il sito ufficialeFogli di dati MCX556A-ECATQuesto white paper serve da base ∙ l'architettura è convalidata, i componenti sono pronti per la produzione,e i benefici sono misurabili. ilMCX556A-ECAT ConnectX adattatore scheda di rete PCIenon è solo un adattatore; è un fattore strategico per il centro dati RDMA-ready e ottimizzato per il throughput del futuro.