Soluzione tecnica NIC per server Mellanox (NVIDIA Mellanox) MCX556A-ECAT

Questo white paper fornisce ad architetti di rete, ingegneri pre-vendita e responsabili operativi un quadro tecnico completo per l'implementazione diMellanox (NVIDIA Mellanox) MCX556A-ECATadattatore di rete del server. La soluzione si concentra sull'eliminazione dei colli di bottiglia TCP/IP tramite RDMA/RoCE, offrendo comunicazioni deterministiche a bassa latenza e massimizzando al tempo stesso il throughput del server per carichi di lavoro ad alta intensità di dati.

1. Contesto del progetto e analisi dei requisiti

I moderni ambienti data center, inclusi cluster di formazione AI, database distribuiti, infrastruttura iperconvergente e piattaforme di trading ad alta frequenza, condividono un vincolo comune: lo stack di rete tradizionale consuma il 30-50% dei cicli della CPU su copie di memoria, cambi di contesto ed elaborazione dei protocolli. Man mano che le velocità di collegamento raggiungono i 100 Gbps e oltre, le reti basate su software diventano insostenibili. I requisiti chiave per la connettività dei server di prossima generazione includono: latenza tra nodi inferiore a 5 microsecondi, sovraccarico della CPU inferiore al 10% per collegamento a 100 Gbps, trasporto senza perdite per i protocolli di storage (NVMe-oF) e integrazione perfetta con l'infrastruttura Ethernet esistente. ILSoluzione con scheda adattatore Ethernet MCX556A-ECATrisponde direttamente a queste esigenze.

2. Progettazione complessiva dell'architettura di rete/sistema

L'architettura consigliata distribuisce ilNVIDIA Mellanox MCX556A-ECATcome adattatore 100GbE a doppia porta in ciascun nodo di elaborazione o archiviazione. La soluzione adotta una topologia leaf-spine a due livelli con supporto RoCE (RDMA over Converged Ethernet). Le decisioni chiave sull'architettura includono:

• Base Ethernet senza perdite: abilita il controllo del flusso prioritario (PFC) sulle porte che trasportano traffico RoCE e configura le soglie ECN (notifica esplicita di congestione) sugli switch foglia.
• Classi di traffico separate: assegna il traffico RoCE a una coda di priorità dedicata (tipicamente 3 o 5) con una rigorosa pianificazione della priorità.
• Gestione del buffer: allocare pool di buffer condivisi sugli switch in base aSpecifiche MCX556A-ECAT(consigliati 4 MB per porta per operazioni senza perdite).

OgniScheda di rete PCIe adattatore ConnectX MCX556A-ECATsi collega a un interruttore a foglia tramite ottica QSFP28 (SR4, LR4 o AOC/DAC a seconda della distanza). Per garantire un'elevata disponibilità, le configurazioni dual-homing collegano entrambe le porte: attiva-attiva per il throughput o attiva-standby per il failover. Il piano di controllo utilizza Ethernet e IP standard, mentre il piano dati sfrutta RDMA per trasferimenti a copia zero.

3. Ruolo e caratteristiche principali di Mellanox (NVIDIA Mellanox) MCX556A-ECAT nella soluzione

ILMCX556A-ECATfunge da motore di offload critico tra la memoria del server e la struttura della rete. Il suo trasporto basato su hardware elimina il coinvolgimento del kernel per lo spostamento dei dati. Funzionalità chiave estratte daScheda tecnica MCX556A-ECATincludere:

ILScheda adattatore Ethernet MCX556A-ECATinclude anche la gestione avanzata (classificazione del flusso in 128 code virtuali), SR-IOV con un massimo di 512 funzioni virtuali e offload del timer hardware per il protocollo temporale di precisione (PTP). Queste caratteristiche lo rendono un motore completo di accelerazione del percorso dati, non semplicemente un'interfaccia ad alta velocità.

4. Raccomandazioni per la distribuzione e la scalabilità (topologia tipica)

Per un cluster di medie dimensioni (64–256 nodi), si consiglia la seguente topologia:

• Strato di foglie: Due o quattro switch RoCE 100GbE a 48 porte (ad esempio, NVIDIA SN3700). Ogni foglia si connette a 24–48 server, con il fileCompatibile con MCX556A-ECATPorte QSFP28.
• Strato della colonna vertebrale: Quattro switch 400GbE a 32 porte che forniscono 128 uplink 100GbE non bloccanti dalle foglie.
• Configurazione del server: UnoMCX556A-ECATper server, dalla porta A allo switch foglia A, dalla porta B allo switch foglia B. Ciò produce una larghezza di banda aggregata di 200 Gbps e una ridondanza del percorso.

Per scalare la struttura oltre i 256 nodi è necessario aggiungere coppie foglia-spina o migrare a un'architettura Clos a 3 stadi. Nel valutarePrezzo MCX556A-ECATrispetto alla capacità futura, tenendo conto del fatto che l'adattatore lo èCompatibile con MCX556A-ECATcon schede madri PCIe 4.0 (inizialmente funzionanti a 3.0 x16), offrendo un percorso di aggiornamento semplice.

5. Operazioni, monitoraggio, risoluzione dei problemi e ottimizzazione

L'eccellenza operativa per le implementazioni RoCE richiede monitoraggio e messa a punto specifici. Le pratiche chiave includono:

• Contatori di monitoraggio: Utilizzoethtool -S ethX | grep -E "roce|pfc|ecn"per tenere traccia dei frame di pausa prioritari e dei CNP (Congestion Notification Packets). ILSpecifiche MCX556A-ECATdocumentare i valori di riferimento attesi.
• Sintonizzazione del buffer: configura i buffer di uscita dello switch su 4–6 MB per le code RoCE. Buffer insufficienti causano tempeste di PFC e collasso della produttività.
• Gestione del firmware: mantenere il firmware più recente (disponibile dal portale di supporto aziendale NVIDIA) per risolvere errori e ottenere miglioramenti delle prestazioni documentati nelScheda tecnica MCX556A-ECAT.
• Base di prestazione: Correreib_write_bwEib_read_latdal toolkit OFED. Risultati attesi: 98–99 Gbps bidirezionali con latenza di 0,8–1,2 µs per messaggi da 8 byte.

Scenari comuni di risoluzione dei problemi: deadlock PFC (verificare la presenza di mappature di code configurate in modo errato), sbalzo dei collegamenti (convalidare i valori nominali di alimentazione e cavi) e timeout della connessione RDMA (garantire la coerenza MTU a 4200 byte per i frame jumbo). Per le squadre che cercanoMCX556A-ECAT in venditaPer espandere i cluster, l'allineamento preliminare del firmware tra i batch evita sorprese di compatibilità.

6. Riepilogo e valutazione del valore

ILMCX556A-ECAToffre una chiara proposta di valore per i data center moderni. Abilitando RDMA/RoCE, ilNVIDIA Mellanox MCX556A-ECATriduce la latenza delle applicazioni di 10 volte rispetto a TCP, riduce il sovraccarico della rete della CPU dell'85% e sblocca la disaggregazione dello storage tramite NVMe-oF. Per gli architetti, la capacità 100GbE a doppia porta della scheda offre margine di manovra futuro; per i team operativi, lo stack di driver maturo (Linux, Windows e VMware upstream) semplifica la gestione. Nel valutarePrezzo MCX556A-ECATrispetto al costo totale di proprietà, incluse licenze software, alimentazione e raffreddamento, l'adattatore si ammortizza in genere entro 6-12 mesi attraverso il consolidamento dei server. Se indicato come anScheda adattatore Ethernet MCX556A-ECATOScheda di rete PCIe adattatore ConnectX MCX556A-ECAT, questa soluzione rimane un progetto di riferimento per reti Ethernet ad alto throughput e senza perdite.