Whitepaper Tecnico Scheda Server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT

Questo white paper tecnico è progettato per architetti di rete, ingegneri pre-vendita e responsabili delle operazioni. Si concentra sull'adattatore server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT e dimostra come costruire reti di data center a bassa latenza e ad alto throughput utilizzando la tecnologia RDMA/RoCE. Il documento copre la progettazione architetturale, le caratteristiche tecniche chiave, le strategie di implementazione e scalabilità, nonché le operazioni e il monitoraggio, fornendo indicazioni pratiche per l'implementazione nel mondo reale.

I data center moderni affrontano tre sfide principali: la CPU che diventa un collo di bottiglia di rete, un'eccessiva latenza di accesso allo storage e un overhead di comunicazione incontrollabile per le applicazioni distribuite. Lo stack di protocollo TCP/IP tradizionale consuma oltre il 30% delle risorse della CPU per l'elaborazione dei protocolli e la copia dei dati durante la comunicazione parallela su larga scala, riducendo significativamente il throughput effettivo del server. Nel frattempo, applicazioni come NVMe over Fabrics, framework di machine learning distribuiti (ad es. NCCL) e database in memoria richiedono una latenza end-to-end inferiore a 20 microsecondi. Ciò che è urgentemente necessario è una soluzione che bypassi il kernel e fornisca l'offload del trasporto a livello hardware, esattamente il problema che il MCX623106AN-CDAT combinato con la tecnologia RoCE risolve.

Questa soluzione adotta una topologia Spine-Leaf a due livelli. Tutti i nodi di calcolo e storage sono dotati dell'adattatore Ethernet NVIDIA Mellanox MCX623106AN-CDAT. Gli switch Leaf sono configurati per un'operatività RoCE lossless, abilitando PFC (Priority Flow Control) ed ECN (Explicit Congestion Notification), con una coda di priorità dedicata allocata per il traffico RoCE. I principi di progettazione chiave includono:

• Separazione dei piani di controllo e dati: I flussi di dati RoCE vengono elaborati interamente dall'hardware sull'adattatore, mentre i protocolli di controllo (ad es. ARP, DHCP) seguono ancora il percorso tradizionale.
• Fabric unificato: Ethernet trasporta sia il traffico TCP/IP standard che il traffico RoCE, con isolamento QoS ottenuto tramite marcatura DSCP.
• Gestione della congestione end-to-end: Basato sull'algoritmo DCQCN, che stabilisce un meccanismo di feedback ad anello chiuso tra gli adattatori sorgente e gli switch.

La scheda adattatore Ethernet MCX623106AN-CDAT svolge un ruolo critico in ogni nodo server. Il suo design dual-port 100GbE può connettersi a diversi switch Leaf per ridondanza o fornire isolamento fisico tra il traffico di storage e quello di calcolo.

In qualità di componente principale del piano dati di questa soluzione, la scheda di rete PCIe adattatore ConnectX MCX623106AN-CDAT offre le seguenti capacità decisive:

• Motore di offload RoCE hardware: Gestisce l'elaborazione del livello di trasporto (segmentazione, riassemblaggio, riconoscimento, ritrasmissione) senza intervento della CPU host.
• Offload dinamici ConnectX: Distribuisce automaticamente il traffico multi-coda, migliorando il throughput sui server multi-core.
• Interfaccia host PCIe 4.0 x16: Larghezza di banda teorica di 256 Gb/s, garantendo nessun collo di bottiglia per l'inoltro a velocità di linea.
• Offload avanzati per lo storage: Supporta l'accelerazione hardware per NVMe over Fabrics, inclusa la ricerca dello spazio dei nomi e i controlli di integrità dei dati.

Secondo il datasheet MCX623106AN-CDAT e le specifiche MCX623106AN-CDAT pubblicamente disponibili, questo adattatore raggiunge una latenza porta-a-porta inferiore a 600 nanosecondi e supporta velocità di elaborazione pacchetti fino a 200 milioni di pacchetti al secondo. Per i team che valutano i costi, il prezzo MCX623106AN-CDAT è altamente competitivo tra gli adattatori RoCE 100GbE comparabili, e MCX623106AN-CDAT in vendita è disponibile tramite i canali di distribuzione standard. Prima della selezione, è consigliabile confermare che i modelli di server appaiano nell'elenco MCX623106AN-CDAT compatibile: le piattaforme OEM mainstream sono state tutte convalidate.

Descrizione della Topologia Tipica:
Un'architettura Clos composta da 2 switch Spine e 4 switch Leaf. Ogni nodo server è dotato di un MCX623106AN-CDAT, con entrambe le porte 100GbE connesse a due diversi switch Leaf. Le porte uplink Leaf si connettono agli Spine con un rapporto di sovra-allocazione di 4:1. Viene utilizzata una VLAN dedicata per il traffico RoCE.

Passaggi di Implementazione:

• Passaggio 1: Installare fisicamente il MCX623106AN-CDAT in uno slot PCIe 4.0 x16, quindi installare il firmware più recente e il driver NVIDIA MLNX_OFED.
• Passaggio 2: Sugli switch, configurare PFC (priorità 3 consigliata) ed ECN (impostare Kmin/Kmax) per il traffico RoCE.
• Passaggio 3: Sul sistema operativo, abilitare la modalità RoCEv2 e configurare i parametri DCQCN (valori iniziali: α=1, β=1, periodo timer 100 μs).
• Passaggio 4: Utilizzare gli strumenti ib_write_bw e ib_write_lat per verificare la baseline delle prestazioni.

Raccomandazioni di Scalabilità: Quando il cluster supera i 500 nodi, considerare l'abilitazione del controllo di flusso (PPC) dell'adattatore e delle tabelle di mappatura QoS, e considerare l'utilizzo di più priorità RoCE per evitare il blocco head-of-line.

I team operativi possono utilizzare i seguenti strumenti per monitorare lo stato della soluzione completa scheda adattatore Ethernet MCX623106AN-CDAT:

• mlxconfig / mlxfwmanager: Configurare i parametri del firmware e gestire gli aggiornamenti del firmware.
• ethtool -S: Visualizzare i contatori di trasmissione/ricezione RoCE e i conteggi dei frame di pausa PFC.
• ibdiagnet: Eseguire diagnostiche complete della rete RoCE per rilevare tempeste PFC non necessarie.
• Telemetria e HIST: Utilizzare le tabelle di distribuzione della latenza storica integrate sull'adattatore per identificare anomalie di latenza di coda.

Troubleshooting Comune:

• Throughput inferiore alle aspettative: Verificare lo stato della negoziazione PCIe (dovrebbe essere Gen4 x16) e assicurarsi che l'MTU sia impostato uniformemente su frame jumbo da 9000.
• Errori di connessione RoCE: Verificare la mappatura DSCP e la configurazione VLAN, assicurandosi che lo switch non stia scartando i pacchetti contrassegnati RoCE.
• Elevato utilizzo della CPU: Questo potrebbe indicare che l'offload hardware non è abilitato; controllare le impostazioni di offload di ethtool.

Raccomandazioni di Ottimizzazione: Per applicazioni estremamente sensibili alla latenza (ad es. trading ad alta frequenza, replica di log RDMA), considerare la modifica del tipo di servizio RoCE da "connesso" a "datagramma" e la disabilitazione del controllo della congestione.

La soluzione RDMA/RoCE basata sul MCX623106AN-CDAT riduce la latenza end-to-end per le applicazioni distribuite di un ordine di grandezza (da centinaia di microsecondi a decine di microsecondi) senza sostituire l'infrastruttura Ethernet esistente, liberando contemporaneamente il 20-30% delle risorse di calcolo della CPU. Per scenari come l'addestramento AI, lo storage iperconvergente e l'analisi in tempo reale, ciò si traduce direttamente in tempi di completamento dei job più brevi e in una maggiore densità dei server. Come soluzione completa scheda adattatore Ethernet MCX623106AN-CDAT, dimostra che "Ethernet lossless + smart NIC" è un percorso praticabile per ottenere sia un alto throughput che una bassa latenza. Per ulteriori dettagli tecnici o per ottenere il datasheet MCX623106AN-CDAT, fare riferimento alla documentazione ufficiale NVIDIA o contattare un team di architettura delle soluzioni.