NVIDIA Mellanox MCX653106A-HDAT Server Adapter White Paper Tecnico

Questo white paper tecnico è destinato agli architetti di rete, agli ingegneri pre-vendita e ai responsabili delle operazioni.La Commissione ha adottato un regolamento che modifica il regolamento (CE) n.NVIDIA Mellanox MCX653106A-HDATserver NIC, con particolare attenzione al trasporto RDMA/RoCE e ai guadagni di throughput dei server misurabili.

I moderni carichi di lavoro dei data center – compresi i tessuti di storage NVMe-oF, la formazione distribuita dell'IA, il trading ad alta frequenza e l'analisi in tempo reale – pongono richieste estreme all'infrastruttura di rete.L'elaborazione stack TCP/IP tradizionale introduce tre colli di bottiglia fondamentali: elevato sovraccarico della CPU (spesso superiore al 50% dei cicli di core), latenza variabile a causa di limitazioni di bypass del kernel e ridotto throughput effettivo da sovraccarico di elaborazione del protocollo.Le organizzazioni richiedono una soluzione che fornisca larghezza di banda a velocità di linea con latenza sub-microsegonda, liberando le risorse della CPU per la logica delle applicazioniI requisiti chiave includono RDMA con hardware scaricato, trasporto RoCE senza perdite, integrazione senza soluzione di continuità con i tessuti Ethernet esistenti,e strumenti operativi completi per il monitoraggio e la risoluzione dei problemi.

L'architettura proposta adotta una topologia a due livelli Clos (spine-leaf) ottimizzata per il trasporto RoCE.Selezione di trasmissione migliorata) configurata per garantire un comportamento senza perdite per il traffico RDMA. Gli spine switch consentono di non bloccare la comunicazione da qualsiasi parte del tessuto.scheda di adattatore Ethernet MCX653106A-HDAT, che si connette agli switch a foglia tramite doppie porte 100GbE configurate in collegamento attivo-attivo.L'architettura separa il traffico RDMA (coda di priorità dedicata con PFC abilitato) dal traffico TCP/IP regolare (coda di miglior sforzo)La segmentazione VLAN isola i domini RDMA mentre il routing gestisce la comunicazione cross-subnet dove necessario.

IlMCX653106A-HDAT ConnectX adattatore scheda di rete PCIeè la base di questa soluzione, basata sull'architettura ConnectX-6 con interfaccia host PCIe 4.0 x16,fornisce un throughput a doppia porta 100GbE (o a singola porta 200GbE) con latenza inferiore a 600ns sotto carichi di lavoro RDMALe caratteristiche chiave utilizzate in questo progetto includono:

• Hardware RDMA e RoCE Offload:Supporta sia RoCE v1 che v2.
• Acceleratore NVMe-oF:Logica hardware che accelera i comandi NVMe, riducendo la latenza di accesso allo storage di oltre l'80% rispetto agli obiettivi software.
• Percorso di dati programmabile (ASAP2):Permette l'elaborazione flessibile dei pacchetti e il discarico delle reti sovrapposte (VXLAN, GENEVA).
• RDMA diretto multi-host e GPU:Comunicazione peer-to-peer diretta tra GPU attraverso i nodi senza intervento della CPU è fondamentale per i cluster di IA.
• Telemetria e controllo della congestione:Monitoraggio del flusso basato su hardware, marcatura ECN e limitazione dinamica del tasso.

Ingegneri che esaminano laFogli di dati MCX653106A-HDATIl nuovo sistema operativo, basato su una nuova versione di Linux, è stato progettato per supportare sia i fattori di forma standard che quelli OCP 3.0, una copertura completa del sistema operativo (distribuzioni Linux con MLNX_OFED, Windows, ESXi) e un'ampia compatibilità con i server.Le specifiche MCX653106A-HDATconferma inoltre il consumo di potenza massimo di 75 W e le temperature di esercizio da 0°C a 55°C, adatte a applicazioni ad alta densità.

La distribuzione segue un approccio graduale.

Passi di distribuzione:

1. Fase 1 Validazione:Conferma.Compatibile con MCX653106A-HDATutilizzare la matrice di compatibilità dalFogli di dati MCX653106A-HDAT.
2. Fase 2  Installazione del driver:Implementare il pacchetto driver MLNX_OFED (versione minima 5.8) su tutti i nodi. Abilitare i moduli del kernel RDMA e RoCE.
3. Fase 3 ¢ Configurazione del tessuto:Abilitare PFC (priorità 3 per RDMA) e ETS sui switch a foglia.
4. Fase 4 RoCE Setup:Configurare ciascunascheda di adattatore Ethernet MCX653106A-HDATcon RoCE v2 (in rotta) o v1 (non in rotta). Impostare la modalità GID su RoCE v2 con indirizzamento IPv4.
5. Fase 5 Verifica:Eseguire test ib_write_bw e ib_send_lat tra nodi per convalidare la larghezza di banda e la latenza.perquery- emlnx_perf.

Per la scalabilità oltre i 16 nodi, transizione verso una topologia spine-leaf con switch spine ridondanti che supportano fino a 128 nodi.Soluzione per schede di adattamento Ethernet MCX653106A-HDATLa RoCE utilizza ECMP per la distribuzione del carico su più percorsi.

Il funzionamento efficace degli ambienti RDMA/RoCE richiede attrezzature specializzate.

• Determinazione della congestione:Monitorare i fotogrammi di pausa PFC per porta utilizzando la telemetria degli interruttori (ad esempio, Mellanox SHARP).
• Performance Baseline:Usomlx5cmd- e-SPer raccogliere i contatori RDMA in coda, seguire i completamenti e le ritrasmissioni fuori ordine.
• ECN e DCQCN:Abilitare la notifica esplicita di congestione (ECN) sugli interruttori e configurare i parametri di controllo dinamico della congestione (DCQCN) sul dispositivoMCX653106A-HDATil conducente (ad esempio,dcqcn_r_ai=40,dcqcn_r_hai=10)).
• Analisi del registro:Riesame/var/log/messaggiper i fallimenti della connessione RDMA (ad esempio, mlx5_core: non è stato possibile creare QP). Verificare la corrispondenza degli indici GID tra i punti terminali.
• Aggiornamenti del firmware:Aggiornare regolarmente il firmware del NIC tramiteIl direttore della Mlxfwm. ilLe specifiche MCX653106A-HDATraccomando un firmware di base di xx.36.1010 o superiore per prestazioni RoCE ottimali.
• Pianificazione delle capacità:Per le organizzazioni che stimanoMCX653106A-HDAT prezzo- eMCX653106A-HDAT in venditaSconti sul volume, tassi di crescita del traffico RDMA e tassi di sovra-sottoscrizione del piano di switch (in genere 3:1 per i tessuti di stoccaggio).

Uno scenario comune di risoluzione dei problemi: un'alta latenza unidirezionale con perdita di pacchetti zero indica spesso soglie ECN mal configurate o impostazioni PFC asimmetriche.mlnx_qosverificare la mappatura della modalità di affidabilità e della priorità del DSCP su tutti gli elementi di rete.

IlNVIDIA Mellanox MCX653106A-HDATserver NIC fornisce una base pronta per la produzione per l'implementazione di reti RDMA/RoCE ad alte prestazioni.

• Performance:Fino a 200Gb/s di throughput per adattatore con latenza inferiore al microsegundo, consentendo lo storage scalabile e carichi di lavoro di calcolo distribuiti precedentemente limitati dalle spese generali TCP.
• Efficienza:I discarichi hardware riducono il consumo di CPU correlato alla rete da > 50% a meno del 15%, liberando i core per l'elaborazione delle applicazioni.
• TCO:IlSoluzione per schede di adattamento Ethernet MCX653106A-HDATRiduce il numero di nodi richiesti per un determinato obiettivo di throughput, riducendo i costi di capitale e operativi.MCX653106A-HDAT prezzo, si considera il periodo di recupero di 9-12 mesi solo per i guadagni di efficienza.
• Prontezza per il futuro:Il supporto per PCIe 5.0 (compatibile con il passato) e la programmabilità tramite DOCA garantisce la protezione degli investimenti man mano che le velocità dei data center migrano a 200/400GbE.

Per gli architetti che cercano un modello di progettazione testato in produzione, questa soluzione si integra perfettamente nelle operazioni Ethernet esistenti, sfruttando al contempo il pieno potenziale di RDMA.Fogli di dati MCX653106A-HDATPer l'acquisto, inclusi gli orientamenti attuali e futuriMCX653106A-HDAT prezzo- eMCX653106A-HDAT in venditaOrari di consegna, contatti con i distributori autorizzati NVIDIA Mellanox.