Soluzione tecnica NVIDIA Mellanox MCX631432AN-ADAB: trasporto a bassa latenza RDMA/RoCE e aumento del throughput del server

Questo white paper tecnico è destinato ad architetti di rete, ingegneri pre-vendita e responsabili operativi. Descrive in dettaglio comeNVIDIA Mellanox MCX631432AN-ADABl'adattatore server consente il trasporto a bassa latenza basato su RDMA/RoCE e migliora notevolmente la velocità effettiva del server nei moderni ambienti data center.

La rete TCP/IP convenzionale impone un notevole sovraccarico della CPU a causa dell'elaborazione del protocollo, della copia dei dati e della gestione degli interrupt. Man mano che la densità dei server aumenta e applicazioni come lo storage distribuito (Ceph, vSAN), i database in memoria (Redis, Aerospike) e i framework di formazione AI richiedono una latenza di microsecondi a una cifra, gli stack di rete tradizionali diventano colli di bottiglia insormontabili. I requisiti chiave includono: latenza di accesso allo storage inferiore a 300 µs, utilizzo della CPU inferiore al 10% per l'elaborazione di rete, throughput di linea di 25 GbE per porta e integrazione perfetta con l'infrastruttura di commutazione esistente compatibile con RoCE.

L'architettura proposta adotta una topologia spine-leaf non bloccante con supporto RoCE v2. Ogni nodo di calcolo o di archiviazione è dotato diScheda(NVIDIA Mellanox) MCX631432AN-ADABadattatore, collegamento agli interruttori a foglia tramite ottica 25GbE SFP28. Gli switch foglia eseguono DCQCN (Data Center Quantized Congestion Notification) per il controllo della congestione end-to-end. Il piano di controllo sfrutta PFC (Priority Flow Control) solo su code con priorità di perdita, mentre il piano dati RDMA utilizza RoCE v2 con routing IP per attraversare i confini del livello 3. Questo design elimina il blocco head-of-line e garantisce una latenza deterministica fino a 2000 nodi.

ILMCX631432AN-ADAB Scheda adattatore Ethernetfunge da endpoint critico per gli offload RDMA. SuoMCX631432AN-ADAB ConnectX-6 Lx SFP28 a doppia porta 25GbEil silicio integra RoCE basato su hardware, corrispondenza dei tag e assemblaggio di pacchetti fuori ordine. Rispetto al software iWARP o al kernel TCP, l'adattatore riduce la latenza di oltre il 70%. Per gli architetti che fanno riferimento aScheda tecnica MCX631432AN-ADAB, gli scaricamenti principali includono:

• Offload hardware RoCE v2:Movimento dei dati senza copia, latenza da porta a porta inferiore a 600 ns.
• Sterzo FlexFlow:Parser di pacchetti programmabile per la distribuzione del flusso granulare.
• Motori crittografici in linea:IPsec/TLS alla velocità di linea senza coinvolgimento della CPU.
• Telemetria e marcatura ECN:Visibilità della congestione in tempo reale tramite contatori SPIFFY.

Nel valutareSpecifiche MCX631432AN-ADAB, tieni presente che la scheda supporta velocità sia 25GbE che 10GbE, consentendo migrazioni graduali. Inoltre, ilCompatibile MCX631432AN-ADABL'ecosistema include tutti i principali fornitori di server, semplificando la qualificazione.

Una tipica topologia a due livelli per un cluster da 500 nodi: ogni rack contiene 20 server, ciascuno dotato di unoNVIDIA Mellanox MCX631432AN-ADAB(entrambe le porte attive per ridondanza o aggregazione della larghezza di banda). Gli switch Leaf si collegano ai server tramite cavi DAC SFP28 da 25 GbE (fino a 5 m) o ottica AOC per distanze maggiori. Il livello spinale utilizza uplink da 100 GbE per mantenere l'abbonamento in eccesso 4:1. Per il traffico di storage, dedica una porta per adattatore al traffico backend Ceph con RoCE, riservando la seconda porta per i carichi di lavoro di elaborazione. La scalabilità oltre i 2000 nodi richiede un design super-spine a tre livelli, con BGP-EVPN per la propagazione del percorso RoCE. Gli architetti dovrebbero consultare ilSoluzione con scheda adattatore Ethernet MCX631432AN-ADABguida per matrici di cablaggio dettagliate e budget energetico.

Dopo la distribuzione, i team operativi dovrebbero abilitare NVIDIAmlx5ctlEethtoolper statistiche portuali in tempo reale. Metriche chiave da monitorare: pause di trasmissione RoCEv2 (che indicano tempeste PFC), rapporti di pacchetti contrassegnati da ECN e letture termiche dell'adattatore. Per la risoluzione dei problemi relativi all'elevata latenza della coda, convalidarloParametri DCQCN(alfa, beta e fattore di riduzione della velocità) si allineano con i profili del buffer di commutazione. Usa ilScheda tecnica MCX631432AN-ADABper interpretare contatori avanzati come "out_of_seq" e "ritrasmissioni". Fornire script di automazione per il dump periodico/sys/class/infiniband/mlx5_*/ports/*/contatori/. Per la pianificazione dei costi, i team di procurement possono ottenerePrezzo MCX631432AN-ADABpreventivi e controlliMCX631432AN-ADAB in venditaquotazioni tramite distributori autorizzati; il prezzo a volume è disponibile per ordini di oltre 100 unità.

ILMCX631432AN-ADABoffre una proposta di valore convincente: latenza di storage inferiore a 300 µs, sovraccarico della CPU inferiore al 5% per traffico con velocità di linea da 25 GbE e offload RoCE v2 completi senza modifiche dell'applicazione. Sostituendo gli stack TCP legacy con il trasporto RDMA, le organizzazioni possono recuperare fino al 30% della capacità core per i carichi di lavoro critici per l'azienda. Rispetto agli adattatori 25GbE concorrenti, l'architettura ConnectX-6 Lx offre pipeline programmabili e profondità di telemetria superiori. Questa soluzione tecnica è stata convalidata in ambienti di produzione che spaziano dall'archiviazione nel cloud, alla simulazione HPC e all'analisi in tempo reale. Per i team pronti ad adottare i tessuti RoCE 25GbE, ilNVIDIA Mellanox MCX631432AN-ADABrappresenta una base conveniente e a prova di futuro per reti di server a bassa latenza e ad alto throughput.