NVIDIA Mellanox MCX653106A-HDAT Server Adapter Libro bianco tecnico RDMA/RoCE Trasporto a bassa latenza e throughput del server

NVIDIA Mellanox MCX653106A-HDAT Server Adapter Libro bianco tecnico

1. Analisi del contesto e dei requisiti del progetto

I moderni carichi di lavoro dei data center  comprendono l'intelligenza artificiale, l'High Performance Computing (HPC), i database distribuiti,La tecnologia di networking e di storage aziendale hanno radicalmente trasformato i requisiti di reteLe stacks di rete tradizionali basate su TCP/IP, pur essendo onnipresenti, introducono latenza e CPU overhead che diventano proibitivi in scala.formazione distribuita di apprendimento automatico, e l'analisi in tempo reale richiedono una latenza deterministica inferiore ai 5 microsecondi e un movimento dei dati accelerato dall'hardware per ottenere prestazioni ottimali.

Gli architetti di rete e i responsabili delle infrastrutture adottano sempre più RDMA su Ethernet convergente (RoCE) come mezzo di trasporto preferito per questi carichi di lavoro critici per le prestazioni.Il successo della distribuzione di RoCE dipende dalla capacità dell'adattatore sottostante di eliminare il carico del trattamento del trasporto., gestire efficacemente la congestione e integrarsi senza soluzione di continuità con i tessuti Ethernet esistenti senza richiedere aggiornamenti dei carrelli elevatori.e ambienti HPC includono:

• La latenza RDMA end-to-end inferiore a 3 microsecondi per applicazioni sensibili alla latenza quali il trading ad alta frequenza e i database in memoria
• Trasmissione aggregata superiore a 100 Gb/s per server per supportare nodi di archiviazione ad alta densità e cluster di calcolo accelerati da GPU
• Scarico hardware per GPUDirect per eliminare le copie della memoria lato host nei carichi di lavoro AI e HPC
• Trasporto Ethernet senza perdite con PFC ed ECN per prestazioni deterministiche e senza jitter
• Telemetria completa e percorso di dati programmabili per la visibilità operativa proattiva e la risoluzione dei problemi

IlNVIDIA Mellanox MCX653106A-HDATsi rivolge direttamente a tali esigenze attraverso la sua avanzata architettura ConnectX, fornendo RoCEv2 accelerato da hardware, gestione avanzata della congestione,e un quadro di programmabilità completo adatto agli ambienti aziendali e cloud più esigenti.

2. Progettazione complessiva dell'architettura di rete e sistema

L'architettura della soluzione proposta utilizza una topologia di leaf-spine con connettività 25/50/100GbE al livello di accesso al server.MCX653106A-HDAT ConnectX adattatore scheda di rete PCIeL'architettura è composta da quattro livelli distinti:

• L'accesso all'informazione è consentito solo se:Ilscheda di adattatore Ethernet MCX653106A-HDATsi connette all'host tramite PCIe Gen 4.0 x16fornire fino a 256 GB/s di larghezza di banda bidirezionale dell'host sufficiente a saturare completamente le doppie porte 100GbE mantenendo allo stesso tempo spazio di manovra per il traffico di esplosione e i futuri aggiornamenti di velocità.
• tessuto di rete:Le doppie porte supportano supporti flessibili (SFP28 per 25GbE, QSFP per 50/100GbE) con bilanciamento del carico attivo-attivo e discarico hardware LAG.L'adattatore supporta fino a 200 Gb/s di throughput aggregato con failover basato su hardware.
• Strato di trasporto RDMA:RoCEv2 hardware-accelerated con completo discarico di segmentazione, rimontaggio, controllo della congestione e gestione del completamento.L'adattatore supporta fino a 200 milioni di messaggi al secondo (Mpps) con latenza inferiore al microsecondo.
• Gestione e telemetria:Gestione fuori banda con supporto completo di Redfish e SNMP, integrata da telemetria in banda per il monitoraggio in tempo reale del tessuto e l'ottimizzazione delle prestazioni.

Il design sottolinea un tessuto Ethernet convergente e senza perdite in cui ilNVIDIA Mellanox MCX653106A-HDATserve come endpoint RDMA, consentendo trasferimenti diretti di memoria in memoria senza l'intervento della CPU ospitante.Compatibile con MCX653106A-HDATcon l'infrastruttura di commutazione Ethernet esistente, che richiede solo il supporto PFC ed ECN

3. Ruolo e caratteristiche chiave del NVIDIA Mellanox MCX653106A-HDAT

IlMCX653106A-HDATsvolge un ruolo centrale nell'architettura, fornendo quattro diversi livelli di valore che consentono in collettività reti a bassa latenza e alta capacità di trasmissione:

A. Motore RDMA accelerato da hardware
L'adattatore integra una pipeline di elaborazione di pacchetti completamente programmabile che sgancia le operazioni di trasporto RoCEv2 inclusa la segmentazione, il riassemblaggio, il controllo della congestione,e gestione del completamento interamente dalla CPU host. secondo laFogli di dati MCX653106A-HDAT, l'hardware supporta le prestazioni di wire-rate in tutte le dimensioni di pacchetto, con una velocità massima di messaggio di 200 Mpps e latenza end-to-end di sotto-microsegundo.

B. GPUDirect & NVMe-oF Sgomberati
Un elemento chiave di differenziazioneMCX653106A-HDATè il supporto integrato per GPUDirect,consentire il movimento diretto dei dati tra la memoria GPU e l'interfaccia di rete senza copie da parte dell'host, eliminando un collo di bottiglia critico nella formazione distribuita dell'IAPer i carichi di lavoro di archiviazione, l'adattatore scarica le operazioni NVMe-oF,trasformazione della Ethernet standard in un tessuto di storage ad alte prestazioni con caratteristiche di latenza precedentemente raggiungibili solo con InfiniBand dedicato.

C. Qualità avanzata e gestione della congestione
L'adattatore fornisce la priorità per classe di traffico con supporto per priorità rigorosa, coda equo ponderata e limitazione delle tariffe.Generazione di PFC, e capacità di routing adattivoLe specifiche MCX653106A-HDAT.

D. Sicurezza e programmabilità
L'adattatore include una radice hardware di fiducia, avvio sicuro, aggiornamenti firmware crittografati e interfacce di gestione sicure.abilitare lo scarico personalizzato e la raccolta di telemetria della rete in banda (INT) per una visibilità operativa avanzata.

4. Raccomandazioni per la distribuzione e la scalabilità

Topologia tipica di distribuzione

La distribuzione raccomandata segue una topologia "spine-leaf" con la seguente configurazione:

• Interruttori a foglia:25/50/100GbE ToR switch con supporto RoCEv2, configurati con PFC su code di priorità dedicate (in genere una o due priorità) e ECN per la segnalazione della congestione.Per una prestazione RoCE ottimale sono raccomandati quadri jumbo (MTU 9000)..
• Nodi del server:Ogni nodo dotato delMCX653106A-HDATL'interfaccia PCIe Gen 4.0 x16 dell'adattatore garantisce l'assenza di strozzatura sul lato host.
• Strato spinale:100/400GbE spine switches che forniscono una connettività inter-rack non bloccante con una capacità di buffer sufficiente per assorbire micro-raffiche su più raffiche.
• Integrazione memorizzazione/computazione:Per le implementazioni NVMe-oF, i nodi target utilizzano lo stesso tipo di adattatore per capacità RDMA coerenti.il supporto GPUDirect dell'adattatore è sfruttato per la sincronizzazione dei gradienti tra le GPU.

Considerazioni di scalabilità

• Domeni di congestione:Se il tessuto è ripartito in più zone di gestione della congestione (ad esempio per ogni rack o per ogni cluster), per limitare la propagazione dei PFC.Il limite di velocità per porta dell'adattatore aiuta ad isolare i vicini rumorosi e a mantenere una giusta allocazione della larghezza di banda.
• Integrazione di orchestrazione:L'adattatore è pienamente supportato da Kubernetes (attraverso l'operatore di rete NVIDIA) e OpenStack, consentendo il provisioning automatizzato e la gestione del ciclo di vita in ambienti su scala cloud.
• A prova di futuro:IlMCX653106A-HDATsupporta 100GbE e velocità superiori, fornendo spazio per futuri aggiornamenti di rete senza sostituzione di adattatori.L'interfaccia 0 garantisce anche la compatibilità con le piattaforme server di nuova generazione.

Per le organizzazioni che valutano laMCX653106A-HDAT prezzo, il costo totale di proprietà dovrebbe includere i risparmi derivanti dall'eliminazione delle reti di archiviazione dedicate, dalla riduzione dell'allocazione dei core CPU (in genere il recupero di 4-6 core per server),e le efficienze operative derivanti dalla gestione unificata dei tessuti.

5. Operazioni, monitoraggio, risoluzione dei problemi e ottimizzazione

Quadro di monitoraggio

La soluzione incorpora un approccio di osservabilità a più livelli:

• Telemetria a livello di adattatore:IlMCX653106A-HDATLe metriche chiave includono throughput per porta, frame di pausa PFC, pacchetti contrassegnati ECN, eventi di congestione RoCEv2,Statistiche della coda di completamento RDMA, e istogrammi di latenza per flusso.
• Visibilità a livello del tessuto:L'integrazione con la piattaforma di gestione unificata di NVIDIA fornisce la visualizzazione della topologia, l'analisi del percorso di flusso e il rilevamento delle anomalie in tutto il tessuto.
• Correlazione di applicazione:L'adattatore fornisce statistiche per coda e per coda di completamento RDMA, consentendo una correlazione precisa delle prestazioni della rete con la latenza delle transazioni a livello di applicazione.

Scenari comuni di risoluzione dei problemi

Sulla base dell'esperienza operativaNVIDIA Mellanox MCX653106A-HDAT, sono identificati i seguenti schemi diagnostici:

• Detezione di tempeste di PFC:Monitorare i contatori di fotogrammi di pausa PFC per priorità ′ pausa prolungata > 5% della velocità della linea indica congestione o configurazione errata.Indagare la fonte utilizzando i contatori di utilizzo del buffer per coda dell'adattatore.
• RoCEv2 Pacco gocce:Controllare i contatori di caduta dell'adattatore (rx_discard, tx_discard) e correlarli con i pacchetti contrassegnati ECN per distinguere tra le cadute a livello di adattatore e il throttling a livello di tessuto.
• Tuning delle prestazioni:Regolare i parametri di interruzione del coalescing per bilanciare la latenza rispetto all'utilizzo della CPU Fogli di dati MCX653106A-HDATfornisce indicazioni dettagliate su tutti i parametri regolabili.

Linee guida per l'ottimizzazione

Per raggiungere il massimo throughput e la latenza minima con ilSoluzione per schede di adattamento Ethernet MCX653106A-HDAT, si raccomandano le seguenti ottimizzazioni:

• Abilitare l'hardware CRC, l'header/data split offload e la scalazione lato ricezione (RSS) per distribuire il traffico in modo efficiente su più core CPU
• Configurazione dinamica delle soglie PFC per priorità utilizzando gli strumenti di configurazione del buffer specifici del fornitore dell'adattatore, in base ai profili di carico di lavoro osservati
• Abilitare le funzionalità avanzate di QoS dell'adattatore, inclusa la limitazione della velocità per classe di traffico e la priorità rigorosa o la fila equo ponderata
• Per le implementazioni su larga scala, sfruttare il supporto dell'adattatore per 802.1Qaz DCBX per automatizzare la negoziazione PFC ed ECN con gli switch
• Utilizzare il percorso di dati programmabile dell'adattatore per implementare raccolta telemetrica personalizzata o processi di pacchetti specializzati su misura per esigenze specifiche dell'applicazione

6. Riassunto e valutazione del valore

La soluzione tecnica si è concentrata sullaMCX653106A-HDATIl nuovo protocollo di NVIDIA Mellanox offre un percorso chiaro per raggiungere una latenza RDMA inferiore ai 3 microsecondi e un throughput aggregato superiore a 100 Gb/s per server.scheda di adattatore Ethernet MCX653106A-HDATserve come blocco di costruzione fondamentale per i moderni tessuti di data center convergenti che supportano simultaneamente la formazione AI, HPC, storage aziendale e carichi di lavoro di analisi in tempo reale.

Le proposte di valore chiave includono:

• Consolidazione delle infrastrutture:Elimina la necessità di reti di storage e di calcolo separate consentendo l'Ethernet senza perdite per tutti i tipi di traffico, riducendo le spese di capitale e di gestione
• Performance Leadership:RoCEv2 con GPUDirect garantisce una latenza deterministica di sotto-microsegondi anche sotto un utilizzo della velocità di linea superiore al 90%e commercio ad alta frequenza
• Efficienza operativa:Telemetria completa, gestione della congestione auto-riparabile e integrazioni di orchestrazione automatizzata riducono il tempo medio di risoluzione (MTTR) e i costi operativi
• Protezione degli investimenti:L'interfaccia PCIe Gen 4.0 dell'adattatore, la programmabilità e il supporto alle porte a più velocità assicurano la compatibilità con le future generazioni di CPU e i tessuti di rete a velocità superiore

Per le organizzazioni che valutano attivamenteMCX653106A-HDAT in venditaQuesta soluzione offre un'architettura di riferimento comprovata e convalidata negli ambienti di produzione di servizi finanziari, fornitori di cloud, sanità e istituzioni di ricerca.La combinazione di prestazioni, scalabilità e maturità operativaNVIDIA Mellanox MCX653106A-HDATun investimento strategico per qualsiasi organizzazione impegnata a costruire infrastrutture di data center ad alte prestazioni e future.