NVIDIA Mellanox MCX653106A-HDAT in azione: raggiungimento di innovazioni nel trasporto RDMA/RoCE a bassa latenza e nel throughput del server

Nei moderni ambienti data center, che spaziano dallo storage distribuito, al trading ad alta frequenza e ai cluster di addestramento dell'intelligenza artificiale, rimangono due sfide persistenti: ridurre la latenza indotta dalla rete e massimizzare il throughput del server senza gravare sulla CPU. Questa analisi approfondita dell'applicazione esamina il modo in cui un fornitore leader di infrastrutture cloud ha affrontato questi problemi esatti distribuendo ilNVIDIA Mellanox MCX653106A-HDATadattatore server sui nodi di elaborazione e archiviazione.

Contesto e sfida

L'infrastruttura 25GbE esistente del provider, basata su adattatori Ethernet standard con stack TCP/IP basati su software, mostrava evidenti limiti. I carichi di lavoro di storage che utilizzavano NVMe over Fabrics hanno registrato picchi di latenza imprevedibili (spesso superiori a 50 µs), mentre i cluster di database hanno sofferto di un elevato utilizzo della CPU, fino al 35% dei core consumati dalla sola elaborazione di rete. Il team di ingegneri aveva bisogno di una soluzione in grado di fornire una latenza inferiore a 10 µs per le transazioni RDMA e supportare un throughput di 200 GbE senza richiedere una revisione completa dell'architettura.

Dopo aver valutato più opzioni, si sono rivolti aMCX653106A-HDAT Scheda adattatore Ethernet, che prometteva RoCE (RDMA over Converged Ethernet) con scarico dell'hardware e una perfetta integrazione con la topologia leaf-spine esistente basata su Cumulus Linux.

Approccio alla soluzione e all'implementazione

Lo schieramento era incentrato sulScheda di rete PCIe adattatore ConnectX MCX653106A-HDAT, sfruttando la configurazione a doppia porta 100GbE per creare una struttura non bloccante. Ogni nodo di calcolo ha ricevuto un adattatore, mentre i nodi di storage ne erano dotati due per ridondanza. Le principali fasi di implementazione includevano:

• Abilitazione di RoCEv2 con PFC (Priority Flow Control) ed ECN (Explicit Congestion Notification) per garantire un trasporto senza perdite
• Configurazione di SR-IOV per dedicare funzioni virtuali a carichi di lavoro di database e archiviazione ad alta priorità
• Distribuzione dell'ultima versioneCompatibile con MCX653106A-HDATstack di driver (NVIDIA DOCA 2.5) sui nodi Ubuntu 22.04 LTS
• Implementazione dell'accelerazione DPDK basata su hardware per i percorsi di elaborazione dei pacchetti

Sulla base diScheda tecnica MCX653106A-HDATe la convalida pre-implementazione, il team ha previsto una latenza hardware inferiore a 1μs e fino a 215 milioni di pacchetti al secondo (MPPS) per transazioni di piccoli pacchetti, parametri che hanno guidato la pianificazione della capacità.

Risultati e benefici misurabili

Dopo un progetto pilota di quattro settimane su 50 nodi di produzione, il team dell'infrastruttura ha documentato i seguenti miglioramenti durante il confrontoNVIDIA Mellanox MCX653106A-HDATrispetto ai loro adattatori legacy:

Al di là dei numeri grezzi, il team di ingegneri ha notato cheSoluzione con scheda adattatore Ethernet MCX653106A-HDATeliminato le soluzioni alternative di ottimizzazione precedentemente richieste, come gli hack di unione degli interrupt e buffer di ricezione sovradimensionati. Gli offload hardware dell'adattatore per VXLAN e Geneve hanno inoltre semplificato lo stack di rete dei contenitori, riducendo la latenza da pod a pod del 40% negli ambienti Kubernetes.

Per i responsabili IT che valutano i costi,Prezzo MCX653106A-HDATi confronti con soluzioni 200GbE comparabili hanno mostrato un costo totale di proprietà inferiore del 15-20% se si tiene conto del risparmio dei core della CPU e della riduzione dell'utilizzo delle porte dello switch. Nel frattempo,MCX653106A-HDAT in venditale richieste dei team adiacenti, tra cui HPC e analisi in tempo reale, sono già state inviate per il prossimo ciclo di approvvigionamento.

Riepilogo e prospettive

Lo schieramento lo confermaNVIDIA Mellanox MCX653106A-HDATnon è semplicemente un aggiornamento delle specifiche ma un salto funzionale per ambienti sensibili alla latenza e vincolati al throughput. Spostando l'elaborazione di rete dal software all'hardware, tramite offload RoCE, SR-IOV e un'architettura predisposta per GPUDirect, le organizzazioni possono ottenere una latenza deterministica su scala di microsecondi recuperando allo stesso tempo i cicli della CPU per la logica dell'applicazione.

Man mano che il team dell'infrastruttura espande l'implementazione a oltre 500 nodi, sta anche esplorando la crittografia in linea integrata dell'adattatore (IPsec/TLS) per la sicurezza multi-tenant e PTP (IEEE 1588v2) per i carichi di lavoro dei servizi finanziari. Per gli ingegneri che cercano configurazioni convalidate, ilSpecifiche MCX653106A-HDATe i progetti di riferimento sono disponibili tramite il portale per sviluppatori DOCA di NVIDIA. Questo caso reale chiarisce una cosa: ilScheda di rete PCIe adattatore ConnectX MCX653106A-HDATmantiene la promessa di Ethernet a bassa latenza e throughput elevato per i data center di prossima generazione.

Per una revisione tecnica più approfondita, consultare il funzionarioScheda tecnica MCX653106A-HDAToppure contatta il tuo solution architect NVIDIA regionale.