Soluzione tecnica: raggiungimento di RDMA/RoCE a bassa latenza e ottimizzazione del throughput con il Mellanox

I moderni data center sono sottoposti a una pressione costante per fornire prestazioni più elevate per applicazioni sensibili alla latenza come i database distribuiti, l'High Performance Computing (HPC),e cluster di formazione sull'IALe reti TCP/IP tradizionali impongono un notevole sovraccarico alla CPU, creando colli di bottiglia che limitano la scalabilità delle applicazioni e aumentano i tempi di risposta.Per le organizzazioni che desiderano modernizzare le loro infrastrutture, il requisito fondamentale è chiaro: ridurre la latenza e aumentare il throughput dei server senza costose riforme architettoniche.

La soluzione consiste nell'adozione di RDMA (Remote Direct Memory Access) su Ethernet convergente (RoCE).bypassando il kernel del sistema operativo per liberare le risorse della CPU e ridurre al minimo la latenzaIl cuore di questa trasformazione è la scheda di interfaccia di rete (NIC).MCX631432AN-ADABIl prodotto è stato specificamente progettato per soddisfare queste esigenze, fornendo una solida base per i tessuti abilitati a RoCE.

L'architettura proposta è un tessuto di spina dorsale progettato per un ambiente Ethernet senza perdite, che è un prerequisito per prestazioni RoCEv2 ottimali.Il progetto integra il traffico di calcolo e di archiviazione su un sistema unificato, tessuto ad alta velocità per ridurre la complessità e il costo.

• Strato spinale:Gli switch 100GbE ad alta capacità forniscono una connettività non bloccante tra tutti gli switch a foglia, garantendo percorsi da qualsiasi luogo a qualsiasi luogo a bassa latenza.
• Strato di foglia:Gli switch top-of-rack (ToR) con downlink 25GbE si collegano a server e nodi di archiviazione.Questi interruttori sono configurati con Priority Flow Control (PFC) e Explicit Congestion Notification (ECN) per mantenere un tessuto senza perdite.
• Livello server:Ogni server è dotato delNVIDIA Mellanox MCX631432AN-ADAB, un adattatore SFP28 a doppia porta 25GbE. Questo consente il collegamento di rete o percorsi separati per il traffico di archiviazione e calcolo.

Questa progettazione garantisce che ilMCX631432AN-ADAB scheda di adattatore Ethernetopera in un ambiente in cui il traffico RoCE può fluire senza perdita di pacchetti, il che è fondamentale per mantenere un elevato throughput e una bassa latenza.

IlMCX631432AN-ADABCome membro della famiglia ConnectX-6 Lx, porta funzionalità di livello enterprise al fattore di forma 25GbE. Il suo ruolo primario è quello di servire come ilMCX631432AN-ADAB soluzione per schede di adattamento Ethernetper il traffico sia di calcolo che di archiviazione, decaricare le attività di rete dalla CPU del server.

I principali contributi tecnici dell'adattatore includono:

• Discariche di hardware:La scheda gestisce tutti gli aspetti del protocollo RoCE in hardware, tra cui il trasporto, l'incapsulamento e il controllo della congestione.
• Flessibilità a doppia porta:Le doppie porte 25GbE possono essere configurate per il failover attivo/standby o utilizzate per separare i tipi di traffico.una porta può gestire il traffico Ethernet front-end mentre l'altra è dedicata al traffico di archiviazione back-end utilizzando RoCE, massimizzando la produttività e la sicurezza.
• Interfaccia PCIe 3.0 x16:Con larghezza di banda sufficiente per gestire simultaneamente entrambe le porte 25GbE, ilMCX631432AN-ADAB ConnectX-6 Lx a doppia porta 25GbE SFP28garantisce che nessun collo di bottiglia interno limiti le prestazioni delle applicazioni.

In particolare, laMCX631432AN-ADABLe seguenti fasi delineano una distribuzione tipica per un cluster ad alte prestazioni:

• Preparazione dei tessuti:Prima dell'implementazione, configurare gli switch di rete per supportare RoCE.Questo crea l'ambiente senza perdite richiesto per l'adattatore di funzionare in modo ottimale.
• Installazione del driver e del firmware:Installare gli ultimi driver NVIDIA WinOF-2 (per Windows) o MLNX_OFED (per Linux) per garantire il supporto completo delle funzionalità.MCX631432AN-ADABè aggiornato per garantire prestazioni e compatibilità RoCE ottimali.
• Scalare il cluster:L'architettura scala orizzontalmente aggiungendo più nodi server, ciascuno con il proprio MCX631432AN-ADAB.Il tessuto non bloccante della colonna vertebrale delle foglie assicura che i nodi aggiunti non degradino le prestazioni di quelli esistentiPer le distribuzioni più ampie, i gruppi di aggregazione dei collegamenti (LAG) possono essere utilizzati tra gli interruttori a foglia e a spina dorsale.

Una topologia tipica per un cluster di database prevede la connessione dei server primari e replica allo stesso switch di pagina per ridurre al minimo la latenza inter-rack.Ogni server utilizza il suo adattatore a doppia porta per connettersi a due switch separati per la ridondanza.

Una volta implementato, il mantenimento delle prestazioni richiede un monitoraggio e una regolazione proattivi.MCX631432AN-ADABfornisce una telemetria completa a tal fine.

• Metrici chiave di monitoraggio:Utilizzare strumenti come `mlxstat` e `ethtool` per monitorare i contatori delle porte, gli errori di collegamento e le statistiche del traffico RDMA.un conteggio elevato indica un tessuto con perdite che ridurrà le prestazioni RoCE.
• Aggiornamenti del firmware e del driver:Controllare regolarmente gli aggiornamenti. Il nuovo firmware include spesso ottimizzazioni delle prestazioni e correzioni di bug che possono ridurre ulteriormente la latenza e migliorare la compatibilità con gli switch upstream.
• Tuning delle prestazioni:Per gli ambienti con i requisiti di latenza più esigenti, la moderazione delle interruzioni e le dimensioni dei buffer possono produrre guadagni incrementali.La flessibilità dell'adattatore consente agli architetti di selezionare le impostazioni in base al loro carico di lavoro specifico (ePer esempio, HPC vs virtualizzazione).

Per la risoluzione dei problemi di connettività, verificare che i moduli SFP28 sianoMCX631432AN-ADAB compatibileL'utilizzo di un'ottica NVIDIA-qualificata garantisce un'affidabile creazione e prestazione del collegamento.

IlMCX631432AN-ADABIl progetto di sviluppo di un'infrastruttura di rete di alta performance e bassa latenza, realizzata da Mellanox (NVIDIA) offre un percorso chiaro ed efficace per l'implementazione di un tessuto di rete ad alte prestazioni e bassa latenza.le organizzazioni possono ottenere i doppi vantaggi di una riduzione drastica dei costi generali della CPU e di un aumento significativo del throughput del server. Il dettagliatoSpecificativi MCX631432AN-ADAB- eFogli di dati MCX631432AN-ADABconvalidare la sua capacità di gestire i carichi di lavoro più impegnativi.

Per i responsabili IT e gli architetti di rete che valutano un aggiornamento dell'hardware, i miglioramenti delle prestazioni offerti da questa soluzione si traducono direttamente in valore aziendale: elaborazione delle transazioni più veloce,accesso al magazzino più efficienteLa domanda di dati continua ad aumentare, e la diffusione diMCX631432AN-ADABPer informazioni dettagliate sui prezzi o per verificare se la rete è in grado di soddisfare i requisitiMCX631432AN-ADAB prezzoe disponibilità, si prega di consultare il proprio rappresentante NVIDIA.