Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in Azione

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in azione.

In uno scenario di distribuzione ibrida di un'azienda di Internet a larga scala,La latenza della rete e il sovraccarico della CPU erano diventati ostacoli critici per ridurre l'utilizzo della GPU e le prestazioni di archiviazione.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureQuesto caso di studio esamina come laMCX623106AN-CDATNVIDIA Mellanox ha affrontato queste sfide e ha trasformato il tessuto di rete in un vero acceleratore di calcolo.

Anteprima e sfide: quando i NIC 25G raggiungono i loro limiti

L'ambiente di produzione era costituito da oltre 1.200 nodi di calcolo suddivisi in due zone di disponibilità, con un mix di servizi di inferenza online, addestramento offline dell'IA e archiviazione di oggetti distribuiti.Gli adattatori Ethernet 25G esistenti, sebbene adeguato per la connettività di base, ha avuto difficoltà con carichi di lavoro simultanei.

• Alta utilizzazione della CPU: L'elaborazione stack TCP/IP basata su software consuma fino al 35% dei core CPU sui nodi di archiviazione durante i picchi di I/O.
• Incoerente latenza: La latenza della coda (p99) per le operazioni all-reduce distribuite superava frequentemente i 50 μs, causando una sottoutilizzazione della GPU durante la sincronizzazione dei parametri.
• Distribuzione: il traffico NVMe-oF su Ethernet a perdita ha subito un calo dei pacchetti, innescando ritrasmissioni che hanno degradato il throughput effettivo di quasi il 40%.

Dopo aver valutato molteplici alternative, tra cui InfiniBand proprietario e NIC 25G concorrenti, il team ha selezionato ilNVIDIA Mellanox MCX623106AN-CDATper la sua combinazione unica di accelerazione RoCEv2 basata su hardware, percorso di dati programmabile e ampia compatibilità con la piattaforma.

Soluzione e approccio di distribuzione

La strategia di attuazione si è concentrata su tre pilastri:Abilitazione RDMA/RoCE,attivazione intelligente dello scarico, emigrazione graduale della flotta. Ogni nodo di calcolo ne ha ricevuto unoMCX623106AN-CDAT scheda di adattatore Ethernet, sostituendo le NIC di generazione precedente senza modificare l'infrastruttura 25G di rame/fibra sottostante.

Dal punto di vista della configurazione, il team ha sfruttato ilFogli di dati MCX623106AN-CDATaffinare i seguenti parametri:

• Impostazione di RoCEv2 PFC (Priority Flow Control): Sono state definite classi dedicate di traffico senza perdite per lo storage (NVMe-oF) e le comunicazioni collettive con l'IA, mentre il traffico con il miglior sforzo è rimasto su code separate con perdite.
• Discariche hardware abilitate: VXLAN/NVGRE tunnel offload, checksum segmentation e LRO (Large Receive Offload) sono stati attivati per ridurre l'intervento della CPU per pacchetto.
• Programmabilità pronta per la DPU: Utilizzando ASAP2, il team ha implementato regole di flusso leggere per guidare il traffico di archiviazione direttamente agli endpoint target NVMe-oF, ignorando completamente lo stack di rete del kernel.

La convalida della compatibilità è stata semplice.MCX623106AN-CDAT compatibileL'elenco comprendeva tutti i modelli di server della flotta (serie Dell PowerEdge R750 e Supermicro Ultra), e i nodi esistenti basati su Red Hat OpenShift e Ubuntu hanno adottato i nuovi driver senza problemi.

Risultati e benefici misurabili

Dopo tre settimane di implementazione in produzione su un 40% della flotta di calcolatori, i miglioramenti delle prestazioni sono stati immediatamente visibili.

Oltre ai miglioramenti quantitativi, il team di ingegneri ha riportato un cambiamento qualitativo nella stabilità operativa.I meccanismi PFC e ECN (Explicit Congestion Notification) basati sull'hardware hanno garantito che il traffico di archiviazione rimaneva praticamente senza perdite., eliminando le tempeste di ritrasmissione in cascata che in precedenza avevano avuto un impatto sugli SLA di applicazione.MCX623106AN-CDAT Adapter ConnectX scheda di rete PCIegestito la crittografia IPSec a velocità di linea per il traffico di replicazione tra zone, consentendo al team di sicurezza di applicare politiche di fiducia zero senza utilizzare dispositivi di crittografia dedicati.

Riassunto e prospettiva

Questa diffusione sottolinea che laMCX623106AN-CDAT soluzione per schede di adattamento EthernetNon è solo un aggiornamento incrementale del NIC, è un fattore strategico per le moderne architetture di data center.e capacità di scarico complete, l'adattatore trasforma efficacemente un tessuto Ethernet standard in uno strato infrastrutturale a bassa latenza e alta efficienza.L'organizzazione informatica sta ora progettando di estendere la distribuzione a tutti i nodi rimanenti e sta valutando attivamente laLe specifiche MCX623106AN-CDATper la prossima generazione di modelli 50G Spine-Leaf.

Per gli architetti delle infrastrutture e i responsabili IT che devono affrontare massimali di prestazione simili, ilMCX623106AN-CDATCome ha osservato un architetto senior:"Abbiamo ottenuto una migliore latenza rispetto ai nostri precedenti NIC 25G a metà del costo della CPU, e non abbiamo dovuto ricabellarci un solo rack".Con la sua grandeMCX623106AN-CDAT compatibileEcosistema eMCX623106AN-CDAT prezzoIn particolare, la tecnologia di distribuzione e distribuzione di dati è stata utilizzata per la creazione di una rete di distribuzione e distribuzione di dati, che consente di identificare il posizionamento, questo adattatore è ben posizionato per diventare la scelta predefinita per le distribuzioni RoCE 25G, che il carico di lavoro sia di formazione dell'IA, di storage distribuito o di analisi in tempo reale.