NVIDIA Mellanox MCX653105A-HDAT Server Adapter in Azione: Aumento del Throughput con Trasporto a Bassa Latenza RDMA/RoCE

Un'importante azienda di tecnologia finanziaria, durante la costruzione della sua piattaforma di big data analytics di prossima generazione, ha riscontrato gravi colli di bottiglia di I/O di rete. L'infrastruttura 10GbE esistente faticava a gestire il massiccio flusso di dati richiesto per la valutazione del rischio in tempo reale e l'analisi del trading ad alta frequenza. I core della CPU impiegavano fino al 30% dei loro cicli solo per gestire il traffico di rete, lasciando meno risorse per l'elaborazione critica delle applicazioni. La sfida principale era chiara: per scalare il loro database distribuito e l'analisi basata sull'IA, dovevano ridurre drasticamente la latenza e aumentare il throughput effettivo del server senza rivoluzionare l'intera flotta di server.

Il tradizionale networking TCP/IP non era più praticabile. L'overhead dello stack di rete del kernel creava picchi di latenza imprevedibili, influenzando direttamente le prestazioni dei loro database in-memory e dei cluster di archiviazione basati su NVMe. L'azienda necessitava di una soluzione in grado di scaricare l'elaborazione di rete dalla CPU e consentire il movimento dati diretto e ad alta velocità tra server e archiviazione. Dopo aver valutato diverse opzioni, la decisione è stata quella di implementare la scheda adattatore server NVIDIA Mellanox MCX653105A-HDAT.

L'implementazione è stata incentrata sulla MCX653105A-HDAT, un adattatore dual-port da 100 Gb/s della famiglia NVIDIA Mellanox ConnectX-6. L'obiettivo principale era implementare RDMA over Converged Ethernet (RoCE) per bypassare la CPU nei trasferimenti dati. La NVIDIA Mellanox MCX653105A-HDAT è stata scelta per il suo supporto hardware nativo per RoCE, che fornisce i vantaggi a bassa latenza di InfiniBand operando su un fabric Ethernet standard, garantendo la compatibilità con gli switch di rete esistenti.

Il team di ingegneri ha configurato i server in una topologia spine-leaf, abilitando la connettività any-to-any con prestazioni prevedibili. Fondamentale per il successo è stata l'implementazione della scheda adattatore Ethernet MCX653105A-HDAT sia sui server di database che sugli array di archiviazione all-NVMe. Utilizzando gli offload RoCE basati su hardware, il team ha stabilito un fabric lossless con Priority Flow Control (PFC) per garantire zero perdite di pacchetti, un requisito critico per operazioni RDMA efficienti. La scheda di rete PCIe adattatore ConnectX MCX653105A-HDAT si è rivelata essenziale qui, poiché i suoi meccanismi avanzati di controllo della congestione hanno mantenuto la stabilità del fabric anche sotto carico completo.

L'aumento delle prestazioni è stato immediato e significativo. Prima dell'aggiornamento, l'infrastruttura 10GbE esistente limitava il throughput server-server a circa 1,2 GB/s con elevato utilizzo della CPU. Dopo aver integrato gli adattatori MCX653105A-HDAT e abilitato RoCEv2, il cluster ha raggiunto i seguenti risultati:

Questo aumento di 10 volte del throughput è stato ottenuto liberando contemporaneamente core della CPU per l'elaborazione a livello applicativo. Gli offload hardware MCX653105A-HDAT si sono rivelati critici per raggiungere prestazioni a velocità di linea di 100 Gb/s, consentendo al database distribuito di scalare orizzontalmente senza la necessità di server aggiuntivi. Le capacità RDMA, come dettagliato nelle specifiche ufficiali MCX653105A-HDAT, hanno consentito trasferimenti diretti da memoria a memoria, bypassando il kernel e riducendo la latenza a livelli precedentemente osservati solo in cluster HPC specializzati. Il team ha anche consultato il datasheet MCX653105A-HDAT per ottimizzare i parametri PCIe, garantendo un utilizzo ottimale della larghezza di banda Gen4.

Questa implementazione dimostra che la soluzione scheda adattatore Ethernet MCX653105A-HDAT non è semplicemente un aggiornamento incrementale, ma un elemento trasformativo per le imprese basate sui dati. Risolvendo il collo di bottiglia della CPU attraverso un efficiente trasporto RDMA/RoCE, la MCX653105A-HDAT ha permesso all'azienda di massimizzare il valore dei suoi investimenti esistenti in archiviazione e calcolo. Il successo ha aperto la strada all'espansione dell'implementazione ai loro cluster di training di machine learning, dove le caratteristiche a bassa latenza della MCX653105A-HDAT in vendita nell'attuale mercato accelereranno ulteriormente i tempi di training dei modelli. Per architetti e ingegneri che valutano infrastrutture ad alte prestazioni, la natura MCX653105A-HDAT compatibile con i sistemi operativi e gli strumenti di gestione esistenti la rende una scelta senza soluzione di continuità per la costruzione di data center moderni e ad alto throughput.