Scheda server NVIDIA Mellanox MCX653105A-HDAT in azione: trasporto e server a bassa latenza RDMA/RoCE

Nei data center moderni, lo storage distribuito, il calcolo ad alte prestazioni (HPC) e i cluster di formazione AI si trovano ad affrontare un collo di bottiglia comune: la rete. Gli stack TCP/IP tradizionali introducono una latenza significativa e un sovraccarico della CPU, paralizzando le prestazioni delle applicazioni su larga scala. Questo case study esamina il modo in cui un provider cloud di medie dimensioni ha affrontato proprio queste sfide implementando ilNVIDIA Mellanox MCX653105A-HDATadattatore server per abilitare il trasporto a bassa latenza basato su RDMA/RoCE e aumentare notevolmente la velocità effettiva del server.

Background e sfide: quando ogni microsecondo conta

L'infrastruttura 25GbE esistente del provider, che esegue TCP/IP standard, faticava a supportare il nuovo backend di storage NVMe-over-Fabrics. L'utilizzo della CPU sui nodi di storage superava regolarmente il 70% solo per l'elaborazione di rete e la latenza tra i nodi si aggirava intorno ai 50 µs: inaccettabile per i carichi di lavoro dei database sensibili alla latenza. Inoltre, con la scalabilità fino a centinaia di nodi, la congestione della rete ha causato picchi di latenza di coda che hanno influito sugli SLA delle applicazioni. Avevano bisogno di una soluzione in grado di ridurre il sovraccarico della rete, fornire una latenza inferiore al microsecondo e mantenere prestazioni costanti sotto carico.

Soluzione e implementazione: presentazione della scheda di rete PCIe adattatore ConnectX MCX653105A-HDAT

Dopo aver valutato diverse opzioni, il team ha selezionato laMCX653105A-HDAT Scheda adattatore Ethernetper la sua funzionalità 100GbE a doppia porta e il supporto nativo per RoCE (RDMA over Converged Ethernet). ILNVIDIA Mellanox MCX653105A-HDATè stato distribuito su 120 nodi di archiviazione e calcolo, con la seguente configurazione:

• RoCE abilitatocon ECN (Explicit Congestion Notification) e DCQCN per il controllo della congestione
• Offload target NVMe-oFall'hardware, bypassando la CPU host per l'I/O di archiviazione
• Partizionamentoin flussi prioritari senza perdite per il traffico di storage
• Monitoraggio telemetricoutilizzando i contatori delle prestazioni integrati dell'adattatore

Secondo ilScheda tecnica MCX653105A-HDAT, la scheda supporta sia i protocolli InfiniBand che Ethernet, ma il team ha scelto RoCEv2 per integrarsi perfettamente con gli switch Ethernet esistenti. La compatibilità era semplice: tutti i principali modelli di server lo eranoCompatibile con MCX653105A-HDAT, che richiede solo slot PCIe standard e firmware aggiornato. La distribuzione è stata completata in due fine settimana senza tempi di inattività, utilizzando le funzionalità di migrazione in tempo reale dell'adattatore.

Risultati e vantaggi: miglioramenti delle prestazioni misurabili

L’impatto è stato immediato e sostanziale. La tabella seguente riepiloga i parametri chiave prima e dopo la distribuzione diSoluzione con scheda adattatore Ethernet MCX653105A-HDAT:

Oltre a questi numeri, il team ha notato ulteriori vantaggi operativi. ILSpecifiche MCX653105A-HDATincludono il monitoraggio della connessione basato su hardware e l'offload del flusso ASAP2, che ha ridotto il jitter del traffico est-ovest e ha consentito una scalabilità più fluida. Nel valutare il costo totale di proprietà, ilPrezzo MCX653105A-HDATè stato giustificato entro sei mesi dalla riduzione dei costi di licenza del core della CPU e da una maggiore densità di archiviazione per nodo. L'adattatore è ora ampiamente diffusoMCX653105A-HDAT in venditaattraverso canali standard, rendendo queste prestazioni accessibili a organizzazioni di tutte le dimensioni.

Riepilogo e prospettive: una base per l'infrastruttura di nuova generazione

Questo caso dimostra che ilScheda di rete PCIe adattatore ConnectX MCX653105A-HDATnon è semplicemente una scheda NIC più veloce: è una piattaforma per un vero computing incentrato sui dati. Abilitando RDMA e RoCE con gli offload hardware, ilNVIDIA Mellanox MCX653105A-HDATtrasforma il modo in cui i server comunicano, eliminando il sovraccarico dei protocolli legacy e liberando tutto il potenziale dello storage NVMe e dei tessuti di memoria distribuita.

Guardando al futuro, il provider prevede di estendere la propria implementazione per includere GPUDirect RDMA per carichi di lavoro di formazione sull'intelligenza artificiale, oltre a esplorare le funzionalità di programmabilità dell'adattatore per l'elaborazione di pacchetti personalizzati. Per gli architetti IT e gli ingegneri di rete che devono affrontare sfide di scalabilità simili, ilMCX653105A-HDAT Scheda adattatore Ethernetoffre un percorso collaudato e pronto per il futuro verso una rete di data center a bassa latenza e ad alto throughput.