Soluzione di accelerazione per l'addestramento dell'IA: Integrazione di DPU Mellanox e cluster GPU

Poiché i modelli di intelligenza artificiale crescono in modo esponenziale in termini di dimensioni e complessità, le architetture dei data center tradizionali stanno raggiungendo i loro limiti. L'insaziabile domanda di potenza di calcolo nell'addestramento dell'IA ha reso l'efficiente networking GPU non solo un'ottimizzazione, ma un requisito fondamentale. Questo documento di soluzione esplora come l'integrazione strategica della Mellanox DPU (Data Processing Unit) all'interno dei cluster GPU affronta i colli di bottiglia critici, scarica l'overhead della CPU host e sblocca nuovi livelli di scalabilità ed efficienza per i carichi di lavoro AI su larga scala.Networking GPU inefficiente:L'era dei modelli con trilioni di parametri ha saldamente stabilito il cluster GPU come motore dell'IA moderna. Tuttavia, quando i cluster si espandono a migliaia di GPU, emerge un nuovo problema: la CPU del server host viene sopraffatta dai movimenti dei dati, dalla pianificazione e dalle attività di comunicazione. Questo overhead, che include networking, I/O di archiviazione e protocolli di sicurezza, può consumare oltre il 30% dei cicli della CPU di un server, cicli che sono disperatamente necessari per l'effettivo processo di addestramento dell'IA. Questa inefficienza aumenta direttamente il tempo di addestramento e il costo totale di proprietà (TCO).Latenza All-Reduce (256 GPU)Il principale collo di bottiglia nell'addestramento dell'IA su larga scala non è più solo il FLOPS grezzo; è l'inefficienza sistemica nelle pipeline dei dati. Le sfide principali includono:Le CPU host sono impantanate dalla gestione degli stack di rete (TCP/IP), dei driver di archiviazione e della virtualizzazione, lasciando meno risorse per il framework AI.

Lo spostamento di vasti set di dati dall'archiviazione alla memoria GPU crea congestione sul bus PCIe e sulla rete, portando a tempi di inattività della GPU.

Negli ambienti multi-tenant, l'applicazione di criteri di crittografia e sicurezza grava ulteriormente sulla CPU host.Networking GPU inefficiente:Le operazioni di comunicazione collettiva (come All-Reduce) vengono gestite via software, creando latenza e jitter che rallentano l'addestramento sincronizzato.

• Queste sfide creano uno scenario in cui le GPU costose vengono lasciate in attesa di dati, riducendo drasticamente l'utilizzo complessivo e il ROI dell'infrastruttura AI.La soluzione: scaricare, accelerare e isolare con Mellanox DPU
• La Mellanox DPU (ora parte della linea di prodotti BlueField di NVIDIA) è un processore rivoluzionario progettato specificamente per affrontare questi colli di bottiglia dell'infrastruttura. Non è semplicemente una scheda di interfaccia di rete (NIC), ma un sistema su chip (SoC) completamente programmabile che include potenti core Arm e motori di accelerazione specializzati. Implementando le DPU in ogni server, le organizzazioni possono creare un livello di infrastruttura accelerato dall'hardware.Come la Mellanox DPU trasforma i cluster AI:
• Scarico dell'infrastruttura:La Mellanox DPU scarica l'intero stack di rete, archiviazione e sicurezza dalla CPU host. Ciò include TCP/IP, NVMe over Fabrics (NVMe-oF), crittografia e funzioni firewall. Questo "libera" i core della CPU esclusivamente per l'applicazione AI.
• Comunicazione accelerata:Latenza All-Reduce (256 GPU)Scalabilità migliorata:Con la CPU host sollevata dai compiti infrastrutturali, la scalabilità di un cluster non porta a un aumento lineare dell'overhead della CPU. Ciò consente una scalabilità più efficiente e prevedibile a conteggi di nodi massicci.

Sicurezza Zero-Trust:

Risultati quantificabili: prestazioni, efficienza e guadagni TCOMetrica

• Server con Mellanox DPUMiglioramento~70%
• >95%~36% di aumentoLatenza All-Reduce (256 GPU)~500 µs
• ~180 µs64% di riduzione
• Throughput I/O di archiviazione~12 GB/s

233% di aumento~60 ore