Analisi dell'architettura di rete Mellanox che supporta la formazione di grandi modelli di IA

Data:18 novembre 2023

Poiché i modelli di intelligenza artificiale crescono in modo esponenziale in termini di dimensioni e complessità, la struttura di rete che collega migliaia di GPU è diventata il fattore determinante per l'efficienza dell'addestramento. La tecnologia Mellanox InfiniBand di NVIDIA è emersa come la spina dorsale fondamentale per i moderni cluster di supercalcolo AI, progettata specificamente per superare i colli di bottiglia di comunicazione che affliggono l'addestramento di modelli AI su larga scala. Questo articolo analizza le innovazioni architettoniche che rendono InfiniBand lo standard de facto per l'accelerazione dei carichi di lavoro AI più esigenti al mondo.

L'addestramento di modelli AI moderni, come per i Modelli Linguistici di Grandi Dimensioni (LLM), si basa su strategie di parallelismo dei dati in cui i parametri del modello vengono sincronizzati su migliaia di GPU dopo l'elaborazione di ogni mini-batch di dati. Il tempo impiegato in questa fase di sincronizzazione, nota come all-reduce, è puro overhead. Con le tradizionali reti GPU, questo overhead di comunicazione può consumare oltre il 50% del ciclo di addestramento totale, riducendo drasticamente l'utilizzo complessivo della GPU e prolungando il tempo per ottenere risultati da settimane a mesi. La rete non è più un semplice tubo dati; è un componente computazionale fondamentale.

Mellanox InfiniBand affronta questo collo di bottiglia direttamente con una suite di motori di accelerazione basati su hardware che trasformano la rete da partecipante passivo a risorsa computazionale attiva.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Questa tecnologia rivoluzionaria esegue operazioni di aggregazione (ad esempio, somme, medie) direttamente all'interno degli switch InfiniBand. Invece di inviare tutti i dati dei gradienti a ogni GPU, SHARP riduce i dati nella struttura di rete, riducendo drasticamente il volume di dati trasferiti e il tempo necessario per la sincronizzazione. Questo può accelerare le operazioni collettive fino al 50%.
• Routing Adattivo e Controllo della Congestione: Le capacità di routing dinamico di InfiniBand indirizzano automaticamente il traffico attorno agli hotspot congestionati, garantendo un utilizzo uniforme della struttura di rete e impedendo che un singolo collegamento diventi un collo di bottiglia durante le intense fasi di comunicazione all-to-all.
• Latenza Ultra-Bassa e Ampia Larghezza di Banda: Con una latenza end-to-end inferiore a 600 nanosecondi e il supporto per 400 Gb/s e oltre, Mellanox InfiniBand fornisce la velocità grezza necessaria per lo scambio di parametri quasi in tempo reale tra le GPU.

I vantaggi architettonici di InfiniBand si traducono direttamente in risultati aziendali e di ricerca superiori per le aziende che eseguono carichi di lavoro AI su larga scala.

Queste metriche dimostrano che una strategia di reti GPU ottimizzata non è un lusso ma una necessità per ottenere un ROI valido sugli investimenti in cluster AI multimilionari.

L'era della progettazione di data center per scopi generali sta finendo per la ricerca sull'AI. La natura esigente dell'addestramento di modelli AI richiede un approccio co-progettato in cui la potenza computazionale delle GPU è abbinata alla rete intelligente e accelerata di Mellanox InfiniBand. Riducendo al minimo l'overhead di comunicazione e massimizzando l'utilizzo della GPU, l'architettura InfiniBand è la chiave per sbloccare innovazioni più rapide, ridurre i costi di addestramento e raggiungere scale di AI precedentemente impossibili. È la base indispensabile per la prossima generazione di scoperte nell'AI.