Confronto Reti HPC: InfiniBand vs. Ethernet

Data: 12 novembre 2023

L'incessante ricerca del calcolo exascale e dei complessi carichi di lavoro di intelligenza artificiale ha spinto l'infrastruttura di calcolo ad alte prestazioni (HPC) ai suoi limiti. Al centro di questa evoluzione c'è una decisione architettonica critica: la scelta del fabric di interconnessione. Il dibattito tra InfiniBand ed Ethernet è fondamentale per la progettazione di ambienti di rete HPC efficienti. Con l'acquisizione di Mellanox da parte di NVIDIA, leader nelle interconnessioni ad alte prestazioni, questa competizione si è intensificata, guidando l'innovazione e spingendo confronti basati sui dati per clienti aziendali e di ricerca.

Le prestazioni grezze sono il principale elemento di differenziazione. InfiniBand, progettato esplicitamente per ambienti di data center a bassa latenza e ad alto throughput, detiene un vantaggio significativo.

• Latenza: InfiniBand offre costantemente una latenza end-to-end inferiore a 600 nanosecondi, fondamentale per la comunicazione MPI (Message Passing Interface) in simulazioni strettamente accoppiate. Ethernet, anche con RoCE (RDMA over Converged Ethernet), opera tipicamente nell'intervallo dei microsecondi (>1,2 µs), introducendo colli di bottiglia nei carichi di lavoro paralleli.
• Throughput: Sebbene entrambe le tecnologie offrano soluzioni a 200G e 400G, il controllo della congestione e il routing adattivo di InfiniBand garantiscono un utilizzo della larghezza di banda più coerente ed efficiente, massimizzando le prestazioni delle applicazioni.

Per le applicazioni in cui il tempo di soluzione è fondamentale, come la modellazione climatica o il sequenziamento genomico, questo divario di prestazioni si traduce direttamente in un'accelerazione della ricerca.

Oltre alle metriche di base, l'architettura di InfiniBand introduce funzionalità che cambiano paradigma e che Ethernet fatica a eguagliare.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Questa innovativa funzionalità di Mellanox gli switch InfiniBand eseguono operazioni aritmetiche (come le riduzioni MPI) all'interno del fabric di rete, scaricando questo compito dalla CPU. Questo può accelerare le operazioni collettive fino al 50%, una funzionalità non disponibile in Ethernet standard.
• Controllo della congestione nativo: Il routing adattivo integrato di InfiniBand gestisce dinamicamente il traffico per evitare punti critici. Ethernet si basa su protocolli aggiuntivi (ad esempio, DCQCN) per la gestione della congestione, che possono essere meno efficienti e richiedere una messa a punto complessa.

Il dominio di Ethernet nei data center per scopi generali presenta un caso convincente basato sulla familiarità e sull'ecosistema.

• Ubiquità e competenze: Ethernet è universalmente compreso e un vasto pool di ingegneri di rete ha familiarità con la sua gestione e risoluzione dei problemi. Ciò può ridurre i costi operativi e di formazione.
• Convergenza: Un singolo fabric Ethernet può potenzialmente trasportare traffico di archiviazione, dati e gestione, semplificando l'architettura di rete. Tuttavia, questa convergenza richiede spesso complesse politiche QoS per proteggere il traffico di rete HPC sensibile alle prestazioni.
• Costo: Storicamente, i componenti Ethernet avevano un prezzo inferiore. Tuttavia, il divario si è notevolmente ridotto con l'introduzione di Ethernet ad alta velocità e il costo totale di proprietà (TCO), considerando le prestazioni per watt e le prestazioni per dollaro, spesso favorisce InfiniBand per i cluster HPC dedicati.

La scelta tra InfiniBand ed Ethernet non è una questione di quale sia universalmente migliore, ma quale sia ottimale per lo specifico carico di lavoro. Per ambienti di rete HPC puri e mission-critical, in cui l'obiettivo principale è ottenere il tempo di soluzione più rapido per calcoli complessi, InfiniBand, alimentato dalla tecnologia Mellanox, rimane il leader indiscusso delle prestazioni. Le sue avanzate capacità di calcolo in rete e la sua efficienza superiore offrono un ROI tangibile per le aziende di ricerca e basate sull'IA. Al contrario, per ambienti con carichi di lavoro misti o cluster in cui le prestazioni estreme sono meno critiche, Ethernet ad alta velocità offre un'alternativa familiare e capace.