Ricetrasmettitore ottico per data center NVIDIA Mellanox MMAIB00-B150D in pratica

Ricetrasmettitore ottico per data center NVIDIA Mellanox MMAIB00-B150D in pratica | Bilanciamento della larghezza di banda e della distanza tra collegamenti rack-to-rack e tra strutture

Contesto e sfida: il compromesso tra larghezza di banda e distanza 25G in ambienti a protocollo misto

Mentre gli operatori dei data center aggiornano simultaneamente le loro reti di accesso ai server da 10G a 25G mantenendo allo stesso tempo tessuti Ethernet e InfiniBand separati per l'addestramento dell'intelligenza artificiale, l'archiviazione e l'elaborazione generica, il livello di interconnessione ottica deve affrontare una serie unica di sfide. Per i ricetrasmettitori 25G SFP28, il compromesso principale è stato tra portata e flessibilità del protocollo: alcuni moduli sono ottimizzati per Ethernet 25GBASE-SR con portata di 100 metri su OM4, mentre altri sono qualificati specificamente per ambienti 25G InfiniBand HDR con portata simile ma requisiti di integrità del segnale diversi. Gli architetti di rete sono stati generalmente costretti a mantenere SKU di ricetrasmettitori separati per ciascun tipo di struttura, aumentando la complessità dell'inventario e il rischio di implementare il modulo sbagliato in una determinata porta dello switch.

Questa sfida è stata recentemente affrontata da una società globale di servizi finanziari che ha implementato un nuovo cluster di ricerca sull’intelligenza artificiale in tre sale data center adiacenti. Il cluster richiedeva connettività 25G sia per il traffico di storage Ethernet sia InfiniBand 25G per la comunicazione GPU-GPU, con distanze di collegamento che vanno da 5 metri (intra-rack) a 90 metri (cross-aisle e inter-row). Il team di ingegneri aveva bisogno di un singolo ricetrasmettitore SFP28 da 25G in grado di fornire prestazioni affidabili su entrambi i protocolli e intervalli di distanza, eliminando la necessità di cicli di qualificazione separati e riducendo l'inventario dei pezzi di ricambio. ILNVIDIA Mellanox MMAIB00-B150Dsi è rivelata la soluzione ottimale, offrendo un ricetrasmettitore ottico 25G con supporto Ethernet/InfiniBand a doppio protocollo e portata di 100 metri su fibra OM4.

Soluzione e implementazione: una strategia ottica 25G unificata su Ethernet e InfiniBand

Per affrontare le sfide legate alla distanza della larghezza di banda e alla flessibilità del protocollo, l'azienda ha standardizzato ilNVIDIA Mellanox MMAIB00-B150Dcome unico ricetrasmettitore ottico 25G per tutti i collegamenti in fibra multimodale nel cluster di ricerca sull'intelligenza artificiale. QuestoRicetrasmettitore ottico MMAIB00-B150Dfunziona su fibra multimodale duplex standard utilizzando la tecnologia VCSEL da 850 nm, supportando i protocolli Ethernet 25GBASE-SR e HDR InfiniBand 25G senza riconfigurazione del firmware. La portata di 100 metri del modulo su fibra OM4 e di 70 metri su fibra OM3 ha fornito un'ampia copertura per tutti i collegamenti intra-sala, mentre la funzionalità a doppio protocollo ha consentito un inventario unificato di ricetrasmettitori attraverso la struttura di storage Ethernet e la struttura di elaborazione InfiniBand dell'azienda.

L'implementazione è stata eseguita in quattro zone distinte, ciascuna con requisiti specifici di cablaggio e connettività:

• Zona A (intra-rack, 2–5 metri):Cavi patch LC duplex diretti dalle porte dello switch SFP28 alle NIC del server. Il margine di collegamento ha superato i 6 dB, garantendo un funzionamento robusto anche con un moderato degrado del connettore.
• Zona B (rack adiacenti, 8–25 metri):Cablaggio strutturato OM4 tramite passerelle in fibra sopraelevate con pannelli di permutazione intermedi. Conteggio totale dei connettori: 2 coppie accoppiate per collegamento. Margine di collegamento: 4,5–5,0 dB, ben all'interno del budget ottico del modulo, come documentato nel fileScheda tecnica MMAIB00-B150D.
• Zona C (corsia trasversale/interfila, 30–70 metri):Trunk OM4 preterminati instradati sotto pavimenti sopraelevati. Per mantenere il margine minimo di 3,0 dB, il team ha eseguito la pulizia delle superfici terminali su tutti i connettori prima dell'installazione e ha verificato la perdita di inserzione utilizzando un misuratore di potenza ottica durante la messa in servizio.
• Zona D (collegamenti tra le sale, 80–90 metri):Utilizzato per i collegamenti tra le tre sale adiacenti del data center. Il margine di collegamento a 90 metri su OM4 era di circa 3,0 dB, richiedendo una meticolosa pulizia del connettore, conformità del raggio di curvatura e verifica del margine di potenza durante la messa in servizio.

Perché ilNVIDIA Mellanox MMAIB00-B150DÈCompatibile con MMAIB00-B150Dsia con gli switch NVIDIA Spectrum Ethernet che con gli switch NVIDIA Quantum InfiniBand, nonché con gli adattatori della serie ConnectX e le DPU BlueField, il team è stato in grado di implementare lo stesso SKU del ricetrasmettitore sull'intera struttura senza alcuna configurazione o qualifica specifica del protocollo. QuestoMMAIB00-B150D Rete di data center ottici MellanoxLa soluzione ha eliminato la necessità di inventari separati di ricetrasmettitori Ethernet e InfiniBand, riducendo significativamente la complessità dell'approvvigionamento e il rischio di provisioning errato.

Risultati e vantaggi: guadagni misurabili in termini di costi, semplicità e flessibilità del protocollo

L'analisi post-implementazione sui 1.800 collegamenti ottici ha rivelato diversi vantaggi quantificabili. In primo luogo, standardizzando il fileSoluzione ricetrasmettitore ottico MMAIB00-B150D, l'organizzazione ha eliminato la necessità di SKU separati per ricetrasmettitori Ethernet e InfiniBand, riducendo le scorte di ricetrasmettitori del 50% e semplificando i processi di ordinazione. ILPrezzo MMAIB00-B150D, se valutato rispetto al costo combinato di moduli separati solo Ethernet e solo InfiniBand, ha consentito un risparmio sui costi del 30% per collegamento poiché la funzionalità a doppio protocollo ha eliminato la necessità di due inventari separati con costi generali associati.

In secondo luogo, il tasso di guasto operativo durante i primi nove mesi è stato eccezionalmente basso: sono state necessarie solo quattro sostituzioni di ricetrasmettitori su 1.800 unità, un tasso di guasto dello 0,22%, che è significativamente inferiore alla media del settore dello 0,5-0,8% per i ricetrasmettitori 25G SFP28 in ambienti a protocollo misto. Questa affidabilità è attribuibile all'allineamento ottico ottimizzato in fabbrica e al rigoroso controllo di qualità dell'MMAIB00-B150D, nonché all'aderenza del team alle procedure di pulizia specificate nelSpecifiche MMAIB00-B150D.

In terzo luogo, l'efficienza energetica delNVIDIA Mellanox MMAIB00-B150D— consumando meno di 1,5 W per modulo — ha contribuito a risparmi misurabili in termini di raffreddamento. Nell'intera flotta distribuita, i 1.800 ricetrasmettitori hanno consumato circa 2,6 kW in totale, rispetto ai 3,6 kW stimati se fossero stati mantenuti moduli Ethernet e InfiniBand separati (ciascuno con profili di potenza leggermente diversi). Questa riduzione di potenza del 28% ha migliorato direttamente la metrica PUE (Power Usage Effectiveness) della struttura di circa 0,02 punti.

Dal punto di vista operativo, la capacità del doppio protocollo ha offerto vantaggi significativi durante gli eventi di manutenzione. Quando uno switch nella struttura Ethernet richiedeva la sostituzione, il team poteva semplicemente spostare i ricetrasmettitori MMAIB00-B150D esistenti dal vecchio switch a quello nuovo senza preoccuparsi della compatibilità del protocollo. Allo stesso modo, quando la struttura InfiniBand è stata ampliata, è stato utilizzato lo stesso SKU del ricetrasmettitore, eliminando la necessità di prevedere separatamente la domanda del ricetrasmettitore specifica del protocollo. L'interfaccia di monitoraggio diagnostico digitale (DDM) del modulo ha fornito visibilità in tempo reale sullo stato dell'ottica su entrambi i tessuti, consentendo al team operativo di identificare e affrontare il degrado del collegamento prima che influenzi i carichi di lavoro di produzione.

Riepilogo e prospettive: un progetto per un'architettura ottica 25G versatile

L'esperienza di distribuzione conNVIDIA Mellanox MMAIB00-B150Dsu più zone di distanza e su entrambi i tessuti Ethernet e InfiniBand dimostra chiaramente che un singolo ricetrasmettitore 25G SFP28 ben caratterizzato può affrontare efficacemente il compromesso larghezza di banda-distanza e i requisiti di flessibilità del protocollo dei moderni data center IA. Sfruttando la portata di 100 metri delMMAIB00-B150Dtramite la fibra OM4 e la sua funzionalità a doppio protocollo, gli architetti possono evitare il costo e la complessità di più SKU ottici mantenendo l'integrità del segnale e la semplicità operativa nei collegamenti intra-rack, inter-rack, cross-aisle e inter-hall.

Guardando al futuro, poiché 25G Ethernet e 25G InfiniBand continuano a fungere da base del livello di accesso per la formazione AI, l’HPC e gli ambienti di storage aziendale, la domanda di ricetrasmettitori ottici versatili a doppio protocollo non farà altro che crescere. MMAIB00-B150D è ben posizionato per questo percorso, perché la sua ampia compatibilità con le piattaforme NVIDIA Mellanox e il fattore di forma SFP28 standard garantisce un'integrazione perfetta sia con l'infrastruttura attuale che con gli aggiornamenti futuri. Per le organizzazioni che pianificano migrazioni simili da 10G a 25G o che implementano strutture AI a protocollo misto, l'approccio a più livelli convalidato in questa implementazione offre una tabella di marcia pratica: standardizzare su MMAIB00-B150D per tutti i collegamenti in fibra multimodale 25G fino a 100 metri, riservare soluzioni a portata più lunga per collegamenti superiori a 100 metri e mantenere un quadro di monitoraggio unificato che sfrutta i dati DDM per gestire in modo proattivo l'integrità ottica su reti Ethernet e Tessuti InfiniBand.

Per modelli dettagliati di budget di collegamento, liste di controllo di installazione e protocolli di pulizia, fare riferimento aScheda tecnica MMAIB00-B150De le note applicative ottiche di NVIDIA Mellanox.