Ricetrasmettitore ottico per data center NVIDIA Mellanox MMA4Z00-NS nella pratica

Ricetrasmettitore ottico per data center NVIDIA Mellanox MMA4Z00-NS in pratica | Bilanciamento della larghezza di banda e della distanza tra collegamenti rack-to-rack e tra strutture

Contesto e sfida: il dilemma della larghezza di banda 800G-distanza nei data center basati sull'intelligenza artificiale

Poiché i cluster di addestramento dell’intelligenza artificiale si espandono da centinaia a migliaia di GPU, la struttura di rete sottostante deve fornire una larghezza di banda su scala terabit mantenendo distanze di collegamento accettabili all’interno della sala dati. Per le implementazioni 800G Ethernet e 400G InfiniBand, la sfida del livello fisico è particolarmente acuta: i tradizionali ricetrasmettitori multimodali basati su VCSEL da 850 nm offrono un eccellente rapporto costo-efficacia per collegamenti a breve distanza (sotto i 30 metri), ma la loro portata in genere scende a 50-70 metri a velocità PAM4 800G, una distanza che potrebbe essere insufficiente per connessioni cross-aisle o topologie inter-fila. Al contrario, le soluzioni monomodali come i ricetrasmettitori DR8 o FR8 estendono la portata fino a centinaia di metri ma comportano costi e consumi energetici significativamente più elevati, rendendoli economicamente impraticabili per implementazioni di livelli di accesso ad alta densità.

Questa sfida è stata recentemente affrontata da un fornitore di servizi cloud su larga scala che ha implementato un cluster di formazione AI da 8.000 GPU in 12 sale di data center. Il cluster richiedeva connettività 800G tra switch leaf e nodi di calcolo GPU distribuiti su rack adiacenti e non adiacenti, con distanze che vanno da 5 metri (intra-rack) a 65 metri (cross-aisle). Il team di ingegneri aveva bisogno di un unico SKU di ricetrasmettitore in grado di coprire la maggior parte di questi collegamenti senza sacrificare l'integrità del segnale, l'efficienza energetica o la flessibilità del protocollo, poiché la struttura includeva sia Ethernet per l'archiviazione sia InfiniBand per la comunicazione da GPU a GPU. ILNVIDIA Mellanox MMA4Z00-NSè emerso come il candidato ottimale, offrendo prestazioni 800G OSFP SR8 con capacità di breakout 2×400G su entrambi i protocolli.

Soluzione e implementazione: una strategia ottica 800G unificata

Per affrontare l'equilibrio tra larghezza di banda e distanza, il provider ha standardizzato ilNVIDIA Mellanox MMA4Z00-NScome unico ricetrasmettitore ottico 800G per tutti i collegamenti in fibra multimodale fino a 60 metri. QuestoRicetrasmettitore MMA4Z00-NS 800G OSFP SR8opera su fibra multimodale a banda larga OM5, supportando una portata di 70 metri a 800G, fornendo ampio margine per la connettività cross-aisle pur mantenendo la compatibilità con l'infrastruttura OM4 esistente per collegamenti più brevi. Per i collegamenti superiori a 60 metri, il team ha riservato un piccolo inventario di ricetrasmettitori monomodali (DR8/FR8) per coprire i pochi collegamenti tra le sale.

L'implementazione è stata eseguita in tre zone distinte, ciascuna con requisiti specifici di cablaggio e connettività:

• Intra-rack (2–5 metri):Dirigi i cavi patch MPO-12 dalle porte dello switch OSFP ai nodi di elaborazione GPU, utilizzando ricetrasmettitori MMA4Z00-NS su entrambe le estremità. Il margine di collegamento ha superato i 5 dB, garantendo un funzionamento robusto anche con un moderato degrado del connettore.
• Rack adiacenti (8–20 metri):Cablaggio strutturato OM5 tramite passerelle aeree con pannelli di permutazione intermedi. Conteggio totale dei connettori: 2 coppie accoppiate per collegamento. Margine di collegamento: 4–4,5 dB, ben all'interno del budget ottico del modulo, come documentato nel fileScheda tecnica MMA4Z00-NS.
• Corsia trasversale/interfila (25–55 metri):Trunk OM5 preterminati instradati sotto pavimenti sopraelevati. Per mantenere il margine minimo di 3,0 dB, il team ha eseguito la pulizia delle superfici terminali su tutti i connettori prima dell'installazione e ha verificato la perdita di inserzione utilizzando un misuratore di potenza ottica durante la messa in servizio.

Per la porzione InfiniBand del tessuto, che collega i server GPU agli switch Quantum-2, ilMMA4Z00-NS 2x400G InfiniBand/Ethernetè stata utilizzata la modalità breakout. In questa configurazione, un singolo ricetrasmettitore MMA4Z00-NS sul lato dello switch alimenta due endpoint 400G tramite un gruppo di cavi breakout da MPO-12 a 2×MPO-8. Questa funzionalità di breakout nativa ha eliminato la necessità di moduli fan-out esterni, riducendo il consumo di spazio su rack di circa il 20% rispetto alla precedente architettura basata su 400G. Perché ilNVIDIA Mellanox MMA4Z00-NSÈCompatibile con MMA4Z00-NScon i protocolli Ethernet e InfiniBand, il team ha mantenuto un unico SKU di ricetrasmettitore in tutta la struttura, semplificando l'approvvigionamento e la gestione delle parti di ricambio.

Risultati e vantaggi: guadagni misurabili in termini di costi, densità e semplicità operativa

L'analisi post-implementazione sui 2.400 collegamenti ottici ha rivelato diversi vantaggi quantificabili. In primo luogo, standardizzando il fileSoluzione ricetrasmettitore MMA4Z00-NS 800G OSFP SR8, l'organizzazione ha eliminato la necessità di SKU separati per breve e medio raggio, riducendo le scorte di ricetrasmettitori del 60% e semplificando i processi di ordinazione. ILPrezzo MMA4Z00-NS, se confrontato con moduli monomodali a portata estesa comparabili, ha consentito un risparmio sui costi del 45% per collegamento per distanze inferiori a 60 metri, poiché non è stato pagato alcun premio per funzionalità non richieste.

In secondo luogo, il tasso di guasto operativo durante i primi sei mesi è stato eccezionalmente basso: sono state necessarie solo due sostituzioni di ricetrasmettitori su 2.400 unità, un tasso di guasto dello 0,08%, significativamente inferiore alla media del settore dello 0,5-1% per i ricetrasmettitori 800G di prima generazione. Questa affidabilità è attribuibile all'allineamento ottico ottimizzato in fabbrica e al rigoroso controllo di qualità dell'MMA4Z00-NS, nonché all'aderenza del team alle procedure di pulizia specificate nelSpecifiche MMA4Z00-NS.

In terzo luogo, l'efficienza energetica delNVIDIA Mellanox MMA4Z00-NS— consumando meno di 10,5 W per modulo a 800 G e circa 8,2 W in modalità breakout 2×400 G — ha contribuito a risparmi misurabili sul raffreddamento. Nell'intera flotta distribuita, i 2.400 ricetrasmettitori hanno consumato circa 24,6 kW totali in modalità 2×400G e 25,2 kW in modalità 800G, rispetto a circa 35 kW se fossero stati selezionati moduli alternativi monomodali con assorbimento di potenza maggiore (tipicamente 12-14 W). Questa riduzione di potenza del 28–30% ha migliorato direttamente la metrica PUE (Power Usage Effectiveness) della struttura di circa 0,03 punti.

Dal punto di vista ingegneristico, l'interfaccia di monitoraggio diagnostico digitale (DDM) del modulo si è rivelata preziosa durante la risoluzione dei problemi. In un caso, è stata rilevata una diminuzione graduale della potenza ottica ricevuta tramite un monitoraggio proattivo, consentendo al team operativo di programmare una pulizia del connettore durante una finestra di manutenzione anziché reagire a un'interruzione inaspettata del collegamento. Questo approccio preventivo ha ridotto il tempo medio di riparazione (MTTR) per gli incidenti relativi allo strato ottico di circa il 55%, perché il team è riuscito a individuare i collegamenti degradati prima che causassero interruzioni del servizio.

Riepilogo e prospettive: un progetto per un'architettura ottica 800G scalabile

L'esperienza di distribuzione conNVIDIA Mellanox MMA4Z00-NSsu più zone di distanza dimostra chiaramente che un singolo ricetrasmettitore 800G OSFP SR8 ben scelto può affrontare efficacemente il compromesso larghezza di banda-distanza nei moderni data center AI, a condizione che le sue specifiche siano attentamente abbinate all'impianto di fibra installato e ai requisiti di distanza. Sfruttando la portata di 70 metri delRicetrasmettitore MMA4Z00-NS 800G OSFP SR8sulla fibra OM5, gli architetti possono evitare i costi e la complessità di più SKU ottici mantenendo l'integrità del segnale e la semplicità operativa nei collegamenti intra-rack, inter-rack e cross-aisle.

Guardando al futuro, poiché Ethernet 800G e InfiniBand 400G continuano a guadagnare terreno nella formazione AI, nell’HPC e negli ambienti di storage aziendale, la domanda di ricetrasmettitori ottici 800G affidabili ed economici non potrà che crescere. MMA4Z00-NS è ben posizionato per questa traiettoria, perché la sua funzionalità a doppio protocollo e il supporto nativo di breakout 2×400G garantiscono la compatibilità sia con le attuali infrastrutture 400G che con i futuri endpoint nativi 800G. Per le organizzazioni che pianificano migrazioni 800G simili, l’approccio a più livelli convalidato in questa distribuzione offre una tabella di marcia pratica: standardizzare su MMA4Z00-NS per tutti i collegamenti fino a 60 metri su OM5, riservare ricetrasmettitori monomodali per connessioni inter-hall più lunghe e mantenere un quadro di monitoraggio unificato che sfrutta i dati DDM per gestire in modo proattivo l’integrità ottica su entrambi i tessuti Ethernet e InfiniBand.

Per modelli dettagliati di budget di collegamento, liste di controllo di installazione e protocolli di pulizia, fare riferimento aScheda tecnica MMA4Z00-NSe le note applicative ottiche di NVIDIA Mellanox.