Wie weit können Sie mit Top-of-Rack gehen?

In einem früheren Blog haben wir erörtert, wie SFP-Direct-Attach-Kabel (DACs) in Zukunft die meisten Servergeschwindigkeiten in Top-of-Rack (ToR)-Switch-to-Server-Bereitstellungen unterstützen werden, da sie Downlink-Geschwindigkeiten von 25 Gigabyte über SFP28-DACs und potenziell 50 Gigabyte über neue SFP56-DACs unterstützen können. Tatsache ist jedoch, dass in größeren Cloud- und Unternehmensrechenzentren bereits jetzt der Bedarf an 100-Gigabyte-Servergeschwindigkeiten besteht und in Zukunft sogar noch höhere Geschwindigkeiten erwartet werden.

Aber werden ToR-Implementierungen weiterhin Switch-to-Server-Verbindungen mit diesen Geschwindigkeiten der nächsten Generation unterstützen? Werfen wir einen genaueren Blick auf die Technologie und die wichtigsten Überlegungen dazu.

Wie kommen wir dahin?

Die Fähigkeit, höhere Übertragungsgeschwindigkeiten zu unterstützen, hat viel mit den binären Kodierungsverfahren zu tun, die zur Umwandlung von Daten in digitale Signale verwendet werden. Auch wenn wir uns nicht mit der Physik hinter der Kodierung befassen werden, handelt es sich im Wesentlichen um den Prozess der Umwandlung von Daten in binäre Bits (d. h. 1 und 0) über diskrete Spannungspegel. Das gebräuchlichste Kodierungsschema, das seit langem bei der Datenübertragung verwendet wird, ist die Non-Return-to-Zero (NRZ)-Kodierung, bei der zwei unterschiedliche Spannungspegel für die beiden binären Ziffern verwendet werden, wobei eine positive Spannung eine „1“ und eine negative Spannung eine „0“ darstellt (auch als zweistufige Pulsamplitudenmodulation oder PAM2 bezeichnet). Die NRZ-Codierung hat sich in den letzten Jahrzehnten erheblich weiterentwickelt und wird in erster Linie zur Unterstützung von Bitraten von 1, 10 und 25 Gb/s pro Lane in Rechenzentrumsverbindungen verwendet.

Bei der Small-Form-Factor-Plugging-Technologie basieren die Single-Lane-SFP+- und SFP28-Hochgeschwindigkeitsverbindungen, die 10 bzw. 25 Gig unterstützen, auf NRZ-Codierung. Für höhere Geschwindigkeiten basieren die 4-Lane-QSFP+- und QSFP28-Verbindungen, die 40 und 100 Gig unterstützen, ebenfalls auf NRZ-QSFP+ mit einer Bitrate von 10 Gb/s pro Lane und QSFP28 mit einer Bitrate von 25 Gb/s pro Lane. Da NRZ eine Bitrate von 50 Gbit/s unterstützen kann, scheint es logisch, dass ein Single-Lane-SFP-Interconnect 50 Gbit/s und ein 4-Lane-QSFP-Interconnect 200 Gbit/s mit NRZ-Codierung unterstützen würde. Bei NRZ-Geschwindigkeiten oberhalb einer Bitrate von 25 Gbit/s wird jedoch der Kanalverlust zum Problem. Hier kommt die vierstufige Puls-Amplituden-Modulation, kurz PAM4, ins Spiel.

Die PAM4-Kodierung bietet die doppelte Bitrate pro Signalperiode im Vergleich zu NRZ, da vier statt zwei Spannungspegel verwendet werden. Dadurch werden Bitraten von 50 und 100 Gbit/s unterstützt, ohne dass der Kanalverlust zunimmt. Für die Small-Form-Factor-Pluggable-Technologie bietet PAM4 jetzt Single-Lane-SFP56-Verbindungen für 50 Gig und Four-Lane-QSFP56-Verbindungen für 200 Gig. PAM4 ermöglicht auch 400-Gigabyte-Anwendungen: Der QSFP-DD-Formfaktor mit doppelter Dichte und 8 Lanes nutzt die PAM4-Bitrate von 50 Gbit/s, um 400 Gigabyte zu erreichen (d. h. 50 Gbit/s x 8 Lanes), was ideal für Switch-to-Switch-Bereitstellungen ist. Leider hat der erhöhte Durchsatz, den PAM4 bietet, seinen Preis.

Was ist die FEC?

Die PAM4-Kodierung ist wesentlich störanfälliger als NRZ. Um die Leistung zu verbessern und möglichen Fehlern, die durch erhöhtes Rauschen verursacht werden, entgegenzuwirken, verwenden PAM4-Signale eine erweiterte Vorwärtsfehlerkorrektur (FEC). Bei der FEC werden redundante Daten hinzugefügt, die der Empfänger prüfen und zur Fehlerkorrektur und Wiederherstellung der ursprünglichen Daten verwenden kann, ohne dass das Signal erneut übertragen werden muss. Für PAM4 ist FEC erforderlich, was jedoch zu einer zusätzlichen Latenzzeit führt, die in der Regel in der Größenordnung von 100 bis 500 Millisekunden (ms) liegt.

Zwar wird hinter den Kulissen an der Entwicklung von FEC mit niedriger Latenz gearbeitet, um die Verzögerung um bis zu 50 % zu reduzieren, doch einige Anwendungen können diese Verzögerung einfach nicht tolerieren. Bei Anwendungen wie Finanzhandel, Edge Computing, interaktiven Spielen, Videokonferenzen, virtueller und erweiterter Realität, künstlicher Intelligenz, Echtzeitüberwachung und Datenanalyse kann jede Latenz über 100 ms die Leistung beeinträchtigen. Bei Spielen beispielsweise bedeutet eine Latenz von über 100 ms eine spürbare Verzögerung für die Spieler. Für Rechenzentren, die diese Anwendungen unterstützen wollen, ist die Latenz bei Switch-zu-Server-Verbindungen ein wichtiger Faktor.

Aufgrund der zusätzlichen Latenzzeit von FEC mit PAM4 ist die Option mit der höchsten Geschwindigkeit und der geringsten Latenz derzeit der 4-Lane QSFP28 DAC, der 100 Gig mit NRZ und einer Bitrate von 25 Gb/s unterstützt, die bis zu 3 Metern keine FEC erfordert. Während die meisten Unternehmensrechenzentren gerade damit beginnen, auf 25-Gigabyte-Serververbindungen unter Verwendung von Single-Lane-SFP28-DACs umzusteigen, ermöglichen 4-Lane-QSFP28-DACs die Migration zu Hochgeschwindigkeits- und 100-Gigabyte-Serververbindungen mit niedriger Latenz, um neue Echtzeitanwendungen zu unterstützen.

Welche Optionen gibt es?

Für die bestehende NRZ-Kodierung bietet Siemon derzeit mehrere Optionen für die Verwendung von Hochgeschwindigkeitsverbindungen im Rechenzentrum, um Switch-to-Server-Verbindungen von 10 bis 100 Gig zu unterstützen. Dazu gehören direkte Verbindungen mit kurzer Reichweite (1 bis 3 Meter) für schrankinterne ToR-Implementierungen unter Verwendung von DACs oder Verbindungen mit längerer Reichweite (1 bis 20 Meter) für Schrank-zu-Schrank-Implementierungen (z. B. am Ende einer Reihe) unter Verwendung aktiver optischer Kabel (AOCs). Für Breakout-Anwendungen, bei denen ein einzelner Switch-Port mit mehreren Servern mit niedrigerer Geschwindigkeit verbunden ist, bietet Siemon auch eine Reihe von hybriden Breakout-Baugruppen für DACs und AOCs an. Wie in einem früheren Blog hervorgehoben, ist es wichtig, bei der Wahl zwischen DACs und AOCs Dichte, Entfernung, Stromverbrauch, Skalierbarkeit und Interoperabilität sowie Gesamtkosten und Verfügbarkeit zu berücksichtigen. SiemonDas derzeitige Angebot von AOCs umfasst Folgendes:

• SFP+ DACs und AOCs für 10-Gigabyte-Verbindungen
• SFP28 DACs und AOCs für 25-Gigabyte-Verbindungen
• QSFP+ DACs und AOCs für 40-Gigabyte-Verbindungen
• QSFP28 DACs und AOCs für 100-Gigabyte-Verbindungen
• QSFP+ zu 4 SFP+ DACs und AOCs für 4X10 Gig Breakout Links
• QSFP28 zu 4 SFP28 DACs und AOCs für 4X25 Gig Breakout Links

Mehr dazu in Kürze

Mit der Einführung von PAM4-Codierung werden DACs und AOCs zukünftige 200- und 400-Gigabyte-Verbindungen ermöglichen. Sie können sicher sein, dass Siemon ein Auge auf den Markt hat und plant, PAM4-Hochgeschwindigkeitsverbindungen einzuführen, sobald diese Switch-to-Server-Verbindungen mit höherer Geschwindigkeit realisiert werden. Zu den zukünftigen PAM4-Optionen, nach denen Sie Ausschau halten sollten, gehören:

• QSFP56 DACs und AOCs für 200-Gigabyte-Verbindungen
• QSFPDD zu 2 QSFP56 DACs und AOCs für 2×200 Gig Breakout Links

Und das ist noch nicht alles. Die PAM4-zu-NRZ-Konvertierungstechnologie kann zwar mit AOCs verwendet werden, um eine 4X100-Gig-Breakout-Anwendung mit QSFPDD-zu-QSFP28-Hybridbaugruppen zu unterstützen, aber die Kosten sind immer ein Faktor. Daher werden derzeit kosteneffizientere PAM4-zu-PAM4-Breakout-Anwendungen mit DACs entwickelt, die eine QSFPDD-zu-zwei-Lane-SFP-Schnittstelle (d. h. mit doppelter Dichte) und eine PAM4-Bitrate von 50 Gb/s verwenden. Es ist jedoch noch unklar, welche SFP-Schnittstelle mit doppelter Dichte, entweder SFP-DD oder DSFP, der vorherrschende Anschluss für diese 4X100-Gig-Breakout-Lösung sein wird. Was bedeutet das alles für Ihr Rechenzentrum?

Die wichtigste Erkenntnis ist, dass die Einführung der PAM4-Kodierungstechnologie DACs und AOCs in die Lage versetzt, direkte Verbindungen von 10 bis 400 Gigabyte zu unterstützen, einschließlich der 100-Gigabyte-Option von QSFP28-DACs mit niedrigster Latenz, die die NRZ-Kodierungstechnologie für neue Echtzeitanwendungen nutzen. Das bedeutet, dass ToR-Switch-to-Server-Implementierungen mit DACs auf dem Vormarsch sind und Sie an Ihr Ziel bringen werden.