Turbo-Netzwerke: Die Generation nach 10 GbE

9. März 2011

Die Konvergenz im Netzwerkbereich legt den Schluss nahe, dass sich Ethernet als Übertragungstechnologie für nahezu alle Bereiche durchsetzt. Mit der Spezifikation von 40 und 100 Gigabit Ethernet (GbE) nach der Norm IEEE 802.3ba-2010 steht die Basis für die nächste Generation der Hochgeschwindigkeits-Übertragung zur Verfügung.

Dabei sind viele Kompatibilitätsaspekte zur Vorgänger-Generation abgedeckt, doch einige Änderungen kommen ins Spiel: Der Einsatz von Kupferverkabelungen über größere Entfernungen ist derzeit nicht machbar.

Daher sollte der Netzwerkverantwortliche die kommenden Generationen der Ethernet-Technologie auf seinem Radar haben. Einen zusätzlichen Überblick zum aktuellen Stand der Technik bietet auch die Roadshow des heise Verlags zum Thema Rechenzentren und Infrastruktur.

Bild 2. Die Verteilung auf verschiedene „Lanes“ findet im PCS-Sublayer statt. Quelle: Force10 Networks

In einem typischen Rechenzentrum arbeiten die meisten Server mit Schnittstellen von 1 GbE, die Systeme mit 10 GbE kommt erst Zug um Zug zum Einsatz. Die Switches für das Verbinden der Server – sei es in der Konfiguration „Top of Row“ (ToR) oder „End of Rack“ (EoR) – setzen auf GbE oder 10 GbE. Im Core des Netzwerks kommt meist die „Link Aggregation“ zum Einsatz, also das Bündeln mehrerer 10-GbE-Kanäle zu einer dicken „Pipe“. Allerdings geht es bei der Vernetzung auch um Themen wie Port-Typ, Port-Speed und „Media Reach“ – also wie weit man über die verschiedenen Übertragungsstrecken mit der spezifizierten Transferrate die Signale treiben kann.

Zukunftsfähigkeit der Verkabelung

Wer in einem Unternehmen ein Netzwerk aufzubauen hat, der sollte eine zukunftsfähige Konfiguration entwerfen. Dabei muss die Verkabelungsinfrastruktur möglichst für die aktuelle und zudem noch für die kommende Transfertechnologie passen. Hier gilt es mit wenig Änderungen und Investitionen auch kommende Transfertechniken abzudecken.

Das war auch ein wichtiges Argument für die Standardisierungsgruppe für 40 und 100 GbE: Die Ebenen LLC (Logical Link Control) und MAC (Media Access Control) bleiben in den neuen Generationen gleich. Den Überblick über die Architektur von 40 und 100 GbE gibt die Abbildung 1. Die Modifikationen betreffen die drei Sublayer:

  • PCS (Physical Coding Sublayer), damit wird die physikalische Codierung abgehandelt,
  • PMA (Physical Media Attachment), mit diesem Sublayer wird die Information auf das Übetragungsmedium gegeben und
  • PMD (Physical Media Dependency), dieser Sublayer ist dafür verantwortlich, wie die Signale auf den verschiedenen Übertragungsmedien getrieben werden.

Prinzipiell gibt es bei 40 GbE mehrere Möglichkeiten, um 40 GBit pro Sekunde (GBit/s) zu übertragen. Eine Variante lautet, viermal 10 GBit/s pro Lane zu übertragen. Will man zudem auch noch 40 GbE auf einer „Lane“ transferieren, dann sind bereits zwei Implementierungen für den 40-GbE-Standard zu berücksichtigen, die alle spezifiziert werden müssen.

Noch komplexer erweist sich die Angelegenheit bei 100 GbE: Beim Start des Normierungsprojekts war es für das Standardisierungsgremium noch nicht abzusehen, wie die Verteilung auf die verschiedenen Lanes aussehen wird, sprich wie die Signale auf dem Medium zu treiben sind. Es gibt in der Theorie die Option, einmal 100 GBit/s zu treiben, oder zweimal 50  oder viermal 25 GBit/s oder fünfmal 20 GBit/s aber auch die Variante mit zehnmal 10 GBit/s erscheint vernünftig. Daher musste die Architektur all diese Optionen auch unterstützen.

Skalierungsoptionen sind eingebaut

Im PCS-Layer ist der erste Teil für die Unterstützung der verschiedenen Skalierungsoptionen zu finden (siehe Abbildung 2). Hier erfolgen zum einen das Codieren der Datenbits und zum anderen das Zusammenfassen in Code-Gruppen, die letztendlich den seriellen Datenstrom bilden. Als Codierungs-Methode findet dabei das 64B/66B-Verfahren Verwendung, das bereits bei 10 GbE zum Einsatz kam.

Damit die Informationen, also die Code-Blöcke, über mehrere Lanes verteilt werden können, wird in vordefinierten Lane-Anzahlen die Verteilung nach einem Round-Robin-Verfahren abgewickelt. Dabei sind für 40 GbE bis zu vier Lanes vorgegeben.

Dasselbe Prinzip gilt auch für 100 GbE, allerdings sind dabei bis zu 20 PCS-Lanes vorgesehen. Im Empfangskanal des PCS-Sublayers wird zudem noch sichergestellt, dass die Laufzeitunterschiede der einzelnen Code-Blöcke – auch als Skewing bezeichnet – kompensiert werden. Dazu werden bei der Übertragung in regelmäßigen Abständen noch Markierungsinfos pro Lane eingebettet.

Im PMA-Sublayer wird das Umstellen von der Anzahl der verwendeten Lanes und der Übertragungsrate pro Lane abgewickelt (Abbildung 3). Das ist nötig, um mehrere Spezifikationen für die physikalischen Ebenen zu bieten. Damit wird eine Abbildung von „m“ Eingangs-Lanes zu „n“ Ausgangs-Lanes erreicht, je nachdem wie viele man für seine Übertragungsstrecke braucht. Für 100 GbE ist zehnmal 10 GBit/s heute Stand der Technik (etwa bei Multimode-Glasfasern, bei denen zehn parallele Pfade jeweils 10 GBit/s übertragen: 100GBASE-SR10).

Die Variante mit viermal 25 GBit/s ist die zweite gängige Verteilung, etwa bei einer Singlemode-Glasfaser, bei der vier Wellenlängen mit jeweils 25 GBit/s zum Einsatz kommen (als 100GBASE-LR4 bezeichnet).

Bild 3. Die Abbildung von m Eingangs-Lanes zu n Ausgangs-Lanes erfolgt mit dem Multiplexen und Demultiplexen im PMA-Sublayer. Quelle: Force10 Networks

Port-Typen definieren die physikalische Ebene

Für die Spezifikationen des physikalischen Layer gibt es bei 40 und 100 GbE verschiedene Port-Typen. Für den Einsatz im Bereich von Backplanes bei 40 GbE ist 40GBASE-KR4 vorgesehen. Es schafft eine Entfernung (auf Kupferleiterbahnen) von mindestens einem Meter. Mit 40GBASE-CR4 und 100GBASE-CR10 steht eine Spezifikation für den Transfer über Kupfer-Twinax-Kabel für beide Geschwindigkeiten zur Verfügung. Die Übertragungsstrecke darf dabei bis zu sieben Metern für 40 und 100 GbE betragen.

Im Bereich der Glasfaser-Übertragungsmedien sind größere Entfernungen mit 40 und 100 GbE machbar. Für Multimodefasern (MMF) gibt es die 40GBASE-SR4 und 100GBASE-SR10. SR steht hier für „Short Reach“, das sind für eine MMF der Güte OM-3 mindestens 100 Meter und für die besseren MMF, also OM-4, sogar 150 Meter. Dabei werden vier oder zehn Lanes mit jeweils 10 GBit/s getrieben. Es handelt sich sozusagen um einen „Parallel Fibre Ansatz“.

Als Lösungen für 10 Kilometer sind 40GBASE-LR4 und 100GBASE-LR4 (jeweils viermal 25 GBit/s) vorgesehen. Die Bezeichnung LR steht für „Long Reach“ – dabei sind für SMF (Singlemodefasern) Längen von mindestens 10 Kilometern vorgesehen. Mit 100GBASE-ER4 sind über SMF sogar noch 40 Kilometer spezifiziert – mit der Aufteilung von viermal 25 GBit/s.

Transceiver und ihre Formfaktoren

Für die neuen Standards sind sozusagen in der ersten Generation einige Formfaktoren für die Transceiver (sie werden auch als MSA, Multi Source Agreements bezeichnet) vorgesehen. Es gibt hier deutliche Größenunterschiede – das ist nötig, denn es sind zum Beispiel bei einer Konfiguration von zehnmal 10 GBit/s die elektrischen Interface-Bausteine anzusteuern.

Das hat auch eine hohe Leistungsaufnahme zur Folge. Zudem ist die Signalintegrität ein bestimmender Faktor und hier sind Parameter wie das Übersprechen zu berücksichtigen. Dabei gilt: je enger die Leistungsabstände, umso größer das Problem. Ein zweiter Grund ist der Aufwand für das Multiplexing.

Bei der LR-Optiken basiert 100 GbE auf einer Konfiguration von viermal 25 GBit/s und damit wird ein Multiplexer nötig, der die ursprünglichen zehn Lanes auf vier Lanes (in der optischen Übertragungsstrecke) zusammenführt. Und das benötigt erneut Leistung, die dann als Wärme abzuführen ist. Somit erweist es sich erneut als ein wichtiges Kriterium, wie die Wärme abgeführt werden kann. Als künftige Formfaktoren für die nächsten Implementierungs-Generationen von 100 GbE sind bereits ein QSFP2 sowie ein CFP2 in der Diskussion.

Generell wäre bei diesen Formfaktoren eine Vereinheitlichung wünschenswert. Schon bei 10 GbE gibt es sieben verschiedene Varianten – das vereinfacht die Handhabung auf keinen Fall. Eine gemeinsame Lösung wäre ideal, doch allerdings nur dann, wenn die Wärmeabfuhr bei den aufwändigeren Varianten funktioniert. Derzeit sind folgende Formfaktoren für die Transceiver von der Ethernet Alliance geplant:

  • CFP (C Formfactor Pluggable, wobei das C für die römische Zahl 100 steht): Er ist für 40 oder 100 GbE geeignet. Er bietet 12 Sende- und 12 Empfangsleitungen mit jeweils 10 GBit/s. Damit lassen sich entweder ein 100-GbE-Port oder bis zu drei 40-GbE-Ports abdecken. Aufgrund seiner mechanischen Dimensionierung passt er auch die Anforderungen von Singlemode- und Multimode-Glasfasern aber auch für die von Kupferleitungen.
  • CXP: Dieser Transceiver-Formfaktor bietet zwölf Lanes in jede Richtung (senden und Empfangen) doch er ist deutlich kleiner als der CFP. Der CXP eignet sich für Multimode-Glasfasern und Kupferleitungen. Dabei passt dieser Typus auch für die Version SR10 bei 100 GbE.
  • QSFP (Quad Small Formfactor Pluggable): Er ähnelt von der Größe her dem CXP und bietet je vier Lanes für das Senden und das Empfangen. Damit lassen sich 40 GbE über Multimode-Glasfasern und über Kupferleitungen übertragen. Es ist abzusehen, dass dieser Formfaktor auch für Singlemode-Glasfasern eingesetzt wird. Zudem kann die Unterstützung für 100 GbE kommen, wenn man pro Lanes 25 GBit/s übertragen kann.

Mehr zum Thema 40 und 100 GbE

Auf seiner Europa-Reise hat John D‘ Ambrosia, der Chief Ethernet Technologist von Force10 Networks und Vorsitzende der Taskforce zu IEEE P802.3ba,  in München einen englischsprachigen Vortrag zum Thema „The state of 100G and Beyond“ gehalten. Dieser Beitrag basiert zum Teil auf seinen Ausführungen. Der in München im November 2010 gehaltene Vortrag wurde aufgezeichnet und in fünf Clips aufgeteilt. Er ist ab dem zweiten Clip auf Youtube zu finden.

Rainer Huttenloher

Lesen Sie auch