PCIe gegen Ethernet: Wirklich eine Entweder/Order-Entscheidung?

Vor Kurzem stellte uns ein neugieriger Designer eine Frage zu dem sogenannten „Fabric Wars“, was zu einer spannenden Diskussion über die Entwicklung der Konnektivitätsoptionen in eingebetteten Computersystemen führte. Die Konversation, die zu diesem Blogbeitrag geführt wurde, konzentriert sich insbesondere auf diese Optionen in den Architekturen OpenVPX und SOSA™ (Sensor Open Systems Architecture).

Q. von Curious:

„Ich wäre neugierig, Ihre Meinung dazu zu hören, warum PCIe auf VPX gegenüber Ethernet gewonnen hat (also warum PCIe auf Rackebene gegenüber Ethernet gewonnen wird). Es ist daran, dass es bei PCIe keine Protokollkonvertierung gibt? Oder weil PCIe schneller ist und die Latenz geringer ist, steht die Leistung aber auf dem Spiel? PCIe hat die Öffentlichkeit gerade als Gewinner herausgegeben, aber ich vermute, dass der serielle Bus der Wahl irgendwo in einer Arbeitsgruppe ausgewiesen wurde. “

Liebe Neugierige:

Tatsächlich gibt es derzeit keinen wirklichen „Gewinner“ zwischen Ethernet und PCIe, zumindest nicht in OpenVPX. Here is the overview... es besteht ein allgemeiner (aber nicht universeller) Konsens darüber, Backplane-Verbindungen in Data Planes (DP), Expansion Planes (EP) and Control Planes (CP) zu unterteilen. Jeder von ihnen hat eine bestimmte Rolle in VPX-Systemen, obwohl die Entwickler in ihren Anwendungen nicht unbedingt auf diese Funktionalität beschränkt sind.

• A tax level is provided for system control news, the often are central distributed. Ethernet is also sinnvoll.

• A extended level is in general to, two or more Platins fest miteinander verbinden, was normalerweise bei einer Root-/Leaf-Organisation der Fall ist. PCIe is also sinnvoll. A good example are an SBC and an GPU or an I/O card.

o EP is also used for FPGA-to-FPGA connections, therefore are often used Aurora or Frontpanel Data-Port (S-FPDP)

• With the data level verschwimmen the line something more:

o Oft ist das DP für Peer-to-Peer-/All-to-All-Connectivity vorgesehen. This art of connection can be much simple to restore with Ethernet as with PCIe (intransparentes Bridging and so, no good software support and general).

o Ethernet hat viel mehr Overhead als PCIe — sowohl im Protokoll als auch im Software-Stack. Also, manche Leute nehmen die Mühe in Kauf, arbeiten mit PCIe, um die Leistung zu erzielen.

o Ethernet und PCIe überholen sich immer wieder gegenseitig, wenn es um die Kabelgeschwindigkeit geht — manche Leute wollen einfach nur die neuesten/schnellsten hinterherjagen.

SOSA hat beschlossen, mehrere Protokolle auf Ethernet DP, Ethernet CP und EP zu konzentrieren (PCIe, Aurora, simple LVDS for the start, more will follow in future). This does mainly to provide interoperability and austauschability between plugin cards (PICs). In this case is Ethernet system wide the schwergewicht, wobei PCIe (und die anderen) eher zwischen bestimmten PICs lokalisiert sind. SOSA ist jedoch nicht der gesamte Markt, und die Leute bringen immer noch neue Boards auf den Markt, die nicht dem Standard entsprechen.

Der Markt ist auch immer noch sehr im Wandel. Und obwohl SOSA einen bestimmten (aber großen) Teil der Marktgrenzen setzt, gibt es immer noch Optionen, wenn auch von geringerer Marktgröße, wie Serial RapidIO, Infiniband usw.

Q. von Curious:

Was ist mit Features und Funktionen? RapidIO führte mit jeder Version eine Reihe von Funktionen ein, die seinen Funktionsumfang und seine Attraktivität erhöhen, aber selbst diese ständig wachsenden Funktionen konnten sein Überleben nicht sichern.

Liebe Neugierige:

Your comments to the functions are also solid. RapidIO hatte zwei nette Funktionen, die wirklich nützlich für HPEC-Systeme sind. Die meisten Implementierungen beinhalten DMA-Engines (Direct Memory Access), um Datenbewegungen vom Prozessor auszulagern, und es beinhaltete eine atomare Test- und Set-Funktion. DMA is now now with RoCE (Remote DMA over Converged Ethernet), und ich glaube nicht, dass Ethernet noch über eine atomare Test- und Set-Funktionalität verfügt (zumindest nativ — es gibt übergeordnete protokolle, die bereitstellen). Dennoch ist RapidIO aus unserem Raum verschwunden. RoCE ist noch nicht allgegenwärtig, daher haben die Leute es in VPX-Systemen nicht intensiv genutzt, aber es ist nur eine Frage der Zeit. Dann wird es wahrscheinlich ein „Muss“ -Feature sein.

Q. von Curious:

This is an good overview for a comparison between PCIe and Ethernet, but was die Durchführbarkeit angeht, sind beide Protokolle praktikabel. Systemarchitekten müssen Protokolle auswählen, die es gibt und die erfolgreich sein werden. Um es allgemeiner auszudrücken: Why set a protocol against other by? Was ist der Grund für seinen Erfolg?

Vielleicht liegt es an der Wirtschaftlichkeit und der Stärke des Kundenstamms. When the protocol large sales, has überlebt, but FORE Systems sold automates (asynchronous transfer mode) as value of 700 million $ per year, and ATM was sold to the big communication company (an wohlhabender customer stamm), but money automaten were obsolete.

Sie haben RapidIO (verkauft an den Embedded-Markt, ich denke, ziemlich rentabel) und InfiniBand (verkauft an die Supercomputerindustrie, ziemlich groß und rentabel) erwähnt, aber beide sind so gut wie tot.

I think, the best response on the secure of the verbreitung is the „allgegenwärtigkeit“ of the protocol. How wide is the base of Developers, who are familiar with the protocol, how wide is the known level of the industry? InfiniBand ist in der Supercomputer-Branche geblieben, was zu seinem Niedergang geführt hat, obwohl der Supercomputer-Markt in absoluten Zahlen ziemlich groß war.

Es ist kaum zu glauben, dass der Ethernet-LAN-Markt in absoluten Zahlen größer war als der ATM-Telekomarkt, aber es gab mehr Ethernet-Entwickler und mehr Bewusstsein für Ethernet als für Geldautomaten. Es scheint so zu sein, dass es die Anzahl der Entwickler ist, die die Verbreitung der Protokolle vorantreiben, und nicht so sehr seine Leistung, seine Funktionen oder seine Wirtschaftlichkeit. ATM hat 155 Mbit/s, Ethernet 10 Mbit/s. Wenn es also um Leistung ging, wie könnte ATM dann seinen Vorsprung verlieren und dann bei der Leistung ins Hintertreffen geraten? Ethernet hatte mehr Entwickler, die damit vertraut waren. Fibre Channel hat sich nie aus dem Speicher herausgeschlichen. Das ist ein großer Erfolg im Speicherbereich, aber nicht genug Leute sind sich dessen bewusst und treiben es voran. Also geht es weg.

Also, warum hat Ethernet zum Beispiel ATM besiegt? Es scheint, dass ATM von der WAN-Vertikale in das vertikale LAN überlastet wurde (zumindest bei FORE-Systemen). Ethernet has not only back from the LAN, but Ethernet came also in the MAN and the WAN and lost ATM from both. Wie passiert das?

Liebe Neugierige:

Your analysis is all very fundiert, and I think, it is really a combination of their described factors that the market on the one or other way in schwung.

Primary one, embedded systems are largely from place, Weight and Energy problems (SWAP) as as dependent by the operating environment, in these systems are used. ATM war zwar Marktführer im Leistungsbereich, aber nicht aufgrund des Energiebedarfs und der generierten Wärme für eingebettete Systeme. Es stellte sich auch die Frage nach Teilen, die für die ausgedehnten Temperaturen ausgelegt waren, unter denen unsere Systeme betrieben werden. Also Infiniband little including, when also in less mass, because it had less power and heat development and it fact some parts for longer temperature. RapidIO war lange erfolgreich, weil es diese Herausforderungen bewältigen konnte.

Ich denke, es gibt zwei weitere Dinge, die gegen ATM, RapidIO und Infiniband funktionieren, und das wären ein allgegenwärtiger Software-Stack und ein allgegenwärtiger Preis. RapidIO and Infiniband needed as something MPI, that the people either love or faster and that was managed by a relatively specific community. The Linux/Ethernet software is managed by a absolute army of Developers in the open-source community, and it provides a quantity packages that support fast any any data motion model. Darüber hinaus ist es einfach, Talente zu finden, die wissen, wie man es einsetzt. It is a really universal fabric, but the only minor is the performance failure of the software stacks. Preislich gesehen ist Ethernet einfach günstiger als alle drei, und die Kosten einer Lösung sind immer ein wichtiger Entscheidungsträger. Da sowohl der Preis als auch der allgegenwärtige Software-Stack für Ethernet-Sprachen, hatten die anderen wirklich keine Chance.

Q von Curious:

Was ist, wenn wir das aus der entgegengesetzten Richtung betrachten und fragen, welches Protokoll als nächstes sterben wird oder in welcher Reihenfolge die Protokolle sterben werden, anstatt zu fragen, welche Protokolle überleben werden?

Ich denke, wenn wir die Anzahl der Entwickler pro Protokoll kennen, können wir den zukünftigen Rückgang oder die Steigerung des Protokolls vorhersagen.

Liebe Neugierige:

I think, we have the main protocol option fast on the minimum, that is defined in embedded high performance range. Ethernet und PCIe sind ziemlich klare Gewinner. Ich denke, dass es im Bereich Streaming-Daten Platz für Konkurrenten gibt. Aurora is beliebt, but it is only available by Xilinx. Es ist die Rede davon, dass serielles FPDP von einem drahtbasierten Sensor-zu-Knoten-Protokoll in ein Backplane-based knoten-zu-Knoten-Protokoll umgewandelt wird. Es wird jedoch einige Zeit dauern, bis festgestellt wird, ob der Markt das wirklich annimmt. I think, it could also provide space for a new high performance streaming protocol with small overhead, the CPUs and FPGAs various providers supports. Es wird nur die Zeit angezeigt.

Was ich definitiv sehe, sind neue Funktionen, die in Ethernet erforderlich sind. The both important are currently Remote DMA (in form of RoCE) and Time Sensitive Networking (TSN). Switch- und Steckkartenanbieter, die RoCE and TSN unterstützen, werden in den nächsten Jahren sehr gefragt.

‍