BGP Flaps, Long-lived TCP Connections

[#1]

Hallo,

seit ca. 4 Wochen hab ich regelmäßige Abbrüche beim Online-Spiel "EVE Online". Nach einigen Tests teilte mir der EVE Support folgendes mit:

"EVE Online requires a stable connection suitable for long-lived TCP connections. Which means no re-routing or BGP flaps."

Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab, das dürfte sich neben EVE auch z.B. auf SIP Verbindungen auswirken.

Das Thema BGP Flaps ist natürlich ein weites Feld und erfordert Menschen, die (1) wirklich Ahnung von der Materie haben und (2) den Willen, die Ursache zu finden und nicht nur alle Router zu resetten und zu denken, dass jetzt alles wieder gut ist. Hier können Router an ihre Speichergrenzen stoßen, MTUs irgendwo falsch gesetzt sein und 100 andere Dinge. Das Problem könnte auch bei einem Peer liegen, die Route geht über z.B. Level3:

> tracert tranquility.servers.eveonline.com

Routenverfolgung zu d638e439e07f413c97200d057e5ebd05.pacloudflare.com [172.65.201.188]
über maximal 30 Hops:

1 1 ms <1 ms <1 ms fritz.box [x.x.x.x]
2 10 ms 8 ms 8 ms x.dip0.t-ipconnect.de [x.x.x.x]
3 20 ms 20 ms 19 ms 217.5.110.150
4 27 ms 26 ms 27 ms 4.68.71.113
5 * 21 ms 19 ms ae2.3216.ear4.Frankfurt1.level3.net [4.69.210.66]
6 20 ms 19 ms 19 ms 195.122.183.210
7 20 ms 20 ms 19 ms 172.70.244.3
8 19 ms 18 ms 18 ms 172.65.201.188

Passende Lektüre:

https://de.wikipedia.org/wiki/Border_Gateway_Protocol#Route_Flap

https://routingcraft.net/how-to-troubleshoot-routing-protocols-session-flaps-part-1/

https://archive.nanog.org/meetings/nanog29/presentations/smith.pdf

https://cs.gmu.edu/~eoster/2019-795/2019-795-papers/BGP%20Anomaly%20Detection%20Techniques%20Survey....

Frage ist - wie bekommt man das an einen kompetenten Telekom-Support kommuniziert? Der telefonische Support will alles mögliche bei mir fixen, das Kabel auf dem Grundstück austauschen, die Telefondose - den Router hab ich angeblich zu schnell nach dem Ausschalten wieder eingeschaltet, etc pp. Es ist unmöglich zu vermitteln, was hier wirklich das Problem ist.

Wie man sieht, hat EVE Online nicht am eigenen "Peer" gespart, der traceroute endet nämlich bei einem Cloudflare server. "Gefixt" hab ich es daher dank anderer findiger Gamer mit dem Tool WARP von Cloudflare: https://1.1.1.1/
Das dabei hergestellte VPN kommt entweder mit den Flaps zurecht oder der falsch konfigurierte Router/Peer wird umgangen, da die Telekom ihr Cloudflare-Gate vielleicht woanders hat.

Hoffe dennoch, dass die Info mal bei der richtigen Abteilung landet und ernst genommen wird.

Grüße!

[#2 · Accepted solution]

Seit ca. 2 Wochen scheint das Problem nun endlich erstmal gelöst zu sein. Keine Rückmeldung bisher von DT, Level3 oder Cloudflare - aber hoffe mal, das Problem wurde tatsächlich behoben und ist nicht nur zufällig durch einen Router-Neustart o.ä. gelöst worden.

[#3 · Accepted solution]

Hello again,

heute gibt es schon weitere Neuigkeiten zu dem Thema.
Es wurden die Netzübergänge überprüft, es konnte an diesen aber keine Ursache für das Verhalten gefunden werden. Auch besteht vonseiten der Telekom keine Möglichkeit, auf die Steuerung dieser Einfluss zu nehmen.
Das Thema muss jetzt weiter zwischen EVE Online und Cloudfare geklärt werden.
Ich hoffe, dass hier bald eine Klärung erfolgen kann, damit EVE Online ohne Abbrüche gespielt werden kann.

Gruß Ingo F.

[#4 · Accepted solution]

Hallo in die Runde,

wir haben uns im Hintergrund einmal informiert und uns wurde mitgeteilt, dass hier schon ein Austausch zwischen EVE Online und der Telekom stattfindet, um diesem Verhalten auf den Grund zu gehen.

Uns wurde kein zeitlicher Ansatz genannt und auch keine weiteren technischen Details, aber das Thema ist bekannt und in Bearbeitung. Daher werde ich diesen Beitrag auch als Lösung markieren, damit andere User sehen können, dass dieses Thema schon an den richtigen Stellen platziert ist.

Euch noch einen schönen Abend.

Gruß Ingo F.

[#5]

Lieber @Gelöschter Nutzer ,

Vorschlag zur Güte. Ich erstelle einen neuen Thread mit einer simplen Frage, Du beantwortest sie mir, und bekommst dafür ein Kudo und "Als Lösung kennzeichnen". Als Gegenleistung ignorierst Du diesen Thread einfach. Deal?

Viele Grüße!

[#6]

@F1osen  schrieb:
sondern um ernsthafte Routing-Probleme.

Ich glaube du verwechselst da etwas.

Das Routing funktioniert doch.

[#7]

@wari1957  schrieb:
Das Routing funktioniert doch.

Unfassbar hilfreicher Beitrag, danke. Nein. Bewiesenermaßen für diesen Cloudflare-Endpoint nicht.

[#8]

Es ist unfassbar, wie 3 Leute (@falk2010 @Gelöschter Nutzer @wari1957) einen ernstgemeinten Beitrag trollen, bei dem der Rest versucht Hilfestellung zur Lösung des Problems zu geben. 

@Telekom: Vielleicht sollte man den 3en mal eine Auszeit geben, denn leider kann man niemanden blocken.  Wie man sieht, ist Masse an Beiträgen in keinster Weise mit Klasse gleichzusetzen.

MfG

[#9]

@F1osen  schrieb:
Unfassbar hilfreicher Beitrag, danke.

Gerne.

@F1osen  schrieb:
Bewiesenermaßen für diesen Cloudflare-Endpoint nicht.

Du solltest dich erst mal schlau machen, was Routing bedeutet.

[#10]

---

@J.Griessl  schrieb:

Es ist unfassbar, wie 3 Leute (@falk2010 @Gelöschter Nutzer @wari1957) einen ernstgemeinten Beitrag trollen, bei dem der Rest versucht Hilfestellung zur Lösung des Problems zu geben. 

@Telekom: Vielleicht sollte man den 3en mal eine Auszeit geben, denn wie man sieht ist Masse an Beiträgen in keinster Weise mit Klasse gleichzusetzen.

MfG

---

Trollen? Du bist auch so ein Troll. Ich habe geschrieben was ich zur Unterstützung der Telekom zum Thema Gaming halte. Also einfach mal den Ball ganz flach zurückspielen und artig sein. Wenn ich trolle schaut das anders aus und wir gehen mal in Richtung deines Gaming Skills. 

[#11]

---

@F1osen  schrieb:

Lieber @Gelöschter Nutzer ,

Vorschlag zur Güte. Ich erstelle einen neuen Thread mit einer simplen Frage, Du beantwortest sie mir, und bekommst dafür ein Kudo und "Als Lösung kennzeichnen". Als Gegenleistung ignorierst Du diesen Thread einfach. Deal?

Viele Grüße!

---

Und dann kommst du wieder mit "Trol", gell Ich wette ein Pfund mit dir das du hier keine perfekte Lösung erhalten wirst, so einfach. 

[#12]

Ich frage mich, was die klar auf Konfrontation abzielenden Beträge gewisser Nutzer , die gleichzeitig einer Lösung des Problems in keiner Weise förderlich sind, eigentlich erzielen sollen.

Auch eine Nebendebatte über "Wie gamerfreundlich ist die Telekom" und "Was ist ein Troll wirklich" scheint mir nicht zielführend.

Ignorieren und auf  @telekomhilft warten ist angesagt.

[#13]

---

@J.Griessl  schrieb:

Es ist unfassbar, wie 3 Leute (@falk2010 @Gelöschter Nutzer @wari1957) einen ernstgemeinten Beitrag trollen

---

Hm. Ich habe Dich nur darauf hingewiesen, dass das @Telekom-hilft-Team hier noch Schreiben wird, bis dahin sind die Antworten eben von Kunden. Was daran getrollt sein soll?

Das hier war der Auslöser:

@J.Griessl  schrieb:
Ich habe das gleiche Problem und es wäre schön, wenn die Deutsche Telekom auch einmal offiziell Stellung dazu  beziehen würde.

[#14]

@F1osen  schrieb:
Bewiesenermaßen für diesen Cloudflare-Endpoint nicht.

Hier muss ich mal einhaken. Natürlich funktioniert das Routing an sich. Auch wenn sich eine Route für jedes einzelne Paket ändert, davon brechen TCP-Verbindungen nicht ab.  Dem Empfänger ist es schlicht egal, bzw. er merkt das gar nicht. Solange das Paket rechtzeitig beim Empfänger ankommt.

@F1osen  schrieb:
Wir haben bewiesen, dass Pakete über deren Netz verloren gehen.

Ja, aber nicht ob innerhalb des Telekomnetzes oder erst außerhalb.

[#15]

---

@J.Griessl  schrieb:

Es ist unfassbar, wie 3 Leute (@falk2010 @Gelöschter Nutzer @wari1957) einen ernstgemeinten Beitrag trollen, bei dem der Rest versucht Hilfestellung zur Lösung des Problems zu geben. 

@Telekom: Vielleicht sollte man den 3en mal eine Auszeit geben, denn leider kann man niemanden blocken.  Wie man sieht, ist Masse an Beiträgen in keinster Weise mit Klasse gleichzusetzen.

MfG

---

Ja genau. Sorry, das ist ein typisches Verhalten wenn einem Antworten nicht passen und man nur lesen will was man selber irgendwo aufgeschnappt hat. 

[#16]

Guten Abend, 

ich weise darauf hin, dass wir in der Telekom hilft Community ein freundliches miteinander wollen.

Hier könnt Ihr auch nochmal unsere Netiquette nachlesen, damit auch jeder weiß, wie er sich in der Telekom hilft Community zu verhalten hat. 

Viele Grüße

Nico Be. 

[#17]

@F1osen  schrieb:
In diesem Eintrag wird auch auf gewisse Einwände eingegangen, die auch hier zu hören waren:
https://forums.eveonline.com/t/our-servers-are-fine-everything-is-working-perfect/364523/23

Nur mal so ... die Aussage:

CCP Explorer schrieb:
All stateful devices on the route will notice and send RST in response

ist technischer Blödsinn. Das wäre eine RST-Attacke mit gespooften RST-Paketen. RST-Pakete sendet immernoch außschließlich der Server oder Client, je nach dem wer die Verbindung resetten möchte. 🙄

[#18]

@RoadrunnerDD  schrieb:
ist technischer Blödsinn.

Quelle? Deine Qualifikation für die Bewertung? Ich hab von der Telekom eine Nachricht, in der sie sich entschuldigen für die Wartezeit: "Grund: Erhöhter Aufwand aufgrund eines komplexen Fehlers."

Fakt ist doch, dass das Internet voll ist von solchen Fehlern und Leuten, die echt Ahnung von Routern verschiedenster Hersteller haben und solche Fehler als harte Nuss sehen.
z.B. https://rtodto.net/bgp-open-message-receives-a-tcp-rst/
Warum müssen wir hier also als Blinde und Halbblinde über Farben diskutieren. Können wir bitte einfach warten, bis die Telekom das Problem hoffentlich mit ihrem Peer-Partner löst...

Wir können davon ausgehen, dass in der heutigen Zeit, bei massiven DoS und anderen Attacken, weitaus mehr SPI Geräte (Router/Firewall) verbaut sind als früher, d.h. Verbindungen werden auf höheren Leveln betrachtet und kontrolliert, nicht nur von Source und Desto.

[#19]

@F1osen  schrieb:
z.B. https://rtodto.net/bgp-open-message-receives-a-tcp-rst/

Aua ... liest und verstehst du eigentlich auch was du so als Links angibst? Bei deinem Link geht es um 2 Router, welche miteinander kommunizieren (BGP) und dabei zwischen diesen beiden auch RST-Pakete gesendet werden. Diese Pakete wirst du an deinem Endpunkt niemals zu gesicht bekommen, da du weder Source, noch Destination dieser Pakete bist.

An sich ist das jetzt hier aber auch nicht das Problem. Es gibt ja auch einen plausiblen Grund warum der Eve-Server ein RST schickt. Ich wollte nur darauf hinweisen, dass das was da in dem Eve-Forum steht, nicht alles zu 100% korrekt ist...

@F1osen  schrieb:
Deine Qualifikation für die Bewertung?

Willst du jetzt echt auf das Niveau? Dich hat auch niemand danach gefragt, was dich dazu qualifiziert zu behaupten, die Telekom hätte ein Problem mit ihrem BGP (-Settings). 🤔

[#20]

@RoadrunnerDD  schrieb:
Es gibt ja auch einen plausiblen Grund warum der Eve-Server ein RST schickt.

Das mag so sein - oder eben auch nicht. Weil SPI Devices auch selbst eingreifen können. Hilft mir da die TTL weiter? Das mag sein, oder auch nicht. Schrödingers Katze mag in dieser Blackbox bei Telekom & Co. etwas völlig erwartungsfremdes tun, was eben nur die Techniker in deren Netz überhaupt zu Gesicht bekommen. Und wenn Du etwas behauptest über diese Infrastruktur, ohne Einblick in die verwendete Technik oder wenigstens Erfahrungen aus Cisco Seminaren, etc. - dann frag ich schon mal nach, wie Du auf eine so plakative Aussage kommst wie diese hier:

@RoadrunnerDD  schrieb:
ist technischer Blödsinn.

Man könnte auch einfach mal nur sagen: "Das halt ich eher für unwahrscheinlich, weil... Quelle..."
Selbst dann ist ja die Aussage nur eine Meinung, die uns nicht groß weiterbringt. Aber gut, ist ein Kundenforum und man schätze wirklich jeden halbwegs sinnvollen Kommentar zu dem Problem.

@RoadrunnerDD  schrieb:
Dich hat auch niemand danach gefragt, was dich dazu qualifiziert zu behaupten, die Telekom hätte ein Problem mit ihrem BGP (-Settings)

Ich hab das nicht behauptet, sondern Informationen von erfahreneren Quellen weitergegeben. Ich behaupte auch nicht, dass ich weiß, was das Problem ist. Aber die Telekom hat ja offenbar bei mehreren Betroffenen zugestimmt, dass ein Problem in ihrem (/Peer) Netz vorhanden ist und arbeitet daran.

Der verlinkte Artikel sollte hier nicht das Problem beschreiben, sondern nur zeigen, dass Geräte etwas tun, was man nicht erwartet. Und jetzt zieh den Focus mal raus auf die Client/Server Kommunikation, die mit solchen Effekten bei den Routern zurechtkommen wollen. Was passiert im kleinen, und was sehe ich von außen - nämlich wenig...

[#21]

@J.Griessl  schrieb:

Das Routing verändert sich ab dem Knoten in Frankfurt (5) was dann zum Disconnect führt. Beim nächsten Durchlauf switcht er wieder auf die originäre Route.

[...]

6 27 ms 26 ms 26 ms 62.140.25.54
7 28 ms 26 ms 26 ms 172.65.201.188

[...]

6 20 ms 20 ms 60 ms 212.162.9.130
7 27 ms 26 ms 26 ms 172.65.201.188

[...]

6 27 ms 26 ms 26 ms 62.140.25.54
7 27 ms 26 ms 26 ms 172.65.201.188

Ich persönlich denke ja das sich CloudFlare und seinem Mehrfachpeering in Deutschland zusammen mit ihrer DDoS-Protection selbst ins Knie schießen 😆

Zur Erinnerung: für TCP-Pakete an sich ist es egal welche Route sie nehmen, hauptsache sie kommen rechtzeitig am Ziel an. Wenn da jetzt jemand mit DDoS-Protection und TCP interception dran rum fummelt, muss man das schon im Griff haben, wenn man mehrere potentielle Routen hat. Die Aussage von Eve selbst "EVE Online requires[...] no re-routing" passt halt nicht zur Funktionsweise des globalen Internets 😋

[#22]

@RoadrunnerDD  schrieb:

Nur mal so ... die Aussage:

  schrieb:
CCP Explorer schrieb:
All stateful devices on the route will notice and send RST in response

ist technischer Blödsinn. Das wäre eine RST-Attacke mit gespooften RST-Paketen. RST-Pakete sendet immernoch außschließlich der Server oder Client, je nach dem wer die Verbindung resetten möchte

Hier darf ich mich mal wieder korrigieren. Deren Aussage bezieht sich auf ihr eigenes Equipment. Also deren "stateful devices" welche CloudFlare im Einsatz hat und mit welchen sie ihre DDoS-Protection umsetzen. Somit ist das kein Blödsinn, sondern von der Aussage her korrekt, TCP-technisch gesehen aber irgendwie Mist.

PS.: Mittlerweile ist mir klar, wo hier das Problem liegt, nur das weder die Telekom, noch LEVEL3 daran etwas 100% lösen können. Dieses könnte nur von Cloudflare selbst gelöst werden, dazu müssten sie aber erstmal für sich einsehen, das Routenänderungen im Internet jederzeit auftreten können und dürfen.

[#23]

Ich könnt mir auch vorstellen, dass sich hier etablierte Routing-Methoden und die Erkennung/Behandlung von DoS-Attacken vielleicht in die Quere kommen. Gamer sind ja oft durchaus auch der IT zugetan. So wurden des Öfteren von frustrierten Spielern oder auch in Vorbereitung auf Weltraumschlachten (wo es auch mal um mehrere zehn-/hundertausend Euro Wert geht) Angriffe auf die CCP Server durchgeführt. Tor und andere VPNs werden dabei natürlich auch gerne genutzt. Wenn sich hier der Weg eines TCP Pakets also seltsam oft verändert, findet der Cloudflare Server das ggf. nicht gut..

@RoadrunnerDD  schrieb:
PS.: Mittlerweile ist mir klar, wo hier das Problem liegt, nur das weder die Telekom, noch LEVEL3 daran etwas 100% lösen können.

Na das ist aber mit der aktuellen Wissenslage schon wieder sehr gewagt formuliert. Immerhin hat die DT mehrfach gesagt, sie arbeiten an dem Problem und 99.9999% der ISP weltweit haben an der Stelle kein Problem.

[#24 · Accepted solution]

Hallo in die Runde,

wir haben uns im Hintergrund einmal informiert und uns wurde mitgeteilt, dass hier schon ein Austausch zwischen EVE Online und der Telekom stattfindet, um diesem Verhalten auf den Grund zu gehen.

Uns wurde kein zeitlicher Ansatz genannt und auch keine weiteren technischen Details, aber das Thema ist bekannt und in Bearbeitung. Daher werde ich diesen Beitrag auch als Lösung markieren, damit andere User sehen können, dass dieses Thema schon an den richtigen Stellen platziert ist.

Euch noch einen schönen Abend.

Gruß Ingo F.

[#25 · Accepted solution]

Hello again,

heute gibt es schon weitere Neuigkeiten zu dem Thema.
Es wurden die Netzübergänge überprüft, es konnte an diesen aber keine Ursache für das Verhalten gefunden werden. Auch besteht vonseiten der Telekom keine Möglichkeit, auf die Steuerung dieser Einfluss zu nehmen.
Das Thema muss jetzt weiter zwischen EVE Online und Cloudfare geklärt werden.
Ich hoffe, dass hier bald eine Klärung erfolgen kann, damit EVE Online ohne Abbrüche gespielt werden kann.

Gruß Ingo F.

[#26]

Von CCP Explorer:

Unser interner Netzwerkpartner Advania hat jetzt leitende Mitarbeiter, die zusammen mit unserem externen Netzwerkpartner Cloudflare und der DTAG an diesem Problem arbeiten. Wir hoffen, dass wir Cloudflare und DTAG mehr Daten zur Verfügung stellen können, um das Problem einzugrenzen.

EDIT #1: Die DTAG hat in ihrer letzten Antwort angedeutet, dass sie dieses Problem eskalieren wird.

EDIT #2: Wir schließen den Netzwerkpfad zwischen Cloudflare und CCP nicht aus, aber wenn es dort Probleme gäbe, dann würden wir erwarten, dass mehr ISPs betroffen sind; also ist das im Moment ein Randthema. Derzeit konzentrieren wir uns auf das Netzwerk der DTAG und das unmittelbar vorgelagerte Netzwerk (Level3) zu Cloudflare's Colos in Deutschland.

EDIT #3: Am Ende des heutigen Tages wurde das Problem an das Netzwerk-Peering-Team der DTAG eskaliert.

[#27]

Hallo,

ich verstehe nicht viel von diesen TCP, BGP, Rerouting sachen.

Meine einfache frage ist es, wenn etwas vor 3 Monaten funktioniert hat und jetzt nicht mehr funktioniert wer was geändert hat ?

Das zweite wann kann ich wieder das Spiel problemlos spielen ? mich Interessiert nicht wer schuld hat sondern wann es gelöst wird !

Ich bezahle ja meine RE pünktlich und möchte eine stabile Internetverbindung und das muss mit eben Telekom als provider geben oder nicht ?

Gruß

[#28]

@michael710  schrieb:

ich verstehe nicht viel von diesen TCP, BGP, Rerouting sachen.

Meine einfache frage ist es, wenn etwas vor 3 Monaten funktioniert hat und jetzt nicht mehr funktioniert wer was geändert hat ?

Das zweite wann kann ich wieder das Spiel problemlos spielen ? mich Interessiert nicht wer schuld hat sondern wann es gelöst wird !

Ich bezahle ja meine RE pünktlich und möchte eine stabile Internetverbindung und das muss mit eben Telekom als provider geben oder nicht ?

Hallo Michael,

hier sind halt verschiedenste Spezialisten am Werk (keine Ironie), die ihr Handwerk natürlich verstehen und permanent von augenscheinlichen Laien auf mögliche Fehler in ihrem Kunstwerk angesprochen werden. In seltenen Fällen nur trifft dies zu und manchmal ist es einfach auch noch das Zusammenspiel mehrerer Kunstwerke, das am Ende halt doch nicht so perfekt ist.

Ich denke, das Thema ist jetzt endlich eskaliert an die richtigen Personen und eine Lösung sollte zu finden sein.
Am Anfang schiebt man den Farbigen Peter halt erstmal weiter...

Aber wie Du sagst - wir zahlen für einen stabilen Service, mit dem ja auch geworben wird, und die DT hat ja nicht ohne Grund ein "Peering-Team", das auch für die Anbindung an Nachbarnetze verantwortlich ist.

[#29]

Liebe Telekom,

kommt jetzt bald eine Lösung? Können Sie uns sagen wann das Problem gelöst wird?

Ich finde so eine Art der nicht Kommunikation nicht besonders fördernd. Oder ist diese Art der Kommunikation einfach gesagt sucht euch einen anderen Provider ???

Gruß