Solved

BGP Flaps, Long-lived TCP Connections

3 years ago

Hallo,

 

seit ca. 4 Wochen hab ich regelmäßige Abbrüche beim Online-Spiel "EVE Online". Nach einigen Tests teilte mir der EVE Support folgendes mit:

"EVE Online requires a stable connection suitable for long-lived TCP connections. Which means no re-routing or BGP flaps."

Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab, das dürfte sich neben EVE auch z.B. auf SIP Verbindungen auswirken.

 

Das Thema BGP Flaps ist natürlich ein weites Feld und erfordert Menschen, die (1) wirklich Ahnung von der Materie haben und (2) den Willen, die Ursache zu finden und nicht nur alle Router zu resetten und zu denken, dass jetzt alles wieder gut ist. Hier können Router an ihre Speichergrenzen stoßen, MTUs irgendwo falsch gesetzt sein und 100 andere Dinge. Das Problem könnte auch bei einem Peer liegen, die Route geht über z.B. Level3:

 

> tracert tranquility.servers.eveonline.com

Routenverfolgung zu d638e439e07f413c97200d057e5ebd05.pacloudflare.com [172.65.201.188]
über maximal 30 Hops:

1 1 ms <1 ms <1 ms fritz.box [x.x.x.x]
2 10 ms 8 ms 8 ms x.dip0.t-ipconnect.de [x.x.x.x]
3 20 ms 20 ms 19 ms 217.5.110.150
4 27 ms 26 ms 27 ms 4.68.71.113
5 * 21 ms 19 ms ae2.3216.ear4.Frankfurt1.level3.net [4.69.210.66]
6 20 ms 19 ms 19 ms 195.122.183.210
7 20 ms 20 ms 19 ms 172.70.244.3
8 19 ms 18 ms 18 ms 172.65.201.188

 

Passende Lektüre:

https://de.wikipedia.org/wiki/Border_Gateway_Protocol#Route_Flap

https://routingcraft.net/how-to-troubleshoot-routing-protocols-session-flaps-part-1/

https://archive.nanog.org/meetings/nanog29/presentations/smith.pdf

https://cs.gmu.edu/~eoster/2019-795/2019-795-papers/BGP%20Anomaly%20Detection%20Techniques%20Survey.pdf

 

Frage ist - wie bekommt man das an einen kompetenten Telekom-Support kommuniziert? Der telefonische Support will alles mögliche bei mir fixen, das Kabel auf dem Grundstück austauschen, die Telefondose - den Router hab ich angeblich zu schnell nach dem Ausschalten wieder eingeschaltet, etc pp. Es ist unmöglich zu vermitteln, was hier wirklich das Problem ist.

 

Wie man sieht, hat EVE Online nicht am eigenen "Peer" gespart, der traceroute endet nämlich bei einem Cloudflare server. "Gefixt" hab ich es daher dank anderer findiger Gamer mit dem Tool WARP von Cloudflare: https://1.1.1.1/
Das dabei hergestellte VPN kommt entweder mit den Flaps zurecht oder der falsch konfigurierte Router/Peer wird umgangen, da die Telekom ihr Cloudflare-Gate vielleicht woanders hat.

 

Hoffe dennoch, dass die Info mal bei der richtigen Abteilung landet und ernst genommen wird.

 

Grüße!

6537

101

    • 3 years ago

      Ist halt kein Telekom Problem ... die nutzen das Peering was der Anbieter vorgibt. 

      Level3 kann halt nen Problem sein, da die neben ner super ausgebauten Autobahn zum Telekom Netz auch ne billige Schotterpiste haben. 

       

      Du kannst paar Pingplotter Traces machen und posten aber das Ergebnis wird sich nicht ändern.

      Wenn dein Anschluss störungsfrei ist, wars das. 

      Was außerhalb des Telekom Netzes passiert interessiert die Telekom nicht.

       

      Kannst dir nur nen VPN Dienstleister holen und dir nen anderes Peering besorgen. 

      6

      Answer

      from

      3 years ago

      Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?

      Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?
      Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?

      Naja das ist eher so nen Wissensthema .

      Man ist ja froh, wenn die Leute den Layer 1 und 2 verstehen .. evtl. noch Layer 3. 

      Aber vom Layer 4 und BGP werden die wenigsten was gehört haben, weil es auch nichts für den 1st und eigentlich auch nicht für nen 2nd Level Support ist. 

       

      Das sind Aufgaben im Kernnetz ... und praktisch sprechen die Peering -Partner ja auch mit einander. Ist wie beim Mobilfunk, da bekommt es der Anbieter ja auch von allein mit, wenn die Antennen spinnen o. ausgelastet sind. Die Frage ist nur, was mit dem Wissen gemacht wird.

       

      Wenn du jemanden der sich nur um L1 und L2 kümmert kommst und sagst, dass da was an der Verbindung zu langsam oder instabil ist, kommt der halt erstmal auf die Kabelidee. xD 

      Answer

      from

      3 years ago

      Richtig, danke. Und um es nochmal kurz zu sortieren - ich möchte wirklich nur das Thema adressieren und nicht tot reden bitte Fröhlich

       

      - CCP nutzt cloudflare - wie man sieht. Ich sehe da jetzt kein "Sparen". BGP Flaps treten an den Routern zwischen den AS auf. Da der trace recht kurz ist, kann das eigtl. nur im Netz der DT oder zum 1. Peer, imho Level3 sein. Und zum Internet gehört auch Gaming, genau wie alle anderen Dienste, die long-lived TCP connections nutzen. Noch herrscht Netzneutralität. Möchte den Autofahrer erleben, dem die Karre alle 10 km abstirbt und der damit zufrieden ist, dass der Hersteller sagt: "Alle anderen fahren schließlich nur Kurzstrecke".

       

      - Hier geht es ja nicht um Ping Zeiten.  Dass ein Level3 Router mal nicht auf meinen ICMP Ping antwortet, verüble ich ihm nicht, ist schließlich nicht wichtig. Pingplotter etc. zeigt keine Probleme mit BGP flaps. Dafür bräuchte man eben long-lived connections. Und die brechen dann halt einfach nur zusammen, mehr gibt es dabei von außen nicht zu beobachten. Das BGP Debugging kann nur von fachkundigem Personal an den Routern selbst erfolgen.

       

      - Unser Kabel am Grundstück soll ruhig mal getauscht werden, denn spätestens seit sie meinem Nachbarn eine 250MBit Leitung aufgeschwatzt haben, während ich weiterhin die 100MBit nutze, stößt der alte verrostete Klingeldraht bei uns halt hochfrequenztechnisch an seine Grenzen. Das Thema haben wir seit Jahren und wenn einer der Techniker tatsächlich mal 200g Kupfer neu verlegt, hab ich nix dagegen. Schließlich hat der Telekom-Lobbyismus erfolgreich Glasfaser verhindert, dann müssen sie eben jahrelang den alten Kram supporten.

       

      Answer

      from

      3 years ago

      F1osen

      ich möchte wirklich nur das Thema adressieren

      ich möchte wirklich nur das Thema adressieren
      F1osen
      ich möchte wirklich nur das Thema adressieren

      Brauchst du nicht, interessiert niemanden was außerhalb des Telekom Netzes passiert. 

      Cloudflare gibt es von Schieberegler ganz links bis Schieberegler ganz rechts alles. 

      Links sind die kleinen Preise, rechts sind die großen Preise. 

       

      Genauso kannst es auch bei Level3 und Co bekommen. 

      Unlogged in user

      Answer

      from

    • 3 years ago

      F1osen

      Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab

      Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab
      F1osen
      Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab

      TCP-Verbindungen brechen nicht einfach ab.

      Schon mal einen Netzwerktrace erstellt?

       

      16

      Answer

      from

      3 years ago

      F1osen

      Damit wären wir wieder beim Ausgangspost

      Damit wären wir wieder beim Ausgangspost
      F1osen
      Damit wären wir wieder beim Ausgangspost

      Allerdings gibts jetzt etwas schwarz auf weiß, vorher nur hätte/sollte/könnte.

      Answer

      from

      3 years ago

      Fein! Ich bedanke mich hiermit für das Interesse und die Hinweise!

      Jetzt bräuchten wir noch einen Telekom Mitarbeiter, der sich dafür interessiert.

      Answer

      from

      3 years ago

      Kann mich F1osen hier nur anschließen.

      Habe zwar (leider) keine Ahnung von IT und verstehe nur die Hälfte der Wörter, die Ihr euch hier zuwerft, kann aber bestätigen, dass es sich um ein Problem bei mehreren Kunden der Telekom im Bezug zur Stabilität der Verbinung zu CCP Servern handelt.

      Alle mir persönlich bekannten Fälle dieser - erst seit einigen Wochen auftretenden - Probeleme betreffen nur Kunden der Telekom.

      CCP Support hat mich ähnliche Testes laufen lassen wie bei F1osen und ich kam zu den selben Ergebnissen.

      Somit ist ein Persönliches Problem bei F1osen (Kabel etc.) schon recht unwahrscheinlich.

      Unlogged in user

      Answer

      from

    • 3 years ago

      @F1osen  schrieb:
      Nach einigen Tests

      Bescheidene Frage ... was wurde denn da an Tests vollzogen?

      1

      Answer

      from

      3 years ago

      RoadrunnerDD

      Bescheidene Frage ... was wurde denn da an Tests vollzogen?

      Bescheidene Frage ... was wurde denn da an Tests vollzogen?
      RoadrunnerDD
      Bescheidene Frage ... was wurde denn da an Tests vollzogen?

      Der EVE Support hatte mich z.B. ein Powershell script ausführen lassen. Das werde ich hier jetzt nicht anhängen, weil nicht mein geistiges Eigentum, aber es nutzt:

      - Test-Connection

      - Test-NetConnection f. traceroutes und tcp connections

      - ping mit verschiedenen paketgrößen (mtu test)

      Unlogged in user

      Answer

      from

    • 3 years ago

      Ich kann die Probleme ebenfalls bestätigen.

      1

      Answer

      from

      3 years ago

      Keine Ahnung ob es hilft, jedenfalls habe ich als Congstar-Kunde keine Verbindungsprobleme und auch einen Hopp weniger:

       

      Routenverfolgung zu d638e439e07f413c97200d057e5ebd05.pacloudflare.com [172.65.201.188]
      über maximal 30 Hops:
      
        1    <1 ms    <1 ms    <1 ms  fritz.box [x.x.x.x]
        2     7 ms     7 ms    10 ms  x.dip0.t-ipconnect.de [62.x.x.x]
        3   888 ms    16 ms    15 ms  b-eh3-i.B.DE.NET. DTAG .DE [62.154.46.206]
        4    16 ms    15 ms    15 ms  4.68.62.205
        5    15 ms    20 ms    15 ms  ae1.3502.edge3.Berlin1.level3.net [4.69.159.1]
        6    17 ms    15 ms    16 ms  unknown.Level3.net [212.162.40.34]
        7    15 ms    15 ms    15 ms  172.65.201.188
      
      Ablaufverfolgung beendet.

       

      Unlogged in user

      Answer

      from

    • 3 years ago

      Ich habe das gleiche Problem und es wäre schön, wenn die Deutsche Telekom auch einmal offiziell Stellung dazu  beziehen würde.

      Über VPN ist das auf Dauer keine Lösung.

      69

      Answer

      from

      3 years ago

      Wenn man sie fragt wo in ihren AGB`S steht das ein Online Gaming möglich sein muss kommt halt nicht mehr.

      Wenn man sie fragt wo in ihren AGB`S steht das ein Online Gaming möglich sein muss kommt halt nicht mehr. 
      Wenn man sie fragt wo in ihren AGB`S steht das ein Online Gaming möglich sein muss kommt halt nicht mehr. 

      Hallo,

      ich kann dir zwar nicht sagen wo es in AGB´s steht aber ich kann dir sagen wo es im Neuem Telekommunikationsgesetzt steht.

      Außerdem steht auch auf seiten der Bundesnetzagentur (Chef von Telekom, Vodafon und Co.) das ich meinen Vertrag Monatlich kündigen kann! usw.

      Wie gesagt vom IT habe ich keine ahnung, aber vom Gesetz schon...

      Angefangen bei kürzung der Rechnung.

       

       

       

      Answer

      from

      3 years ago

      Weil eure Beiträge nicht hilfreich sind und jegliche sinnvollen Beiträge in eurem Spam untergehen. Außerdem bin ich an der Lösung interessiert.

       

      Und jetzt schaltet mal eure Handys aus und geht etwas spazieren, vielen Dank Zwinkernd

      Answer

      from

      3 years ago

      kuch3n

      Weil eure Beiträge nicht hilfreich sind und jegliche sinnvollen Beiträge in eurem Spam untergehen.

      Weil eure Beiträge nicht hilfreich sind und jegliche sinnvollen Beiträge in eurem Spam untergehen.

      kuch3n

      Weil eure Beiträge nicht hilfreich sind und jegliche sinnvollen Beiträge in eurem Spam untergehen.


      nein, wenn jemand fragt warum etwas als Lösung gekennzeichnet ist und ich antworte darauf ist das sehr wohl hilfreich.
      Warum fragt sonst jemand danach?

       

      Inwiefern hat das was Du schriebst etwas mit dem Thema hier zu tun?

       

      Unlogged in user

      Answer

      from

    • Accepted Solution

      accepted by

      3 years ago

      Hallo in die Runde,

       

      wir haben uns im Hintergrund einmal informiert und uns wurde mitgeteilt, dass hier schon ein Austausch zwischen EVE Online und der Telekom stattfindet, um diesem Verhalten auf den Grund zu gehen.

      Uns wurde kein zeitlicher Ansatz genannt und auch keine weiteren technischen Details, aber das Thema ist bekannt und in Bearbeitung. Daher werde ich diesen Beitrag auch als Lösung markieren, damit andere User sehen können, dass dieses Thema schon an den richtigen Stellen platziert ist.

       

      Euch noch einen schönen Abend.

       

      Gruß Ingo F.

      0

    • Accepted Solution

      accepted by

      3 years ago

      Hello again,


      heute gibt es schon weitere Neuigkeiten zu dem Thema.
      Es wurden die Netzübergänge überprüft, es konnte an diesen aber keine Ursache für das Verhalten gefunden werden. Auch besteht vonseiten der Telekom keine Möglichkeit, auf die Steuerung dieser Einfluss zu nehmen.
      Das Thema muss jetzt weiter zwischen EVE Online und Cloudfare geklärt werden.
      Ich hoffe, dass hier bald eine Klärung erfolgen kann, damit EVE Online ohne Abbrüche gespielt werden kann.


      Gruß Ingo F.

      0

    • Accepted Solution

      accepted by

      2 years ago

      Seit ca. 2 Wochen scheint das Problem nun endlich erstmal gelöst zu sein. Keine Rückmeldung bisher von DT, Level3 oder Cloudflare - aber hoffe mal, das Problem wurde tatsächlich behoben und ist nicht nur zufällig durch einen Router-Neustart o.ä. gelöst worden.

      0

      Unlogged in user

      Ask

      from

      This could help you too

      Solved

      in  

      429

      0

      5

      in  

      25763

      0

      128

      Solved

      in  

      1003

      0

      3

      Solved

      in  

      1294

      0

      2