Gelöst

BGP Flaps, Long-lived TCP Connections

vor 3 Jahren

Hallo,

 

seit ca. 4 Wochen hab ich regelmäßige Abbrüche beim Online-Spiel "EVE Online". Nach einigen Tests teilte mir der EVE Support folgendes mit:

"EVE Online requires a stable connection suitable for long-lived TCP connections. Which means no re-routing or BGP flaps."

Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab, das dürfte sich neben EVE auch z.B. auf SIP Verbindungen auswirken.

 

Das Thema BGP Flaps ist natürlich ein weites Feld und erfordert Menschen, die (1) wirklich Ahnung von der Materie haben und (2) den Willen, die Ursache zu finden und nicht nur alle Router zu resetten und zu denken, dass jetzt alles wieder gut ist. Hier können Router an ihre Speichergrenzen stoßen, MTUs irgendwo falsch gesetzt sein und 100 andere Dinge. Das Problem könnte auch bei einem Peer liegen, die Route geht über z.B. Level3:

 

> tracert tranquility.servers.eveonline.com

Routenverfolgung zu d638e439e07f413c97200d057e5ebd05.pacloudflare.com [172.65.201.188]
über maximal 30 Hops:

1 1 ms <1 ms <1 ms fritz.box [x.x.x.x]
2 10 ms 8 ms 8 ms x.dip0.t-ipconnect.de [x.x.x.x]
3 20 ms 20 ms 19 ms 217.5.110.150
4 27 ms 26 ms 27 ms 4.68.71.113
5 * 21 ms 19 ms ae2.3216.ear4.Frankfurt1.level3.net [4.69.210.66]
6 20 ms 19 ms 19 ms 195.122.183.210
7 20 ms 20 ms 19 ms 172.70.244.3
8 19 ms 18 ms 18 ms 172.65.201.188

 

Passende Lektüre:

https://de.wikipedia.org/wiki/Border_Gateway_Protocol#Route_Flap

https://routingcraft.net/how-to-troubleshoot-routing-protocols-session-flaps-part-1/

https://archive.nanog.org/meetings/nanog29/presentations/smith.pdf

https://cs.gmu.edu/~eoster/2019-795/2019-795-papers/BGP%20Anomaly%20Detection%20Techniques%20Survey.pdf

 

Frage ist - wie bekommt man das an einen kompetenten Telekom-Support kommuniziert? Der telefonische Support will alles mögliche bei mir fixen, das Kabel auf dem Grundstück austauschen, die Telefondose - den Router hab ich angeblich zu schnell nach dem Ausschalten wieder eingeschaltet, etc pp. Es ist unmöglich zu vermitteln, was hier wirklich das Problem ist.

 

Wie man sieht, hat EVE Online nicht am eigenen "Peer" gespart, der traceroute endet nämlich bei einem Cloudflare server. "Gefixt" hab ich es daher dank anderer findiger Gamer mit dem Tool WARP von Cloudflare: https://1.1.1.1/
Das dabei hergestellte VPN kommt entweder mit den Flaps zurecht oder der falsch konfigurierte Router/Peer wird umgangen, da die Telekom ihr Cloudflare-Gate vielleicht woanders hat.

 

Hoffe dennoch, dass die Info mal bei der richtigen Abteilung landet und ernst genommen wird.

 

Grüße!

6531

101

  • vor 3 Jahren

    Ist halt kein Telekom Problem ... die nutzen das Peering was der Anbieter vorgibt. 

    Level3 kann halt nen Problem sein, da die neben ner super ausgebauten Autobahn zum Telekom Netz auch ne billige Schotterpiste haben. 

     

    Du kannst paar Pingplotter Traces machen und posten aber das Ergebnis wird sich nicht ändern.

    Wenn dein Anschluss störungsfrei ist, wars das. 

    Was außerhalb des Telekom Netzes passiert interessiert die Telekom nicht.

     

    Kannst dir nur nen VPN Dienstleister holen und dir nen anderes Peering besorgen. 

    6

    Antwort

    von

    vor 3 Jahren

    Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?

    Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?
    Wenn ich dann lese das Kabel getauscht werden sollen schwillt mit der Kamm. Warum? Weshalb? Weil der Anbieter des Spiels sich nen fetten Geldbeutel machen will ?

    Naja das ist eher so nen Wissensthema .

    Man ist ja froh, wenn die Leute den Layer 1 und 2 verstehen .. evtl. noch Layer 3. 

    Aber vom Layer 4 und BGP werden die wenigsten was gehört haben, weil es auch nichts für den 1st und eigentlich auch nicht für nen 2nd Level Support ist. 

     

    Das sind Aufgaben im Kernnetz ... und praktisch sprechen die Peering -Partner ja auch mit einander. Ist wie beim Mobilfunk, da bekommt es der Anbieter ja auch von allein mit, wenn die Antennen spinnen o. ausgelastet sind. Die Frage ist nur, was mit dem Wissen gemacht wird.

     

    Wenn du jemanden der sich nur um L1 und L2 kümmert kommst und sagst, dass da was an der Verbindung zu langsam oder instabil ist, kommt der halt erstmal auf die Kabelidee. xD 

    Antwort

    von

    vor 3 Jahren

    Richtig, danke. Und um es nochmal kurz zu sortieren - ich möchte wirklich nur das Thema adressieren und nicht tot reden bitte Fröhlich

     

    - CCP nutzt cloudflare - wie man sieht. Ich sehe da jetzt kein "Sparen". BGP Flaps treten an den Routern zwischen den AS auf. Da der trace recht kurz ist, kann das eigtl. nur im Netz der DT oder zum 1. Peer, imho Level3 sein. Und zum Internet gehört auch Gaming, genau wie alle anderen Dienste, die long-lived TCP connections nutzen. Noch herrscht Netzneutralität. Möchte den Autofahrer erleben, dem die Karre alle 10 km abstirbt und der damit zufrieden ist, dass der Hersteller sagt: "Alle anderen fahren schließlich nur Kurzstrecke".

     

    - Hier geht es ja nicht um Ping Zeiten.  Dass ein Level3 Router mal nicht auf meinen ICMP Ping antwortet, verüble ich ihm nicht, ist schließlich nicht wichtig. Pingplotter etc. zeigt keine Probleme mit BGP flaps. Dafür bräuchte man eben long-lived connections. Und die brechen dann halt einfach nur zusammen, mehr gibt es dabei von außen nicht zu beobachten. Das BGP Debugging kann nur von fachkundigem Personal an den Routern selbst erfolgen.

     

    - Unser Kabel am Grundstück soll ruhig mal getauscht werden, denn spätestens seit sie meinem Nachbarn eine 250MBit Leitung aufgeschwatzt haben, während ich weiterhin die 100MBit nutze, stößt der alte verrostete Klingeldraht bei uns halt hochfrequenztechnisch an seine Grenzen. Das Thema haben wir seit Jahren und wenn einer der Techniker tatsächlich mal 200g Kupfer neu verlegt, hab ich nix dagegen. Schließlich hat der Telekom-Lobbyismus erfolgreich Glasfaser verhindert, dann müssen sie eben jahrelang den alten Kram supporten.

     

    Antwort

    von

    vor 3 Jahren

    F1osen

    ich möchte wirklich nur das Thema adressieren

    ich möchte wirklich nur das Thema adressieren
    F1osen
    ich möchte wirklich nur das Thema adressieren

    Brauchst du nicht, interessiert niemanden was außerhalb des Telekom Netzes passiert. 

    Cloudflare gibt es von Schieberegler ganz links bis Schieberegler ganz rechts alles. 

    Links sind die kleinen Preise, rechts sind die großen Preise. 

     

    Genauso kannst es auch bei Level3 und Co bekommen. 

    Uneingeloggter Nutzer

    Antwort

    von

  • vor 3 Jahren

    F1osen

    Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab

    Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab
    F1osen
    Tatsächlich brechen diese TCP Verbindungen willkürlich nach wenigen Minuten einfach mal ab

    TCP-Verbindungen brechen nicht einfach ab.

    Schon mal einen Netzwerktrace erstellt?

     

    16

    Antwort

    von

    vor 3 Jahren

    F1osen

    Damit wären wir wieder beim Ausgangspost

    Damit wären wir wieder beim Ausgangspost
    F1osen
    Damit wären wir wieder beim Ausgangspost

    Allerdings gibts jetzt etwas schwarz auf weiß, vorher nur hätte/sollte/könnte.

    Antwort

    von

    vor 3 Jahren

    Fein! Ich bedanke mich hiermit für das Interesse und die Hinweise!

    Jetzt bräuchten wir noch einen Telekom Mitarbeiter, der sich dafür interessiert.

    Antwort

    von

    vor 3 Jahren

    Kann mich F1osen hier nur anschließen.

    Habe zwar (leider) keine Ahnung von IT und verstehe nur die Hälfte der Wörter, die Ihr euch hier zuwerft, kann aber bestätigen, dass es sich um ein Problem bei mehreren Kunden der Telekom im Bezug zur Stabilität der Verbinung zu CCP Servern handelt.

    Alle mir persönlich bekannten Fälle dieser - erst seit einigen Wochen auftretenden - Probeleme betreffen nur Kunden der Telekom.

    CCP Support hat mich ähnliche Testes laufen lassen wie bei F1osen und ich kam zu den selben Ergebnissen.

    Somit ist ein Persönliches Problem bei F1osen (Kabel etc.) schon recht unwahrscheinlich.

    Uneingeloggter Nutzer

    Antwort

    von

  • vor 3 Jahren

    @F1osen  schrieb:
    Nach einigen Tests

    Bescheidene Frage ... was wurde denn da an Tests vollzogen?

    1

    Antwort

    von

    vor 3 Jahren

    RoadrunnerDD

    Bescheidene Frage ... was wurde denn da an Tests vollzogen?

    Bescheidene Frage ... was wurde denn da an Tests vollzogen?
    RoadrunnerDD
    Bescheidene Frage ... was wurde denn da an Tests vollzogen?

    Der EVE Support hatte mich z.B. ein Powershell script ausführen lassen. Das werde ich hier jetzt nicht anhängen, weil nicht mein geistiges Eigentum, aber es nutzt:

    - Test-Connection

    - Test-NetConnection f. traceroutes und tcp connections

    - ping mit verschiedenen paketgrößen (mtu test)

    Uneingeloggter Nutzer

    Antwort

    von

  • vor 3 Jahren

    Ich kann die Probleme ebenfalls bestätigen.

    1

    Antwort

    von

    vor 3 Jahren

    Keine Ahnung ob es hilft, jedenfalls habe ich als Congstar-Kunde keine Verbindungsprobleme und auch einen Hopp weniger:

     

    Routenverfolgung zu d638e439e07f413c97200d057e5ebd05.pacloudflare.com [172.65.201.188]
    über maximal 30 Hops:
    
      1    <1 ms    <1 ms    <1 ms  fritz.box [x.x.x.x]
      2     7 ms     7 ms    10 ms  x.dip0.t-ipconnect.de [62.x.x.x]
      3   888 ms    16 ms    15 ms  b-eh3-i.B.DE.NET. DTAG .DE [62.154.46.206]
      4    16 ms    15 ms    15 ms  4.68.62.205
      5    15 ms    20 ms    15 ms  ae1.3502.edge3.Berlin1.level3.net [4.69.159.1]
      6    17 ms    15 ms    16 ms  unknown.Level3.net [212.162.40.34]
      7    15 ms    15 ms    15 ms  172.65.201.188
    
    Ablaufverfolgung beendet.

     

    Uneingeloggter Nutzer

    Antwort

    von

  • vor 3 Jahren

    Ich habe das gleiche Problem und es wäre schön, wenn die Deutsche Telekom auch einmal offiziell Stellung dazu  beziehen würde.

    Über VPN ist das auf Dauer keine Lösung.

    69

    Antwort

    von

    vor 3 Jahren

    Hallo in die Runde,

     

    wir haben uns im Hintergrund einmal informiert und uns wurde mitgeteilt, dass hier schon ein Austausch zwischen EVE Online und der Telekom stattfindet, um diesem Verhalten auf den Grund zu gehen.

    Uns wurde kein zeitlicher Ansatz genannt und auch keine weiteren technischen Details, aber das Thema ist bekannt und in Bearbeitung. Daher werde ich diesen Beitrag auch als Lösung markieren, damit andere User sehen können, dass dieses Thema schon an den richtigen Stellen platziert ist.

     

    Euch noch einen schönen Abend.

     

    Gruß Ingo F.

    Antwort

    von

    vor 3 Jahren

    Hello again,


    heute gibt es schon weitere Neuigkeiten zu dem Thema.
    Es wurden die Netzübergänge überprüft, es konnte an diesen aber keine Ursache für das Verhalten gefunden werden. Auch besteht vonseiten der Telekom keine Möglichkeit, auf die Steuerung dieser Einfluss zu nehmen.
    Das Thema muss jetzt weiter zwischen EVE Online und Cloudfare geklärt werden.
    Ich hoffe, dass hier bald eine Klärung erfolgen kann, damit EVE Online ohne Abbrüche gespielt werden kann.


    Gruß Ingo F.

    Antwort

    von

    vor 3 Jahren

     

    Von CCP Explorer:

    Unser interner Netzwerkpartner Advania hat jetzt leitende Mitarbeiter, die zusammen mit unserem externen Netzwerkpartner Cloudflare und der DTAG an diesem Problem arbeiten. Wir hoffen, dass wir Cloudflare und DTAG mehr Daten zur Verfügung stellen können, um das Problem einzugrenzen.

    EDIT #1: Die DTAG hat in ihrer letzten Antwort angedeutet, dass sie dieses Problem eskalieren wird.

    EDIT #2: Wir schließen den Netzwerkpfad zwischen Cloudflare und CCP nicht aus, aber wenn es dort Probleme gäbe, dann würden wir erwarten, dass mehr ISPs betroffen sind; also ist das im Moment ein Randthema. Derzeit konzentrieren wir uns auf das Netzwerk der DTAG und das unmittelbar vorgelagerte Netzwerk (Level3) zu Cloudflare's Colos in Deutschland.

    EDIT #3: Am Ende des heutigen Tages wurde das Problem an das Netzwerk- Peering -Team der DTAG eskaliert.

     

    Uneingeloggter Nutzer

    Antwort

    von

  • Akzeptierte Lösung

    akzeptiert von

    vor 3 Jahren

    Hallo in die Runde,

     

    wir haben uns im Hintergrund einmal informiert und uns wurde mitgeteilt, dass hier schon ein Austausch zwischen EVE Online und der Telekom stattfindet, um diesem Verhalten auf den Grund zu gehen.

    Uns wurde kein zeitlicher Ansatz genannt und auch keine weiteren technischen Details, aber das Thema ist bekannt und in Bearbeitung. Daher werde ich diesen Beitrag auch als Lösung markieren, damit andere User sehen können, dass dieses Thema schon an den richtigen Stellen platziert ist.

     

    Euch noch einen schönen Abend.

     

    Gruß Ingo F.

    0

  • Akzeptierte Lösung

    akzeptiert von

    vor 3 Jahren

    Hello again,


    heute gibt es schon weitere Neuigkeiten zu dem Thema.
    Es wurden die Netzübergänge überprüft, es konnte an diesen aber keine Ursache für das Verhalten gefunden werden. Auch besteht vonseiten der Telekom keine Möglichkeit, auf die Steuerung dieser Einfluss zu nehmen.
    Das Thema muss jetzt weiter zwischen EVE Online und Cloudfare geklärt werden.
    Ich hoffe, dass hier bald eine Klärung erfolgen kann, damit EVE Online ohne Abbrüche gespielt werden kann.


    Gruß Ingo F.

    0

  • Akzeptierte Lösung

    akzeptiert von

    vor 2 Jahren

    Seit ca. 2 Wochen scheint das Problem nun endlich erstmal gelöst zu sein. Keine Rückmeldung bisher von DT, Level3 oder Cloudflare - aber hoffe mal, das Problem wurde tatsächlich behoben und ist nicht nur zufällig durch einen Router-Neustart o.ä. gelöst worden.

    0

Uneingeloggter Nutzer

Frage

von

Das könnte Ihnen auch weiterhelfen

Gelöst

in  

426

0

5

in  

25761

0

128

Gelöst

vor 2 Jahren

in  

998

0

3

Gelöst

in  

1290

0

2