Gelöst

Routing zu Cloudflare abends schlecht – hoher Ping

vor 2 Jahren

Hallo liebe Community,
ich habe seit dieser Woche Glasfaser Magenta Zuhause XXL und bin soweit mega happy!
 
Allerdings habe ich ein Routing Problem zu Cloudflare bemerkt. Jeden Abend ist der Ping zu Cloudflare (1.1.1.1) mit ca. 150ms sehr hoch. Der Ping zum Google Public DNS (8.8.8.8) ist super schnell mit 5ms. Die Traceroute zeigt, dass das Routing zu Cloudflare über TATA in Frankfurt läuft. Irgendwo hier muss es abends eine Engstelle geben.
Hier im Forum findet man ebenfalls Threads zu schlechtem Routing zu Cloudflare. Einen sogar exakt über TATA in FFM. Leider sind die Beiträge jedoch schon 1-2 Jahre alt. Bei Vodafone hatte ich die Routingprobleme nicht... (dafür ganz andere Probleme :D).
 
Ich habe mal ein paar Screenshots angehängt, die die das ganze verdeutlichen.
 
Wer kann an solchen Routing-Problemen was machen? Liegt das im Verantwortungsbereich der Telekom, die Ihre Peering -Partner auswählt, bei Cloudflare oder muss TATA aktiv werden? Wer kann sowas initiieren?
 
Eine gute Anbindung zu Cloudflare wäre mir persönlich schon wichtig...
 
Ich freue mich über alle Rückmeldungen/Ideen und Beiträge, gerne auch vom Telekom-Team.
 
Beste Grüße
smart9125

ping1.png

ping8.png

trace1.png

trace8.png

dns1.png

dns8.png

5610

213

  • vor 2 Jahren

    Meine Traceroutes zu den bekannten DNS (wohl meist in Düsseldorf "übergeben"):

     

    W:\Temp>tracert 1.1.1.1

    Routenverfolgung zu one.one.one.one [1.1.1.1]
    über maximal 30 Hops:

    1 <1 ms <1 ms <1 ms pfSense.localnet [10.253.0.1]
    2 4 ms 4 ms 4 ms p3e9bf44a.dip0.t-ipconnect.de [62.155.244.74]
    3 8 ms 7 ms 7 ms d-ed5-i.D.DE.NET. DTAG .DE [62.159.99.146]
    4 7 ms 7 ms 13 ms d-ed5-i.D.DE.NET. DTAG .DE [62.159.99.146]
    5 7 ms 7 ms 7 ms 4.68.71.113
    6 11 ms * 7 ms CLOUDFLARE.edge6.Dusseldorf1.Level3.net [62.67.22.246]
    7 7 ms 7 ms 7 ms one.one.one.one [1.1.1.1]

    Ablaufverfolgung beendet.

    W:\Temp>tracert 8.8.8.8

    Routenverfolgung zu dns.google [8.8.8.8]
    über maximal 30 Hops:

    1 <1 ms <1 ms <1 ms pfSense.localnet [10.253.0.1]
    2 4 ms 4 ms 4 ms p3e9bf44a.dip0.t-ipconnect.de [62.155.244.74]
    3 12 ms 12 ms 12 ms f-ed11-i.F.DE.NET. DTAG .DE [217.5.118.6]
    4 11 ms 11 ms 11 ms 62.157.250.46
    5 11 ms 11 ms 11 ms 142.251.65.131
    6 11 ms 11 ms 11 ms 142.250.236.31
    7 9 ms 9 ms 9 ms dns.google [8.8.8.8]

    Ablaufverfolgung beendet.

    W:\Temp>tracert 9.9.9.9

    Routenverfolgung zu dns9.quad9.net [9.9.9.9]
    über maximal 30 Hops:

    1 <1 ms <1 ms <1 ms pfSense.localnet [10.253.0.1]
    2 4 ms 4 ms 4 ms p3e9bf44a.dip0.t-ipconnect.de [62.155.244.74]
    3 10 ms 11 ms 11 ms f-ed13-i.F.DE.NET. DTAG .DE [217.0.201.102]
    4 11 ms 11 ms 11 ms 80.157.200.214
    5 10 ms 10 ms 10 ms dns9.quad9.net [9.9.9.9]

    Ablaufverfolgung beendet.

    15

    Antwort

    von

    vor 2 Jahren

    Ich habe auf Twitter eine Antwort von @telekomhilft bekommen und bin so frei das mal hier zu zitieren, damit das künftige Leser auch wissen:

     

    „Cloudflare hat leider bekannte Überlast/ Peering Probleme. Daran können wir bedauerlicherweise aktuell nichts ändern. Cloudflare und auch uns sind die Probleme bekannt und es wird an einer Lösung gearbeitet. Mit freundlichem Gruß Marlon K.“

     

    Das reicht mir als Antwort erst mal aus. Zu wissen, dass die Telekom und Cloudflare Bescheid wissen und daran arbeiten klingt doch gut!


    Danke an alle für ihre Antworten und an das Telekom-Team auf Twitter. Schönen Abend!

    Antwort

    von

    vor 2 Jahren

    smart9125

    „Cloudflare hat leider bekannte Überlast/ Peering Probleme. Daran können wir bedauerlicherweise aktuell nichts ändern. Cloudflare und auch uns sind die Probleme bekannt und es wird an einer Lösung gearbeitet. Mit freundlichem Gruß Marlon K.“ Das reicht mir als Antwort erst mal aus. Zu wissen, dass die Telekom und Cloudflare Bescheid wissen und daran arbeiten klingt doch gut!

    „Cloudflare hat leider bekannte Überlast/ Peering Probleme. Daran können wir bedauerlicherweise aktuell nichts ändern. Cloudflare und auch uns sind die Probleme bekannt und es wird an einer Lösung gearbeitet. Mit freundlichem Gruß Marlon K.“

     

    Das reicht mir als Antwort erst mal aus. Zu wissen, dass die Telekom und Cloudflare Bescheid wissen und daran arbeiten klingt doch gut!

    smart9125

    „Cloudflare hat leider bekannte Überlast/ Peering Probleme. Daran können wir bedauerlicherweise aktuell nichts ändern. Cloudflare und auch uns sind die Probleme bekannt und es wird an einer Lösung gearbeitet. Mit freundlichem Gruß Marlon K.“

     

    Das reicht mir als Antwort erst mal aus. Zu wissen, dass die Telekom und Cloudflare Bescheid wissen und daran arbeiten klingt doch gut!


    Nur das diese Aussage schon seit Jahren im Raum steht, aber passiert ist das wohl wenig.... Peering ist eine Open-End-Story

    Antwort

    von

    vor 2 Jahren

    Jetzt warte ich mal ab und glaube dem Team mal, es dürfte ja schon deutlich mehr Kunden als mich betreffen und dadurch eine höhere Priorität bekommen.

     

    Im Moment habe ich jedenfalls eine super Glasfaser-Leitung mit dem  Routing Problem zu Cloudflare am Abend aber Adguard Home, der Parallele Anfragen kann und damit stört es mich nicht mehr so ganz stark. In Zukunft wird das Netz sicher überall weiter ausgebaut, bestimmt gerade an Engpässen zu bekannten Anbietern…

    Uneingeloggter Nutzer

    Antwort

    von

  • vor 2 Jahren

    smart9125

    Ping zu Cloudflare (1.1.1.1) mit ca. 150ms sehr hoch. Der Ping zum Google Public DNS (8.8.8.8)

    Ping zu Cloudflare (1.1.1.1) mit ca. 150ms sehr hoch. Der Ping zum Google Public DNS (8.8.8.8)
    smart9125
    Ping zu Cloudflare (1.1.1.1) mit ca. 150ms sehr hoch. Der Ping zum Google Public DNS (8.8.8.8)

    Bei mir gerade rund 16ms bei Cloudflare und 25ms bei Google.

    Da wird die Telekom nichts machen, ist halt Internet, ohne QoS sprich Best Effort.

    0

  • vor 2 Jahren

    Die Probleme sind dem Telekom Management bereits bekannt und diese "Probleme" sind auch so von diesem gewünscht.
    So kann die DTAG nämlich Anbieter wie Cloudflare dazu erpressen sehr teuren Transit von Ihnen zu kaufen.

     

    Leider lässt sich Cloudflare nicht auf das Spielchen ein Fröhlich

     

    Es gab schon Versuche von tier 1 providern wie cogent gegen die Praktiken der Telekom zu klagen:

    https://www.golem.de/sonstiges/zustimmung/auswahl.html?from=https%3A%2F%2Fwww.golem.de%2Fnews%2Fcogent-telekom-wegen-vertragsbruchs-beim-peering-verklagt-1512-117936.html

     

    Schade dass die Telekom es noch heute schafft nutzloses Internet anzubieten.
    Es bleibt einem nicht anderes über als sich mit VPN Basteleien in Netzwerke zu verbinden welche den teuren DTAG Transit zahlen.

    Oder man kündigt das größte deutsche Intranet einfach auf und geht zu einem Kundenorientierten ISP .

     

    Zumindest hat sich seit dem die Probleme angeblich bekannt sind und in Angriff genommen wurden nichts verändert. (2 Monate)

     

    Würde man nur über einen hohen Ping sprechen wäre das ja noch okay.
    Aber mit der Menge an Paketverlust dauert es gut und gerne mal 35 Sekunden nur um die Hauptseite meines Grafanas zu laden...

    2

    Antwort

    von

    vor 2 Jahren

    Nicolas Janzen

    So kann die DTAG nämlich Anbieter wie Cloudflare dazu erpressen sehr teuren Transit von Ihnen zu kaufen.

    So kann die DTAG nämlich Anbieter wie Cloudflare dazu erpressen sehr teuren Transit von Ihnen zu kaufen.
    Nicolas Janzen
    So kann die DTAG nämlich Anbieter wie Cloudflare dazu erpressen sehr teuren Transit von Ihnen zu kaufen.

    Das ist doch Quatsch.

    Entweder beide Netzwerke bezahlen (für Transit/Upstream) oder peeren miteinander kostenneutral.

    Wenn aber die Peering Bedingungen nicht erfüllt sind, weil es eben keinen ausbalancierten Datenaustausch gibt, muss der bezahlen, der den überproportionalen Datenverkehr verursacht.

    Antwort

    von

    vor 2 Jahren

    Dann soll man das mal zu marktüblichen Preisen anbieten, bei anderen ISPs funktioniert es auch.

    Uneingeloggter Nutzer

    Antwort

    von

  • vor einem Jahr

    MjcoleRoger_0-1698256284392.png

    Speed beim 250er VDSL.

     

    MjcoleRoger_1-1698256392024.png

    Speed mit exakt dem selben Anschluss über NordVPN.

     

    Es kann nicht sein, dass ich einen VPN -Anbieter bezahlen muss, weil mein ISP seinen Job nicht richtig macht und kein geeignetes Routing selbst zu den größten CDNs zu Verfügung stellt.

     

    2

    Antwort

    von

    vor einem Jahr

    Sehe ich genauso! Und es betrifft nicht nur Cloudflare, sondern auch bspw. Contabo und viele andere Dienste. Das ganze ist eine Frechheit.

     

    Getan hat sich seit meinem Post nichts, überhaupt nichts. Das Thema scheint bei der Telekom nur auf Ignoranz zu treffen.

     

    Ich kann Cloudflare schon verstehen, dass sie sich nicht erpressen lassen und keinen teuren Telekom Transit kaufen. Ich kann für die Zukunft nur hoffen, dass die Telekom ihr Netz in dieser Hinsicht ausbaut, damit die ansonst guten und vielseitig ausgebauten Glasfaser Anschlüsse auch einwandfrei nutzbar sind!

    Antwort

    von

    vor einem Jahr

    Erfahrungsgemäß ändert sich das Routing manchmal, wenn man die PPPoE Verbindung kurz neu verbindet. Dies ist jedoch keine Garantie.

     

    Hier die ganze Problematik mal grafisch dargestellt (smokeping).

     

    Wie man Anhang der Grafiken erkennen kann, betrifft das Problem größtenteils die Prime time.

     

    Linuxor_0-1698783001530.png

    Hier innerhalb der letzten 48 Stunden:

     

    Linuxor_1-1698783244902.png

    Uneingeloggter Nutzer

    Antwort

    von

  • vor einem Jahr

    Ich glaube diesen Pinggraph können zur Prime-Time sehr viele Telekom-Nutzer zeichnen. Interessieren tut es bisher aber niemanden.

    0

  • vor einem Jahr

    Hi Zusammen,

     

    wir überlegen gerade auch zur Telekom zu wechseln, da es mittlerweile Glasfaser bei uns gibt. Jedoch machen die Meldungen zu Peering Problemen oft die Runde und wir überlegen, ob es doch nicht sinniger ist, zu 1und1 mit Glasfaser zu gehen, da deren Routing/ Peering ja doch etwas „offener“ ist als das der Telekom.

     

    Oder sind das alles nur Einzel-Wahrnehmungen von Usern und die Probleme gibt es bei 1und1 auch?!

    2

    Antwort

    von

    vor einem Jahr

    corbed

    Hi Zusammen, wir überlegen gerade auch zur Telekom zu wechseln, da es mittlerweile Glasfaser bei uns gibt. Jedoch machen die Meldungen zu Peering Problemen oft die Runde und wir überlegen, ob es doch nicht sinniger ist, zu 1und1 mit Glasfaser zu gehen, da deren Routing/ Peering ja doch etwas „offener“ ist als das der Telekom. Oder sind das alles nur Einzel-Wahrnehmungen von Usern und die Probleme gibt es bei 1und1 auch?!

    Hi Zusammen,

     

    wir überlegen gerade auch zur Telekom zu wechseln, da es mittlerweile Glasfaser bei uns gibt. Jedoch machen die Meldungen zu Peering Problemen oft die Runde und wir überlegen, ob es doch nicht sinniger ist, zu 1und1 mit Glasfaser zu gehen, da deren Routing/ Peering ja doch etwas „offener“ ist als das der Telekom.

     

    Oder sind das alles nur Einzel-Wahrnehmungen von Usern und die Probleme gibt es bei 1und1 auch?!

    corbed

    Hi Zusammen,

     

    wir überlegen gerade auch zur Telekom zu wechseln, da es mittlerweile Glasfaser bei uns gibt. Jedoch machen die Meldungen zu Peering Problemen oft die Runde und wir überlegen, ob es doch nicht sinniger ist, zu 1und1 mit Glasfaser zu gehen, da deren Routing/ Peering ja doch etwas „offener“ ist als das der Telekom.

     

    Oder sind das alles nur Einzel-Wahrnehmungen von Usern und die Probleme gibt es bei 1und1 auch?!


    Ich kann dir nur unbedingt empfehlen, niemals zur Telekom zu gehen, wenn du Alternativen hast. Dieses Peering -Problem existiert in diesem Ausmaß tatsächlich nur im Telekom-Netz. Daher geh lieber zu 1und1 oder irgendeinem anderen Anbieter.Ich war früher zu DSL-Zeiten auch bei 1und1 und hatte Null Probleme. Seit Wechsel auf Telekom-Glasfaser habe ich nur Stress mit kaputten Peerings.

     

    Das einzige Problem könnte sein, dass Glasfaser-Anschlüsse in einigen Regionen trotzdem über die Telekom laufen, obwohl du einen anderen ISP wählst. Ist hier bei mir zum Beispiel so. Dann hast du leider verloren. Ich würde aber selbst in diesem Fall zur Konkurrenz gehen.

    Antwort

    von

    vor einem Jahr

    o2 Glasfaser sollte immer über den L3-Bitstream (L3- BSA ) laufen und daher das Telefonica Backbone nutzen.

     

    Aus welchen Gründen auch immer ist bei mir o2 Glasfaser trotz bestehenden Telekom Glasfaseranschluss nicht verfügbar. Ich hatte mehrmals dort nachgehakt, jedoch nie eine Antwort erhalten. Die Verfügbarkeit scheint denen nicht so wichtig zu sein.

     

    Die Deutsche Telekom dagegen stellt bei mir seit rund 3 Monaten von FTTH 1.7 auf FTTH 2.0 um, daher kann ich bisher keinen Anbieter / Tarif wechseln.

     

     

    Uneingeloggter Nutzer

    Antwort

    von

  • vor einem Jahr

    Linuxor_0-1699304847833.png

    Seit ein paar Tagen ist es bei mir jetzt ruhiger.

     

    @corbedLeider gibt es keine Garantie, dass man mit einem 1&1 Anschluss auch wirklich das 1&1 Backbone nutzen wird. Teilweise wird neben dem L2-Bitstream nämlich auch reines DTAG Reselling betrieben, je nachdem was in deine Region verfügbar ist.

    Über diese Karte https://n-thumann.github.io/easybell-carrier-map/ lässt sich einigermaßen einkreisen, was verfügbar sein sollte. Wenn in deiner Gegend 1&1 angezeigt wird, dann sollte der L2-Bitstream aka 1&1 Backbone auch zur Verfügung stehen.

     

    Mit der Peering policy ist es leider mit der Telekom ein hin und her. Teilweise werden "Verstopfungen" mehrere Jahre lang nicht behoben (siehe Apex Legends). Die hohne Preise fürs Peering sind für viele andere "Backbone-Provider" nicht sehr einladend.

     

    Da wo die Telekom ein direktes Peering mit dem Provider/Datencenter betreibt funktioniert dieses in der Regel problemlos, außer jenes ist zu klein kalkuliert, weil die Preise eben zu hoch sind.

     

    Alle anderen Peering -Kandidaten, die die Telekom meiden, werden oft über überlastete Umwege ins Telekom Netz geleitet.

     

    Beim offenen Peering dagegen wird der Datenverkehr kostenlos ausgetauscht. Echtes offenes Peering bietet nur o2 an. Bei 1und1 dagegen ist der Status: selektiv, was aber immer noch besser als die DTAG (Restrictive) ist.

     

    Zudem ist die DTAG theoretisch am DE-CIX vertreten, ich habe jedoch noch keinen Traffic darüber laufen sehen. Bei allen anderen Providern (1&1, Vodafone, o2) wird der DE-CIX sehr häufig genutzt.


    Siehe auch von 2015: https://www.golem.de/news/cogent-telekom-wegen-vertragsbruchs-beim-peering-verklagt-1512-117936.html

     

    Hier noch ein paar schöne Informationen zum Peering der größten deutschen Provider:

     

    Deutsche Telekom:

     

    https://www.peeringdb.com/net/196

     

    1&1:

     

    https://www.peeringdb.com/net/684

     

    o2:

     

    https://www.peeringdb.com/net/115

     

    Vodafone:

     

    https://www.peeringdb.com/net/319

     

    0

  • vor einem Jahr

    Schade das der Post so lange hier im Forum aktiv ist, sich viele Kunden über Probleme beklagen und die Telekom es ignoriert..
    Aktuell wird es Abends auch wieder schlimmer mit der Verbindung zu Cloudflare.. Da steigt die Überlegung nach Jahren zu einem anderen ISP zu wechseln...

    0

  • vor einem Jahr

    Ich habe mittlerweile eine Antwort des Contabo-Supports zu der Problematik der hohen Ping-Zeiten in das Telekom-Netz am Abend erhalten.

     

    Originaler Wortlaut: 

    "Wir peeren nicht direkt mit der Telekom und haben das auch nicht vor. Leider ist es so, dass die Peerings unserer Transit-Provider mit der Telekom teilweise überlaufen sind. Das Problem besteht seit Jahren und ist mal mehr, mal weniger schlimm. Laut Auskunft unserer Provider weigert sich die Telekom die Peerings in angemessener Geschwindigkeit und Höhe auszubauen. Wir senden den Traffic zur Telekom bereits ausschließlich über Telia/Arelion, da die Situation bei den anderen Providern noch schlechter ist."

     

    Ein Screenshot der Mail befindet sich im Anhang.

     

    Hier wird das Problem vom technischen Kundendienst von Contabo nochmal bestätigt und auch direkt die Telekom als Verantwortlicher adressiert. Ich vermute auch, dass das Problem mit Cloudflare genau das gleiche ist.

     

    Äußern wird sich hierzu von der Telekom wahrscheinlich sowieso niemand, oder? @telekomhilft 

    contabo-support.png

    1

    Antwort

    von

    vor einem Jahr

    Es scheint, dass die Wurzel des Problems in der Peering Politik und den Preisstrukturen der DTAG liegt. Die höheren Peering Kosten der DTAG werden für andere Provider, wie Telia/Arelion, abschreckend wirken, wenn es darum geht, zusätzliche Kapazitäten zu erwerben. Dies führt zu einer Überlastung der bestehenden Peering -Verbindungen, insbesondere während der Spitzenzeiten am Abend, was die u. a. von dir beobachteten hohen Latenzzeiten erklärt.

    Es ist bedauerlich, dass diese Situation bereits seit einiger Zeit besteht und es bisher keine Anzeichen einer Verbesserung gibt. Die Telekom scheint der Schlüsselakteur zu sein, der in der Lage ist, diese Herausforderungen zu bewältigen, indem sie ihre Peering -Strategie und Preispolitik überdenkt. Es ist klar, dass eine Änderung in dieser Hinsicht nicht nur für einzelne Kunden wie dich, sondern auch für das Gesamtnetz und alle beteiligten Dienste vorteilhaft wäre.

    Die Tatsache, dass dieses Problem sowohl Cloudflare als auch andere Dienste wie Contabo betrifft, zeigt, wie weitreichend die Auswirkungen sind. Eine proaktive Herangehensweise der Telekom könnte zu einer deutlichen Verbesserung der Netzwerkqualität und Kundenzufriedenheit führen.

    Uneingeloggter Nutzer

    Antwort

    von

  • vor einem Jahr

    Die Telekom ist ein Tier-1 Provider und kann sich daher aussuchen,  mit wem oder zu welchem Preis man peert.

    1

    Antwort

    von

    vor einem Jahr

    Das sollte uns allen wusst sein..  Zum Vergleich andere Tier-1-Provider wie AT&T, NTT oder Level 3 . Diese Unternehmen haben oft eine offenere Peering -Politik und arbeiten aktiv daran, ihre Netzwerke zugänglicher und leistungsfähiger für verschiedene Dienste und deren Nutzer zu machen. Die Praxis der Deutschen Telekom, hohe Peering -Gebühren zu verlangen und keine Bereitschaft zu zeigen, diese Politik zu ändern, steht im Gegensatz zu den Ansätzen dieser anderen großen Anbieter. Eine Angleichung an die Praktiken dieser Tier-1-Provider könnte die von uns erlebten Probleme erheblich mildern. Es geht dabei nicht nur um die Möglichkeit des Peerings an sich, sondern auch um die Bereitschaft, das Netzwerk im Sinne der Endnutzer und des globalen Netzwerkes zu optimieren.

    Eine solche Veränderung in der Peering -Politik würde nicht nur die Netzwerkleistung für die Endverbraucher verbessern, sondern könnte auch die Beziehungen zu anderen Providern stärken und letztlich der Telekom selbst einen Vorteil bringen. Aber das ist nur meine Meinung..

    Uneingeloggter Nutzer

    Antwort

    von

Uneingeloggter Nutzer

Frage

von