AW: Telekom Peering mit Apple iTunes gestört?

[#1]

Hallo zusammen,

mir ist in den letzten Tagen aufgefallen, dass ich zu bestimmten Tageszeiten (vornehmlich abends) sehr schlechten Datendurchsatz von generellem Apple Content habe. Seien es Downloads aus dem App Store bishin zum Streaming von Filmen aus iTunes kommt es mittlerweile täglich zu Problemen. Gerade weil ich dort viele 4K HDR Filme streame, die ja einen Peak von ca. 35Mbit/s haben können, stört es doch sehr, dass ich aktuell nur auf einen Durchsatz von 2-6Mbit/s komme. Selbst Full HD Filme buffern beim Starten bis zu einer halben Minute und kommen dann nicht auf ihre entsprechende Auflösung, sondern pendeln zwischen 480-720p. Auch aus dem Mobilnetz der Telekom, zur selben Zeit, habe ich genau die selben Einschränkungen. Ich habe kürzlich einen Freund gebeten einmal Zeitgleich zu prüfen, wie es bei seiner Vodafone-Leitung ausschaut und siehe da - keine Probleme, schnelle Downloads, kein abnormales Buffering, volle Auflösungen. Ich gehe daher stark davon aus, dass es mit dem Peering der Telekom zu entsprechenden Netzwerken zu tun haben könnte. Jedenfalls gabs ähnliche Probleme ja schonmal mit Twitch, daher sicherlich nicht realitätsfern. 

Zu meinen Betriebsbedingungen: Ich habe einen VDSL 100Mbit/s Anschluss, betrieben an einer Fritzbox 7530, alle relvanten Geräte sind per Gigabit-Ethernet angebunden und kommen bei diversen Speedtests auf unterschiedlichen Servern zu jeder erdenklichen Zeit auf die volle Geschwindgkeit. Latenzen liegen auch stabil zwischen 10-15ms, je nach Server. Kein Packetloss. alles perfekt, auch bei anderen Streaming-Portalen wie YouTube, Amazon, Sky, etc. - Nur iTunes bzw. der App-Store sind nahezu unbenutzbar. Auch als ich aus dem Mobilfunknetz getestet habe, habe ich aus Speedtests gute Durchsätze um die 50Mbit/s erhalten. Alle Geräte wurden mehrfach neugestartet, auf aktuelle Firmware geprüft, etc. 

Habe eben mal einen Beispielserver der Apple Content liefert aus den Logs gezogen: defra1-vip-ve-001.aaplimg.com - beim Anpingen komme ich auf gute Latenzen um die 11ms. Trotzdem die niedrigen Durchsatzraten.

Hat sonst noch jemand ähnliche Erfahrungen sammeln können? Gerne kann Kollege der Telekom einmal prüfen, ob da etwas telekomseitig im Argen ist. Vielen Dank im Voraus.

Beste Grüße

[#2 · Accepted solution]

Hallo in die Runde.

Gemeinsam mit Apple haben wir konfigurative Maßnahmen getroffen und weitere Kapazitäten in Betrieb genommen. Damit ist die Nutzung wieder in gewohnt guter Qualität möglich. Bitte entschuldigt die aufgetretenen Unannehmlichkeiten.

Und wenn ich mir das bisherige Feedback so anschaue, könnt ihr das auch bestätigen.

Viele Grüße
Michael

[#3]

Ja, hier in Dresden auch.
Hab gerade im heimischen WLAN über den iOS-AppStore neun Apps aktualisieren lassen - es hat wieder eine Ewigkeit gedauert. Das Problem ist also nach wie vor vorhanden.

[#4]

Lade gerade die neuen Systemupdates von Apple. 1x MacBook, 2x Apple TV parallel. Hier einmal ein Screenshot des Traffic Monitors der Fritzbox:

 

Gestartet bin ich vor einer Stunde übrigens bei ca. 20 Mbit/s auf der Skala. Sank aber innerhalb von ein paar Minuten auf den hier zu sehenden Wert.

[#5]

Dies sollte aber tatsächlich an Apple liegen. 

Immer direkt nach einem großen Update gehen die Server von Apple in die Knie. 

[#6]

---

@Doug1980  schrieb:

Dies sollte aber tatsächlich an Apple liegen. 

Immer direkt nach einem großen Update gehen die Server von Apple in die Knie. 

---

Das muss ich leider verneinen. Habe gerade mal wieder meinen VPN Service (Windscribe, deutscher Server) aktiviert und siehe da, statt "ca. 4 Stunden" heißt es auf dem MacBook "(ca. 3 Minuten)". Nachdem ich ihn deaktiviert habe wieder 4 Std. 😑

Meine Freundin, die ebenfalls gerade ihr MacBook bei sich zuhause (Vodafone) updated, hat es innerhalb von 2 Minuten geladen.

PS: Das selbe mit dem Update meines iPhones. Über LTE wenige Minuten, über Festnetz Stunden.

PPS: Ans Telekom-Team: Bin mir bewusst, dass nach der Ursache noch geforscht wird, möchte hier aber gerne dokumentieren.

[#7]

Ok, das spricht natürlich gegen meine Aussage. 

Merkwürdigerweise habe ich aber gerade mit gewohnter Geschwindigkeit Updates aus dem AppStore geladen, während meine Frau neben mir im gleichen WLAN auch Ewigkeiten für das 12.1 System-Update benötigt. 

Daher meine Annahme, dass es am großen Andrang für das Update liegt. 

[#8]

---

@Doug1980  schrieb:

Ok, das spricht natürlich gegen meine Aussage. 

Merkwürdigerweise habe ich aber gerade mit gewohnter Geschwindigkeit Updates aus dem AppStore geladen, während meine Frau neben mir im gleichen WLAN auch Ewigkeiten für das 12.1 System-Update benötigt. 

Daher meine Annahme, dass es am großen Andrang für das Update liegt. 

---

Es macht auch durchaus Sinn in so einer Situation an überlastete Server zu denken, ich vermute aber, dass die Infrastruktur was deren Server angeht schon recht stabil ist. Vor dieser Problematik (sprich zwischen September letzten und diesen Jahres) konnte ich jedes Update (immer am Tag der Veröffentlichung) mit voller Geschwindigkeit laden. Erst ein paar Wochen vor Erscheinen von iOS 12 fing es bei mir an mit diesen enormen Problemen.

[#9]

Hallo ihr lieben,

leider liegt mir noch keine aussagekräftige Antwort vor. Wir sind aber weiterhin am Ball.

Beste Grüße
Julia U.

[#10]

Ich lade derzeit am MacBook das Update macOS 10.14.1, die ersten 30 Sekunden wurde das Update mit ca. 50Mbit/s geladen, dann ging es runter auf 2 Mbit/s und nun nach 5 Minuten Download auf 1,6Mbit/s - noch 4 Stunden für 3,33GB.

[#11]

Ich habe heute das Update auf iOS 12.1 vor ca. 30 Minuten, sowohl auf meinem iPhone als auch auf meinem iPad angestossen, restzeit auf iPhone ca 4 Std, auf iPad ca. 2 Stunden.

Ich kann auch bestätigen das wenn ich neue Apps herunterlade, als auch Update dies immer sehr lange dauert, beim App Update über LTE habe ich die Probleme nicht.

Nachtrag: Jetzt kommt der spannende Teil, nachdem ich kurz die WLAN Verbindung untebrochen hatte, wurde das Update mit voller Geschwindigkeit fortgeführt und war nach wenigen Sekunden komplett.

Nachtrag2: Nun habe ich noch die App Updates auf dem Tablet angestossen, wobei die ersten 3 Apps sehr schnell gingen, für die weiteren läuft jetzt wieder alles sehr langsam.

[#12]

Erwartungsgemäß ist heute wegen des Feiertags auch schon seit dem frühen Mittag nichts mehr möglich, während es letzte Woche, als ich Urlaub hatte, jeden Tag Mittags gar keine Probleme gab. Gestern Abend hatte ich übrigens den Tiefststand mit 0,5Mbit/s auf meinem Apple TV und eine Auflösung von 240p. Gibt ein Entwickler Overlay, den man sich während des Abspielen von Videos anzeigen lassen kann, sind also keine geschätzten Werte. 

Dass ganz selten einmal während den Stoßzeiten eine App mit hoher Geschwindigkeit lädt ist mir auch schon aufgefallen. Scheinbar werden da in seltenen Fällen nicht überlastete Routen genommen.

An den Apple-Servern kann es aber nach wie vor nicht liegen. Wenn ich via VPN die selben Apple-Server zugewiesen bekomme, die ohne VPN zuvor langsam waren, ist die Geschwindigkeit jedes Mal auf Maximum. 

[#13]

Ja iTunes war gestern Abend wirklich unbrauchbar.

[#14]

---

@clakus  schrieb:

Ja iTunes war gestern Abend wirklich unbrauchbar.

---

Ist es leider heute auch wieder.

[#15]

---

@le_dilla  schrieb:

Erwartungsgemäß ist heute wegen des Feiertags auch schon seit dem frühen Mittag nichts mehr möglich, während es letzte Woche, als ich Urlaub hatte, jeden Tag Mittags gar keine Probleme gab. Gestern Abend hatte ich übrigens den Tiefststand mit 0,5Mbit/s auf meinem Apple TV und eine Auflösung von 240p. Gibt ein Entwickler Overlay, den man sich während des Abspielen von Videos anzeigen lassen kann, sind also keine geschätzten Werte. 

---

Wie kann man sich auf dem AppleTV die Bandbreite und die Auflösung anzeigen lassen? 

Ich schau gerade einen Film über AppleTV, die Bildqualität ist einfach grottenschlecht, laut FritzBox schwankt die Bandbreite beim Streamen über AppleTV zwischen 0,6Mit/s und 1,1Mbit/s. 

Da ich einen Hybrid-Anschluss habe, hab ich den DSL-Stecker vom Speedport entfernt, nach ca. 3-4 Minuten Wartezeit normalisiert sich die Bandbreite auf ca. 20Mbit/s beim Streamen. D.h. der gesamte Internetverkehr geht jetzt über das LTE-Netz und siehe da, keine Geschwindkeitseinschränkungen. Schliesse ich den DSL-Stecker wieder an den Speedport Hybrid an, sinkt nach kurzer Zeit die Bandbreite. Also eindeutig ein Routing- bzw. Loadbalancing-Problem seitens Telekom, wofür der Kunde eindeutig nichts kann.

[#16]

Ich bin gerade sehr froh, dass ich nicht der Einzige mit dem Problem bin…

@Julia U.

Gleiches Problem hier. Vllt. noch einen schönen Gruß in Richtung Technik, was ich alles ohne Erfolg versucht habe (hilft vllt. beim debuggen; die Probleme treten übrigens seit über einer Woche auf):

* Zwei verschiedene Router ausprobiert - Kein Erfolg

* Router Firmware Upgrade und Downgrade - Kein Erfolg

* Verwendung verschiedener DNS Server (u.a. Telekom DNS, Google Public DNS,Cloudflare DNS etc.) - Kein Erfolg

* Probleme treten reproduzierbar an 2 Rechnern, 2 Tablets, 3 Smartphones sowie einem Apple TV auf

* Verwendung der tragbaren Geräte in externen WLAN Netzen (anderer Provider): Probleme treten NICHT auf

* Streaming/Download der "problematischen Inhalte" im LTE Netz: Keine Probleme

Es nervt sehr - ich würde mich über eine SCHNELLE Behebung freuen - die anderen aber sich auch

[#17]

Ich halte es auf jeden Fall für sinnvoll neben dem Telekom Kundendienst auch den Appel Service zu kontaktieren. Bei mir sind entsprechende Anfragen zwar bisher alle im Sand verlaufen aber irgendwie muss es ja möglich sein den Firmen begreiflich zu machen, dass es sich hier nicht um ein individuelles Problem handelt.

[#18]

Ich habe gerade mal ein wenig mit "traceroute" rumgespielt und bin etwas über das Ergebnis verwundert. Mir ist aufgefallen, dass wenn ich einen Film bei iTunes streame dieser nicht in HD wiedergegeben wird bzw. extrem lange lädt (Datenauslastung nur mit wenigen MBit wie auch oft hier im Forum beschrieben). Wenn ich den selben Film allerdings Downloade, wird die volle Bandbreite  der Leitung ausgeschöpft. 

Ich habe dann mal geschaut welche Server von iTunes angefragt werden und ein Traceroute zu jenen durchgeführt. Frage mich jetzt gerade wie ich das Ergebnis interpretieren soll: Beim Download läuft das tracen bis zu einem Akamai Server durch, beim Streamen nicht (letzter Server ist hier ein Server der Telekom). 

[#19]

Ich habe diesbezüglich am 26.10.2018 eine Störungsmeldung bei der Telekom aufgegeben, diese wurde am 30.10.2018 wieder geschlossen - Status Ihrer Störungsmeldung ist: Behoben. Das ist aber definitiv nicht so. 

Warum geht man dem Problem nicht nach und schliesst lieber das Störungsticket? Es ist ein Kampf gegen Windmühlen.

[#20]

---

@aktendulli  schrieb:

---

@le_dilla  schrieb:

Erwartungsgemäß ist heute wegen des Feiertags auch schon seit dem frühen Mittag nichts mehr möglich, während es letzte Woche, als ich Urlaub hatte, jeden Tag Mittags gar keine Probleme gab. Gestern Abend hatte ich übrigens den Tiefststand mit 0,5Mbit/s auf meinem Apple TV und eine Auflösung von 240p. Gibt ein Entwickler Overlay, den man sich während des Abspielen von Videos anzeigen lassen kann, sind also keine geschätzten Werte. 

---

Wie kann man sich auf dem AppleTV die Bandbreite und die Auflösung anzeigen lassen? 

---

Dafür brauchst du zwingend einen Mac. Falls du den hast, musst du Xcode installieren und dann den Apple TV mit dem Mac koppeln. Danach taucht in den Settings ein Developer Menü auf, indem man auch diesen Overlay aktivieren kann. 

@clakus Macht auf jeden Fall Sinn auch bei Apple ein Ticket zu eröffnen. Habe ich auch. Allerdings laufen die besagten Server (sogar selbe IP) ja immer sehr performant, wenn ich über VPN reingehe. Daher bezweifle ich sehr, dass das Problem bei Apple liegt. Aber selbst wenn: Da das Problem so offenbar nur bei der Telekom und auch nur im Festnetz auftritt, sehe ich die Telekom hier in der Pflicht sich mit der Entsprechenden Abteilung bei Apple in Verbindung zu setzen, um das Problem zu beseitigen. Ist ja letztlich in Interesse aller beteiligten, dass es alsbald behoben wird. Mittlerweile sollte ja klar sein, dass es hier eindeutig ein Bandbreitenproblem beim Peering Telekom <-> Apple handelt. (T-Mobile nutzt ja offenbar eine andere Route (nach Amsterdam statt FFM)).

@MehrGlasfaser Ist mir auch aufgefallen, dass beim Download andere Hoster verwendet werden, die nicht von diesem Engpass betroffen sind. Die relevante Domain ist hier immer aaplimg.com

---

@aktendulli  schrieb:

Ich habe diesbezüglich am 26.10.2018 eine Störungsmeldung bei der Telekom aufgegeben, diese wurde am 30.10.2018 wieder geschlossen - Status Ihrer Störungsmeldung ist: Behoben. Das ist aber definitiv nicht so. 

Warum geht man dem Problem nicht nach und schliesst lieber das Störungsticket? Es ist ein Kampf gegen Windmühlen.

---

 Meins wurde noch nicht geschlossen, allerdings gabs zwischenzeitlich noch keine Rückmeldung. Die Sammelmeldung ist aber auch noch offen. Bleibt abzuwarten, was da raus kommt. Schätze mal dein Ticket ist einfach nur im 1st Level gelandet.

[#21]

Ich habe leider den Eindruck, dass der Telekom das Problem nicht bewusst ist und demzufolge auch nicht an einer Lösung gearbeitet wird. Schließlich geht das jetzt schon über einen Monat so und bisher wurde noch nicht einmal bestätigt, dass das Problem überhaupt existiert. Dies ist schon etwas frustrierend. Wenn ich wüsste, dass an einer Lösung gearbeitet wird wäre ich deutlich geduldiger. Ist ja möglich, dass das Problem nicht so leicht zu beheben ist. Mich würde aber schon interessieren, ob die Aussicht besteht, dass es irgendwann mal wieder besser wird.

[#22]

Ich hatte ebenfalls eine Störungsmeldung aufgemacht.

Am Dienstag bekam ich dann einen Anruf von einer freundlichen Mitarbeiterin, welche mir mitteilte, dass an meinem Anschluss alles in Ordnung ist und sie deshalb nichts machen könne.

Ich solle doch mein Problem an postmaster@t-online.de adressieren.

[#23]

@Julia U.

Noch ein paar Anmerkungen, welche ebenfalls der Technik helfen könnten:

Die Probleme treten bei mir lediglich um Zusammenhang mit Downloads aus dem iOS und Mac App Store sowie Streamen von Filmen und Serien auf. Musik oder Filme Downloads von Apple Serven stellen kein Problem dar. Auch andere Streaming Dienste wie Netflix und Amazon Video bereiten keine Probleme. Downloads von größeren Spieleplattformen wie Steam, Origin etc. laufen ebenfalls mit voller Bandbreite durch. Es scheint also ausschließlich Probleme mit dem Peering mit einigen Servern (Akamai) zu geben. Interessanterweise laufen die Downloads der Filme im Zusammenspiel mit dem gleichen CDN ohne Probleme bzw. voller Bandbreite durch.

Interessanterweise konnte ich beobachten, dass ein Ändern der DNS Server auf den von mir genutzten iOS-Devices kurzzeitige Besserung brachte (max. im unteren einstelligen Minutenbereich). Mangels traceroute unter iOS konnte ich aber nicht nachvollziehen, ob sich da etwas geändert hat (siehe oberer Post).

@le_dilla

Das ist auch noch ein interessanter Aspekt. aaplimg.com ist ja eig. direktes Apple Netzwerk, oder?. Die Server in meinem Fall gehören ja alle zu Akamai. Wie auch immer: Ich gebe dir Recht, dass hier der ISP gefragt ist. Auch wenn der Fehler ggf. "wo anders" oder irgendwie in der Mitte liegt, ist ja der ISP der einzige, der die Möglichkeit hat den Fehler nachzuvollziehen, da nur er die volle Route zum Kunden nachvollziehen kann //cc @Julia U. @Telekom hilft1

@clakus

Auch wenn es nicht gerade tröstet, aber immerhin hat hier kein Einzelner zu kämpfen. Ich würde aber zumindest noch die Sammelmeldung abwarten und der Technik die Chance geben das Problem genauer zu betrachten. Trotzdem sehr schade zu sehen, dass hier offenbar einige schnell mit "Einzelfall" a.k.a. "Pech gehabt" abgespeist werden.

[#24]

Akamai kommt bei mir nur zum Einsatz, wenn ich Content herunterlade (und dann auch immer performant). Bei Streaming, egal ob Musik, Filme oder Downloads von Apps oder Updates ist es immer ein Server mit der Domain aaplimg.com (mit entsprechenden Problemen). Ich prüfe das auf meinem Windows PC und dem Ressourcenmonitor nach. Da kann man ja Verbindungen nach Prozess isolieren. Dort kann ich auch feststellen, dass eine selbe IP über VPN plötzlich full speed liefert, wo es zuvor nur ca. 1Mbit/s waren. Auch ist mir über diese Methode aufgefallen, dass LTE Verbindungen automatisch nach Amsterdam gehen (wo Telia hostet) und es dementsprechend auch keine Probleme gibt.

Kürzlich hatte ich den Google DNS einmal in meinem Windows PC eingetragen und es wurden daraufhin kurzzeitig aaplimg Server in den USA abgefragt (ebenfalls performant). Lag wohl an fehlerhafter geolocation. Aber daran sieht man ja, dass selbst das Umrouten des Traffics schon ausreichen würde, um das Problem zumindest zeitweilig zu lösen. Vorausgesetzt das Peering auf dieser Route ist nach der Maßnahme nicht auch überlastet. 😄

[#25]

Habt ihr zufällig bei YouTube Streaming über Apple Geräte und Telekom Festnetz ein ähnliches Problem?

Da geht es bei mir zusätzlich seit einigen Tagen abwärts. Lange Ladezeiten und schlechte Qualität... 

[#26]

Ja, kann ich bestätigen. Seit ein paar Tagen immer wieder mal massive Probleme mit YouTube. Ich weiß jetzt allerdings nicht ob sich dies auf Apple Geräte beschränkt. 

[#27]

Kann mich nicht daran erinnern wann ich das letzte Mal Probleme mit YouTube hatte. Läuft immer super. Aber ich glaube dafür müsste man eh einen neuen Thread eröffnen. Betrifft ja ein anderes Netz.