Solved
Dateiupload per DAV unter Linux extrem langsam und bricht ab
3 years ago
Hallo zusammen,
Ich habe unter Ubuntu die MagentaCloud als DAV-Filesystem eingerichtet und wollte einmal testweise eine automatische Sicherung per crontab einrichten. Ich habe dort derzeit 25 GB Speicher und eine 50/10 Internetverbindung der Telekom.
Dabei ist mir aufgefallen, dass der Upload selbst bei einer Datei wie 5 GB extrem langsam ist und entweder abbricht oder niemals fertig wird. Meine Fritzbox 7590 hat selbst über Nacht immer noch angezeigt, dass die vollen 10 MBit Bandbreite für den Upload blockiert sind. Hier werden offenbar extreme Datenmengen übertragen, die überhaupt nicht nachvollziehbar sind bei einer 5 GB Datei. Ich habe das dann zwangsweise abgebrochen und die Internetverbindung getrennt. Rein rechnerisch dürfte der Upload von 5 GB selbst mit Verlusten nicht länger als zwei Stunden dauern.
Hat jemand Erfahrungen damit? Mein Plan war einfach nur, bestimmte wichtige Dateien zu packen, selbst zu verschlüsseln (aes) und dann automatisiert per crontab in der Cloud abzulegen. Das funktioniert aber überhaupt nicht. Und wenn schon 5 GB unmöglich sind, brauche ich über größere Dateien gar nicht erst nachzudenken.
Bitte keine Grundsatzdebatten, warum Linux, warum Cloud, warum Telekom etc. - mir geht's nur um das Thema WebDAV und MagentaCloud unter Ubuntu!
477
11
This could help you too
316
0
11
8 months ago
412
0
6
9 months ago
in
147
0
5
6 years ago
in
225
0
2
3 years ago
@Gelöschter Nutzer
WebDAV wird über http (https) realisiert und war noch nie ein "schnelles" Übertragungsformat, besonders nicht für große Dateien oder Ordner. Der eigentliche Vorteil ist der Weg über nur einen Port 80 (oder 443). SFTP oder SCP sind im Normalfall da deutlich schneller.
5
Answer
from
3 years ago
Nun ja, das Problem hat doch schließlich jeder Kunde. Wie soll Otto Normalverbraucher denn 100 GB oder gar 1 TB nutzen? Ob ich die Dateien über WebDAV im Browser hochlade oder per Linux von der Kommandozeile, macht technisch jetzt auch keinen Unterschied. Und die 25 GB in der MagentaCloud habe ich halt zur Verfügung, also warum soll ich diese nicht nutzen? Dass das über http nicht schnell geht, ist mir schon klar, wäre aber wie gesagt auch nicht das Problem. Aber irgendwann über Nacht muss eine 5 GB Datei halt auch mal übertragen sein...
Answer
from
3 years ago
Muss dir leider sagen, dass der Fehler irgendwo bei dir liegt.
Hab an der WebDAV keine Probleme, weder bei der Geschwindigkeit noch bei den Dateigrößen.
Ob ich die Dateien über WebDAV im Browser hochlade oder per Linux von der Kommandozeile, macht technisch jetzt auch keinen Unterschied.
Ist halt schon einfach falsch.....
Answer
from
3 years ago
Typische Antwort in einem Internet-Forum, bei mir geht's, also bist du zu doof, es einzurichten - kennt man
Jetzt fehlt nur noch die Frage, warum brauchst du eigentlich Linux, Windows geht ja auch...ich weiß schon, warum ich eine Abneigung gegen diese Foren habe.
Genau deshalb fragte ich ja, ob jemand mit der MagentaCloud unter Ubuntu Erfahrung hat. Die Einrichtung von WebDAV unter Ubuntu und Einhängen des Mountpoints ist im Internet dokumentiert und da kann man grundsätzlich erstmal nichts falsch machen. Da es mit kleinen Dateien funktioniert, liegt es offensichtlich an Einstellungen bezüglich Limits, Cache etc. - wenn du dich damit nicht auskennst, ok, aber deine Kommentare helfen hier nicht wirklich weiter.
Unlogged in user
Answer
from
3 years ago
. . . . .. . Mein Plan war einfach nur, bestimmte wichtige Dateien zu packen, selbst zu verschlüsseln (aes) und dann automatisiert per crontab in der Cloud abzulegen.
. . . . .. .
Mein Plan war einfach nur, bestimmte wichtige Dateien zu packen, selbst zu verschlüsseln (aes) und dann automatisiert per crontab in der Cloud abzulegen.
Ich glaube kaum, dass die MAGENTA Cloud der richtige Ort ist, um wichtige Daten zu sicher.
1
Answer
from
3 years ago
Ich sagte erstens, dass ich diese selbst verschlüssele (also für niemanden sonst zu öffnen) und zweitens ist das eine ZUSÄTZLICHE Sicherung als Testlauf...bitte nicht noch weitere off-topic Debatten, die nichts mit der Technik zu tun haben.
Unlogged in user
Answer
from
Accepted Solution
accepted by
3 years ago
Und wenn schon 5 GB unmöglich sind, brauche ich über größere Dateien gar nicht erst nachzudenken.
Der Fehler ist seit der Umstellung auf NextCloud bekannt und meines Wissens noch immer nicht behoben. Hier der angepinnte Thread dazu > Gelöst: AW: Sammelthread: Magenta Cloud 1GB Up-/Download P... | Telekom hilft Community
Viele Grüße
Thomas
1
Answer
from
3 years ago
Vielen Dank, endlich mal eine konstruktive Antwort. Ich hatte das nebenbei gesehen, aber gedacht, das Problem wäre mittlerweile behoben. Eventuell könnte man sich mit einem Split der Datei behelfen und z.B. in 900 MB-Teile aufsplitten und die dann wieder joinen, ist per Script ja kein Problem.
Unlogged in user
Answer
from
Accepted Solution
accepted by
3 years ago
Um das Thema nochmal abzuschließen:
Nein, das Problem hat nichts mit meiner Konfiguration zu tun, mit meinem Wissen über Linux oder dass ich "unfähig" wäre, sondern es ist die bekannte 1 GB Einschränkung der Telekom beim Upload, von der ich nichts wissen konnte und die ohne einen Hinweis aus diesem Forum auch nicht zu ermitteln gewesen wäre. Ich habe meine Scripts jetzt so angepasst, dass per split alles in 900 MB Pakete aufgeteilt wird und bei Bedarf mit join wieder zusammengefügt wird. Funktioniert also nun genau so, wie ich es mir vorgestellt hatte (eigene aes Verschlüsselung des gepackten .tgz Archives auf meinem Server und dann Upload in die Cloud). Das läuft jetzt vollautomatisch jeden Tag, sodass ich den aktuellen Stand bestimmter Daten immer aktuell in der Cloud habe und niemand der Telekom mit den Daten etwas anfangen kann. Das natürlich als zusätzliche Sicherung zu den bereits bestehenden.
0
Unlogged in user
Ask
from