Speziell Zugriffe, die von einem Webhoster ausgehen, kann man eigentlich fast immer blockieren. So gut wie kein legitimer Besucher einer Seite ruft die Seite über einen Server bei einem Webhoster ab, solche Zugriffe erfolgen in aller Regel über reguläre Internetzugänge. Eine Ausnahme bilden Suchmaschinen-Bots wie z. B. Google, Bing u. a. Diese Bots laufen üblicherweise auf Webservern, aber man sollte sie trotzdem nicht blockieren, sonst verschlechtert man das Suchmaschinen-Ranking seiner Seite. Ob ein Zugriff von einem Suchmaschinen-Bot kam, erfährt man aus den "User Agent"-Einträgen in den Server-Logs.

Um zu entscheiden, wie mit unerwünschten Zugriffen zu verfahren ist, werfe ich die IP zunächst bei Ripe (https://stat.ripe.net/) ein. Dort erfahre ich, wem die IP gehört und zu welchem IP-Range sie gehört. Beispiel 54.36.148.14: https://stat.ripe.net/54.36.148.14#tabId=at-a-glance sagt mir, dass die IP zu OVH gehört. Das ist ein französischer Webhoster, wobei die IP offenbar zu einem dedicated server gehört (siehe "netname"-Eintrag). Das lässt auf einen Zugriff schließen, der nicht von einem regulären Besucher der Seite kam. Weiterhin erfahre ich aus dem Reverse DNS-Eintrag, dass über diese IP der Ahrefs-Bot auf die eigene Seite zugreift (wie oben geschrieben kann man das auch am User Agent-Eintrag in den Server-Logs erkennen). Der Ahrefs-Bot ist kein Suchmaschinen-Bot und hat in der Regel auch sonst keinen Nutzen, also kann er geblockt werden. Sinnvollerweise blockiert man den kompletten IP-Range, zu dem die fragliche IP gehört. Auch diesen erfährt man auf der RIPE-Seite, es ist 54.36.148.0/22. Man trägt also folgendes in die .htaccess ein:

deny from 54.36.148.0/22

Und schon hat man Ruhe vor einer ganzen Reihe von OVH-IPs. Leider ist das aber nur ein winziger Bruchteil der IPs, die man eigentlich blocken könnte. Es braucht also sehr viele "deny from"-Einträge in der .htaccess. Die .htaccess für einen Webauftritt, den ich betreue, ist daher im Lauf der Zeit schon über 20 KB groß geworden😉

Nachtrag: .htaccess gibt es nur auf Apache-Servern. Andere Server (z. B. nginx oder Microsoft IS) können zwar auch IPs blocken, die dafür erforderlichen Maßnahmen unterscheiden sich aber von denen bei Apache-Servern. Ich weiß nicht, ob bei den Telekom-Homepages Apache zum Einsatz kommt. Die Wahrscheinlichkeit ist aber groß, denn Apache ist ein sehr verbreiteter Server.

@Sonnenhügler_1 
Wie kommst du auf die 54.36.148.0/22 ?

Laut Online Subnet Calculator (http://www.subnet-calculator.com/subnet.php?net_class=A) müsste der Eintrag so aussehen:

54.36.148.0/15

Dann wird von 54.36.148.0 bis 54.36.149.255 alles ausgesperrt.
Bei t-online läuft Apache Server. .htaccess scheint aber nicht zu funktionieren.
Ich versuche mich mal selbst auszusperren, hab ja dann immer noch den FTP Zugang.

Die /22 habe ich auf der RIPE-Seite nachgelesen. Mit /15 wäre ich vorsichtig, denn dann könnten IPs blockiert werden, die man gar nicht blockieren will. Lieber für die 2. IP einen zweiten deny-Eintrag anlegen. Auch dafür kann man den IP-Range wieder bei RIPE erfragen.

gerne

Zur Erklärung:

Du sagst oben: schaue erst alle deny und dann allow Einträge an.

Dann sagst Du: verbiete Zugriff für folgende IPs

und hebst die mit dem allow all am Ende wieder auf. Also lasse alles zu.

das kann so nicht klappen

Einstellungen in der htaccess haben leider nicht gegriffen.
Nach Server-Neustart Seitens T-Com (täglich irgendwann früh morgens) war die Website nicht mehr erreichbar.
Habe jetzt alle Einträge für nicht erwünschte Bots in die robots.txt eingetragen.
Seitdem ist Ruhe im Karton. Keine Bots mehr, die unsere Website im Sekundentakt bombardieren.