Hallo Internet. Du weißt doch immer alles – Ich habe eine Frage an dich.
Mein Blog leidet an übermässigen Zugriffen aus Firmennetzwerken.
Aus den Netzwerken von Sony UK, BMW, Bayer, Dresdner Kleinwort und anderen gibt es übermässig bis viel zu viele Zugriffe auf meinen kleinen Webspace mit diesem Blog.
Mein Provider hat deren IPs erstmal gesperrt, leider können die Angestellten von den genannten Firmen jetzt mein Blog nicht mehr lesen.
Von bekannten höre ich öfter die Geschichte von komischen Firmenproxies, die bei Besuchen aus dem Firmennetzwerk die Seite erstmal „komplett“ abgrasen (alle Seiten aufrufen um sie bei sich im Proxy zu speichern). Da Firmen wie BMW oder Sony an richtig dicken Leitungen sitzen wird beim abgrasen meines Blogs leider erstmal alles lahmgelegt.
Nix geht mehr, dauert in der Regel 10 Minuten und danach ist der Spuk vorbei.
Liebes Internet, weißt du da einen Trick? Es ist bestimmt ganz einfach, ich finde nur nicht den richtigen Begriff für Google um die Lösung selbst zu finden.
Was für eine Lösung brauchst Du denn genau? Einen bessren Provider? Eine Möglichkeit, IP-Adressen zu sperren (das hat Dein Provider ja schon) oder was?
Eine Möglichkeit übermässige Zugriffe einzudämmen.
Nur sehr ungerne sperre ich ganze Firmennetzwerke aus.
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
vielleicht halten sich Sony UK, BMW, Bayer, Dresdner Kleinwort ja an die norm, dann kannst du sie ausschließen
Wenns nur um die Performance geht: Robots.txt mit crawl-delay ausstatten.
Aha. Das habe ich gesucht. Mal testen und schauen ob es etwas bringt.
Moin Moin,
wie du im Artikel bereits vermutet hast, tippe ich auf einen Proxy innerhalb der Firmennetzwerke. Mal eben ganze Websites zu Cachen ist dabei nichts ungewöhnliches. Mit eigenen Projekten habe ich ähnliche Erfahrungen bereits gemacht.
Ein Ansatz ist:
Zumindest jeder ordentliche Proxy sollte sich daran halten. Alternativ (oder zusätzlich) geht auch:
Damit ist die Seite nach dem Laden bereits veraltet, in der Hoffnung, dass ein Proxy wenig „Lust“ hat, die Seite dann zu Cachen.