Java-Bots mit .htaccess aussperren

#1 Yellow Pinky hat geschrieben:

Am 5. Juni 2008 um 23:18

Im Spam-Whackers-Blog hat jemand von Panscient in einem Kommentar behauptet, dass Panscient an einer Suchmaschine arbeitet.

#2 Alphane Moon hat geschrieben:

Am 6. Juni 2008 um 15:35

Na klar. Und wir forschen hier auf Alphane Moon am Trans-Warp-Antrieb.

#3 Johann hat geschrieben:

Am 25. Juli 2008 um 21:23

Bei Panscient scheints eher um Material für Stänkereien zu gehen, scheint mir. Übrigens: Die erste Website, die ich sehe, die SVG verwendet :-)

#4 Alphane Moon hat geschrieben:

Am 26. Juli 2008 um 12:35

Was die Stänkereien angeht sind die bisher ganz erfolgreich. Außerdem ist deren Bot ein echter Spielverderber. Ich hatte meine robots.txt so eingestellt, dass dynamisch ein Disallow für alle User-Agents gesetzt wird, die von der IP-Adresse von Panscient kommen. Er kommt seitdem aber immer als panscient.com. Bis die „Suchmaschine“ fertig ist gibt es hier nur ein 403.

SVG finde ich absolut fantastisch, da möchte ich in Zukunft noch viele Sachen ausprobieren.

#5 Matthias hat geschrieben:

Am 9. September 2008 um 16:14

Bei mir ist auch so ein Java-Bot unterwegs, von verschiedenen IP-Adressen. Der verlangt häufig ganz komische Sachen, zum Beispiel:

89.122.29.79 - - [03/Sep/2008:01:33:18 -0400]
"GET ////////////////////////////////////////////////////
/////////////////////////////////////////////
/?id=366 HTTP/1.1" 200 8788 "-" "Java/1.6.0_04"

Völlig irr, der Bot! Ich habe Dein .htaccess mal bei mir eingesetzt, allerdings gebe ich zu dass ich nicht nachgeprüft habe, was es genau macht :-) .

#6 Alphane Moon hat geschrieben:

Am 9. September 2008 um 20:35

Hallo Matthias,
Auweia, ist der kaputt! Die Java-Bots haben bei mir auch jede Menge Fehler produziert, anscheinend werden oft URLs falsch aufgelöst. Aber sowas kaputtes habe ich bisher noch nicht gesehen.

Der Eintrag in die .htaccess prüft den User-Agent-String, wenn der mit Java beginnt (großgeschrieben), wird geblockt und der Bot sieht den Fehler 403 - Forbidden. Du kannst das testen: es gibt eine Firefox-Extension, mit der man den User-Agent-String verändern kann. Oder du installierst den Browser K-Meleon, dort kann man es einstellen:
Extras → Browsererkennung → Benutzerdefiniert.

Wenn du dann als Java deine Site aufrufst, solltest du eine Fehlermeldung sehen. Weitere Bots kann man dann bei Bedarf in der .htaccess hinzufügen:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^AsozialerBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^VerbannterBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java
RewriteRule ^.*$ - [F]

Es wird schlagartig ruhiger :)

#7 Matthias hat geschrieben:

Am 9. September 2008 um 21:24

Ich hab’s jetzt mit dem Firefox-Addon getestet, und es funktioniert wunderbar. Nochmals danke für den Tipp!

#8 MrMittens hat geschrieben:

Am 9. Oktober 2008 um 04:03

Ja will denn nur noch ein „Bot“ deine Seiten aufrufen???

#9 Alphane Moon hat geschrieben:

Am 10. Oktober 2008 um 14:45

Auf die Idee könnte man fast kommen. Das mit den Bots ist so: das ist nicht nur einer, es gibt Tausende. Java-Bots sind da nur der Anfang.

Jedes doofe kleine Unternehmen, das meint Daten sammeln zu müssen, jede Suchmaschine, jeder Spammer, alle haben Bots. Jedes Arschloch, das eine Datenbank mit „Geschäftsdaten“ anlegen will, um damit Kohle zu machen, schickt ’n Bot los. Damit sammeln sie E-Mail-Adressen, um uns vollzuspammen.

Diese Daten liegen ja im Web einfach so herum, man muss sich nur bedienen. Andere Bots schicken Nonsense-Kommentare auf mein Blog, einige wollen sich einen Link abgeiern, um sich bei Google einzuschleimen. Wieder andere suchen nach Sicherheitslücken bekannter Blog-Software.

Es vergeht kein einziger Tag, an dem sich nicht irgendwelches Geschmeiß hier blicken läßt. Diese ganzen Idioten-Bots funktionieren oft nicht gut und produzieren Fehler. Ich will die alle nicht auf meiner Site haben - alles Arschlöcher!