Kommentare zu: Crawlt G00gle jetzt ohne eindeutigen User-Agent?… http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/ Kurz und knapp und blah... Wed, 31 Jul 2013 20:21:22 +0000 hourly 1 http://wordpress.org/?v=3.6 Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-17011 Bio Wed, 30 May 2012 19:16:43 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-17011 thx für die info…

]]>
Von: Christian http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-17001 Christian Wed, 30 May 2012 12:26:02 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-17001 Google simuliert ein MobilDevice um zu ermitteln wie die Webseiten für mobile Geräte ausgegeben werden:
http://support.google.com/webmasters/bin/a nswer.py?hl=en&answer=1061943

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16972 Bio Tue, 29 May 2012 20:39:46 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16972 OK, hat sich erledigt. Ich hoffe das ist richtig – kann das ja nicht testen.

RewriteCond %{HTTP_REFERER} ^http://(.+.)?facebook.com/ [NC]
RewriteRule .*.(jpe?g|gif|bmp|png)$ /html/dlf/_dontlikefacebook.jpe  [L]

ich ersetze einfach alle Bilder für das Fratzenbuch :mrgreen:

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16971 Bio Tue, 29 May 2012 20:02:57 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16971 und da ist der fratzenscheiss:
69.63.189.248 – - [29/May/2012:12:05:47 +0200] »GET /html/keinezielgruppe.gif HTTP/1.1″ 200 223 »-« »facebookplatform/1.0 (+http://developers.facebook.com)«

Hast Du zufällig ne Anweisung für die .htaccess im Kopf um das Bild für Facebook auszutauschen? Wenn nicht muss ich die Tage da mal nachforschen und statt »keine Zielgruppe« ein »I don’t like Facebook!« gif ausliefern *HrHr*

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16969 Bio Tue, 29 May 2012 19:56:27 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16969 Da isser. Googlebot-Mobile.

66.249.71.245 – - [29/May/2012:05:19:09 +0200] »GET *** HTTP/1.1″ 200 8761 »-« »Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)«

Haben die tatsächlich(?) nen Crawler auf nem EierFön laufen LOL

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16968 Bio Tue, 29 May 2012 19:48:26 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16968 boah ey. was man nicht alles findet, wenn man mal Logs begutachtet.

Was ist denn das für ein Scheiß?
facebookplatform/1.0 (+http://developers.facebook.com)

Das muss ich gleich blocken *HrHr*

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16967 Bio Tue, 29 May 2012 19:39:28 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16967 In den Serverlogs (Webalizer) von heute Nacht taucht der Safari 6531.22.7 überhaupt nicht auf, obwohl der Crawler mindestens seit gestern schon mal da war…. :/

]]>
Von: Bio http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16966 Bio Tue, 29 May 2012 19:22:37 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16966 ich kann mir das (noch) nicht wirklich erklären – die IP-Addy ist ja eindeutig. nur, warum kommt der mit Mac OS X und Safari?

Ne zugegeben komische Erklärung wäre, die haben nen Crawler auf so nem Eiergerät laufen (warum auch immer):
iPad UserAgent String (kurz im Web nachgeschaut):
Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10

Und meine Stats-Komponente erkennt das halt als Mac OS X mit Safari. Aber warum fehlt dann da der eindeutige UserAgent ala G00glebot mit URL usw.?

Komisch das.

]]>
Von: Nachtwächter http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/comment-page-1/#comment-16964 Nachtwächter Tue, 29 May 2012 18:58:34 +0000 http://localhost/blah-dev/2012/05/29/crawlt-g00gle-jetzt-ohne-eindeutigen-user-agent/#comment-16964 Hui, das ist neu. Will Guhgell jetzt etwa überprüfen, ob da jemand Cloaking betreibt? Um zum Beispiel mal die ganze Springer-Presse aus dem Index zu schmeißen? Dann wäre es aber echt doof von denen, mit so einer IP-Adresse zu kommen…

]]>