Crawlt G00gle jetzt ohne eindeutigen User-Agent? Und was soll Das OS Mac OS X und der Browser Safari? Hab ich da wohl möglich etwas verpasst, oder faket da einer etwa? Die IP-Addys gehören schon zu G00gle.
66.249.71.245 crawl-66-249-71-245.googlebo t.com Mac OS X Safari 6531.22.7
66.249.66.198 crawl-66-249-66-198.googlebo t.com Mac OS X Safari 6531.22.7
Nachtwächter am 29.5.2012 um 20:58
Hui, das ist neu. Will Guhgell jetzt etwa überprüfen, ob da jemand Cloaking betreibt? Um zum Beispiel mal die ganze Springer-Presse aus dem Index zu schmeißen? Dann wäre es aber echt doof von denen, mit so einer IP-Adresse zu kommen…
Bio am 29.5.2012 um 21:22
ich kann mir das (noch) nicht wirklich erklären – die IP-Addy ist ja eindeutig. nur, warum kommt der mit Mac OS X und Safari?
Ne zugegeben komische Erklärung wäre, die haben nen Crawler auf so nem Eiergerät laufen (warum auch immer):
iPad UserAgent String (kurz im Web nachgeschaut):
Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10
Und meine Stats-Komponente erkennt das halt als Mac OS X mit Safari. Aber warum fehlt dann da der eindeutige UserAgent ala G00glebot mit URL usw.?
Komisch das.
Bio am 29.5.2012 um 21:39
In den Serverlogs (Webalizer) von heute Nacht taucht der Safari 6531.22.7 überhaupt nicht auf, obwohl der Crawler mindestens seit gestern schon mal da war…. :/
Bio am 29.5.2012 um 21:48
boah ey. was man nicht alles findet, wenn man mal Logs begutachtet.
Was ist denn das für ein Scheiß?
facebookplatform/1.0 (+http://developers.facebook.com)
Das muss ich gleich blocken *HrHr*
Bio am 29.5.2012 um 21:56
Da isser. Googlebot-Mobile.
66.249.71.245 – - [29/May/2012:05:19:09 +0200] »GET *** HTTP/1.1″ 200 8761 »-« »Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)«
Haben die tatsächlich(?) nen Crawler auf nem EierFön laufen LOL
Bio am 29.5.2012 um 22:02
und da ist der fratzenscheiss:
69.63.189.248 – - [29/May/2012:12:05:47 +0200] »GET /html/keinezielgruppe.gif HTTP/1.1″ 200 223 »-« »facebookplatform/1.0 (+http://developers.facebook.com)«
Hast Du zufällig ne Anweisung für die .htaccess im Kopf um das Bild für Facebook auszutauschen? Wenn nicht muss ich die Tage da mal nachforschen und statt »keine Zielgruppe« ein »I don’t like Facebook!« gif ausliefern *HrHr*
Bio am 29.5.2012 um 22:39
OK, hat sich erledigt. Ich hoffe das ist richtig – kann das ja nicht testen.
RewriteCond %{HTTP_REFERER} ^http://(.+.)?facebook.com/ [NC]
RewriteRule .*.(jpe?g|gif|bmp|png)$ /html/dlf/_dontlikefacebook.jpe [L]
ich ersetze einfach alle Bilder für das Fratzenbuch
Christian am 30.5.2012 um 14:26
Google simuliert ein MobilDevice um zu ermitteln wie die Webseiten für mobile Geräte ausgegeben werden:
http://support.google.com/webmasters/bin/a nswer.py?hl=en&answer=1061943
Bio am 30.5.2012 um 21:16
thx für die info…