webentwicklung-frage-antwort-db.com.de

Warum greift der Bingbot am häufigsten auf meine Websites zu, auch wenn ich die Crawling-Rate auf den Mindestwert festgelegt habe?

Vor kurzem wurden meine Websites überlastet und es stellte sich heraus, dass der Bingbot der Schuldige war. Ich stelle die Crawling-Rate für meine Websites in den Bing-Webmaster-Tools auf das Minimum ein, aber unabhängig davon hat Bingbot unter allen Crawlern den meisten Zugriff (ca. 30000 Anfragen pro Tag). Google hat weniger Anfragen pro Tag.

Haben Sie auch starken Verkehr von Bingbot? Warum verhält es sich nicht, wenn ich die Crawling-Rate auf ein Minimum festgelegt habe?

1
Tom

Sind Sie sicher, dass es sich wirklich um einen Bing-Bot handelt? Ich habe Bots gesehen, die nicht zulassen, dass sie von einem anderen Ort als erwartet stammen, wenn sie eine Reverse-IP-Suche mit Dig durchführen.

Dig -x 157.55.39.142

; <<>> Dig 9.9.5-3-Ubuntu <<>> -x 157.55.39.142
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 30244
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;142.39.55.157.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
142.39.55.157.in-addr.arpa. 71  IN      PTR     msnbot-157-55-39-142.search.msn.com.

;; Query time: 57 msec
;; SERVER: 8.8.4.4#53(8.8.4.4)
;; WHEN: Thu Jun 12 18:18:06 EDT 2014
;; MSG SIZE  rcvd: 104

Die umgekehrte Suche zeigt, dass die IP tatsächlich mit den Such-Bots von Bing zusammenhängt.

Sie geben an, dass die Durchforstungssteuerungsanweisung in einer robots.txt-Datei an ihrem Ende Vorrang vor einer konfigurierten Einstellung hat.

http://www.bing.com/webmaster/help/crawl-control-55a30302

Wenn dies nicht der Fall zu sein scheint, können Sie versuchen, das Crawling mithilfe der Steuerelemente für Ihre Website anzupassen.

1
Dave Lozier