webentwicklung-frage-antwort-db.com.de

Bing stoppte die Indizierung der Site, nachdem alle Crawler außer Googlebot, Yahoo-Slurp und Msnbot deaktiviert wurden

Bing hat meine Top-Seiten aus den Ergebnissen entfernt. Vor 3 Tagen wurden sie auf der ersten Seite angezeigt. Vielleicht habe ich vor ein paar Wochen die robots.txt-Datei aktualisiert. Kann jemand unter der Vorlage nachsehen, ob etwas nicht stimmt, das den Bingbot blockiert, um meine Top-Seiten zu indizieren? Danke im Voraus

User-agent: * 
Crawl-Delay: 20

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Yahoo-Slurp
Disallow: 

User-agent: Msnbot
Disallow:
3
Rebbica

Msnbot ist nur einer der Benutzeragenten, die Bing verwendet, und es ist nicht einmal der Hauptagent. Laut https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec

  • Bingbot - Haupt-Bing-Crawler
  • Msnbot - Alter Crawler, noch einige verwendet
  • MSNBot-Media - Bild- und Videocrawler
  • AdIdxBot - Anzeigen-Crawler
  • BingPreview - Vorschau-Crawler

Damit Bing Ihre Website indizieren kann, müssen Sie mindestens Bingbot zulassen:

User-agent: Bingbot
Disallow:

Sie können den Abschnitt Msnbot beibehalten und auch die anderen Bing-Benutzeragenten hinzufügen.

Ihr User Agent für Yahoo ist ebenfalls nicht korrekt. Laut https://help.yahoo.com/kb/learn-submit-website-yahoo-robotstxt-directive-sln2213.html ist es nur Slurp statt Yahoo-Slurp .

Während der Hauptbenutzer-Agent für Googlebot korrekt ist, crawlen Google viele Benutzer-Agents mit ihm. Möglicherweise möchten Sie das Crawlen auch für einige ihrer anderen Benutzer zulassen. Ihre Dokumentation finden Sie hier: https://support.google.com/webmasters/answer/1061943?hl=de

Ein weiteres Problem ist, dass Sie zwei User-agent: * Abschnitte haben. Ich würde sagen, dass Sie sie kombinieren sollten, aber die Direktive Crawl-Delay wird von nichts benutzt. Sie verbieten alle Crawler, die diesen Abschnitt verwenden würden. Wenn Sie eine Durchforstungsverzögerung für Googlebot, Yahoo oder Bing angeben möchten, müssen Sie die Durchforstungsverzögerung in deren Abschnitt einfügen. Sobald Sie einen bestimmten Abschnitt für einen Bot erstellt haben, wird der Abschnitt * vollständig ignoriert. Beachten Sie, dass Googlebot keine Crawling-Verzögerungen unterstützt.

Um zu tun, was Sie wollen, würde ich mindestens die folgende robots.txt empfehlen. Möglicherweise möchten Sie auch einige Anzeigen-Crawler von Google und Bing zulassen.

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Slurp
Crawl-Delay: 20
Disallow: 

User-agent: MSNBot
Crawl-Delay: 20
Disallow:

User-agent: MSNBot-Media
Crawl-Delay: 20
Disallow:

User-agent: Bingbot
Crawl-Delay: 20
Disallow:
2