webentwicklung-frage-antwort-db.com.de

Bingbot-Crawling-URLs ähneln Ordnern und verursachen Tausende von 404-Fehlern

Ich habe dies vor etwas mehr als zwei Monaten zum ersten Mal auf einer Website gesehen, die ich betreibe, aber jetzt sehe ich es auf mehreren anderen, die ich verwalte. Es scheint, dass der Bot versucht, die URL in Ordner zu unterteilen, und dies ist der Grund für das Problem.

Zum Beispiel ist diese URL korrekt:

http://amgoa.org/Proposed-Alaska-Gun-Law-SCR6/State-Law/8895

Aber dann versucht Bing, auf diese URL zuzugreifen:

http://amgoa.org/Proposed-Alaska-Gun-Law-SCR6/State-Law

Und dann diese URL:

/ Vorgeschlagenes-Alaska-Waffengesetz-SCR6 (ich kann leider nicht mehr als 2 vollständige Links posten)

Die zweiten zwei werfen natürlich einen 404.

Diese Site hat über 67.000 Seiten und dieser Fehler macht uns wahnsinnig und lädt die Fehlerprotokolle mit Zehntausenden von 404 für URLs hoch, die falsch sind.

Vor ungefähr einem Monat habe ich ein XML-Sitemap-Skript erstellt, in der Hoffnung, das Problem zu lösen. Ich habe es über den Bereich für Webmaster-Tools bei Google und Bing eingereicht. Google hat alle über 67.000 Seiten korrekt indiziert, während Bing versucht, diese nicht vorhandenen URLs zu analysieren.

Hat dies jemand anderes gesehen und vor allem weiß jemand, wie er dies beenden oder sich an Bing wenden kann, um ihn zum Beenden zu bewegen?

1
user973767

Das Problem, das Sie haben, ist nicht Bing, sondern die Art und Weise, wie Ihr Server mit Fehlerantworten umgeht.

Ihre 404 Seiten melden: SERVER RESPONSE: HTTP/1.1 200 OK

Es sollte berichten: SERVER RESPONSE: HTTP/1.0 404 NOT FOUND

Daher gehen Suchmaschinen davon aus, dass es sich um gültige Seiten handelt, weshalb sie ständig gecrawlt werden. Wenn Sie dies beheben, sollte Bing aufhören, diese Seiten zu zerstören.

Sie können Ihre Header-Antwort mit FireBug , Google Webmaster-Tools oder den folgenden Online-Websites testen: site-scan.com , seobook .

Das Seltsame ist, dass Sie status 404 Not Found in Ihrer Header-Antwort haben, diese aber seit 200 OK in der ersten Antwort nicht mehr gültig ist. Grundsätzlich haben Sie ein soft 404 , das Yahoo und Bing nicht akzeptieren Ernsthaft

2
Simon Hayter