webentwicklung-frage-antwort-db.com.de

Hat Microsoft einen Fehler in Bingbot eingeführt, durch den nicht vorhandene Bilder gecrawlt werden?

Ich habe mehrmals täglich Anfragen nach Pfaden wie /scale/jackets/00000086/80x80_P2_G1715325W.JPG vom Bingbot erhalten. Das hat vor ein paar Tagen angefangen.

Weiß jemand warum das so ist?

1
Guy

Ich habe diese Art von Verhalten sowohl von Googlebot als auch von Bingbot gesehen. Es wird fast nie durch einen Fehler im Crawler selbst verursacht. Dies wird normalerweise durch einen Fehler in einer Website verursacht, der von ihnen gecrawlt wird und Links zu Ihrer Website oder Text-URLs auf der Seite enthält, die so aussehen.

In diesem Fall handelt es sich fast immer um eine Scraper-Site, die Ihren Inhalt kopiert und mit dem Inhalt einer anderen Site neu gemischt hat. Leute, die solche Websites erstellen, um die Suchmaschinen zu spammen, gehen normalerweise nicht zu vorsichtig mit den Links um.

Leider sagt Ihnen Bing Webmaster Tools nicht, dass wo die gecrawlten Links gefunden wurden. Es wird nur die Anzahl der Links angezeigt, die zu Ihren Seiten gefunden wurden. Wenn der Googlebot beginnt, diese Links zu crawlen, sollten Sie deren Quelle in den Google Webmaster-Tools finden können.

1