webentwicklung-frage-antwort-db.com.de

Clients aus Microsoft IP-Adressbereichen scheinen Bingbot zu fälschen

Ich erhalte routinemäßig Treffer von Microsoft-eigenen IP-Adressen in den 13.xyz-Bereichen von AS8075 (in diesen Bereichen), die im User Agent als Bingbot angezeigt werden. Diese Adressen sind jedoch in mehreren Sperrlisten aufgeführt Übergeben Sie das Tool Bingbot überprüfen nicht und haben Sie keine Hostnamen, sodass Sie das Vorwärts-Rückwärts-Tool DNS nicht übergeben können. Bekannte legitime Microsoft-Bots in anderen Microsoft-IP-Bereichen verfügen normalerweise über bidirektionale DNS-Einträge, die die IP-Adresse mit einem Hostnamen * .search.msn.com verknüpfen und umgekehrt.

Ich möchte legitimen Microsoft-Bots erlauben, meine Websites zu crawlen, aber nach allen Angaben scheinen diese IPs lückenhaft zu sein.

Meine Frage lautet: Handelt es sich trotz der Angaben um legitime Microsoft-Bot-IP-Adressen, und wenn es sich um legitime Microsoft-Bots handelt, warum sollte Microsoft dann keine Hostnamen zuweisen, die Malware bereinigen und sie dem Überprüfungstool hinzufügen? Wenn dies keine legitimen Microsoft-Bots sind, warum sollte Microsoft dann nicht die Computer in ihrem Netzwerk bereinigen (wenn sie sie kontrollieren) oder einige Regeln durchsetzen, die schlechte Bots auf ihren IPs verhindern (wenn sie an jemand anderen vermietet werden)?

2
pseudon

Wenn ich mir den öffentlichen IP-Adressraum von Microsoft ansehe, sieht es für mich so aus, als ob Microsoft nur 13.64.0.0/11, 13.96.0.0/13 Und 13.104.0.0/14 Besitzt - sie besitzen keine das gesamte /8 (13.XXX).

Der 13.X.X.X-Block wird von ARIN verwaltet, und ich vermute, dass er unter anderen Unternehmen aufgeteilt ist.

Wenn ich mich also nicht irre, glaube ich nicht, dass Microsoft tatsächlich den IP-Speicher besitzt, von dem Sie glauben, dass er vorhanden ist.