webentwicklung-frage-antwort-db.com.de

Bing Bot folgenden Benutzer auf passwortgeschützten Seiten?

Ich sehe auf unserer klassischen ASP Website einige Zugriffe von einem verifizierten Bing-Bot, der einem meiner aktuellen Benutzer zu folgen scheint.

Wenn dieser Benutzer beispielsweise 2 bis 24 Stunden später einen Artikel in den Warenkorb legt, kommt ein Bing-Bot vorbei und versucht, die gleichen Artikel in den Warenkorb zu legen. Ich habe jetzt bestätigt, dass alles, was dieser Benutzer auf meiner Website tut, innerhalb von 24 Stunden von mehreren Bing-Bots gespiegelt wird.

Ich frage mich, ob jemand so etwas gesehen hat und ob es einen bekannten Grund dafür gibt? Unsere Seite ist passwortgeschützt und ich habe (seit 15 Jahren) keinen Spinnenbot mehr gesehen Versuchen Sie, eine dieser geschützten URLs zu indizieren oder zu erreichen, und ich bin sehr gespannt, was hier passiert.

Vielen Dank!

EDIT: Um es klar zu sagen: Diese Bing Bots erreichen nicht die Seiten, die mein Benutzer besucht, da sie alle passwortgeschützt sind. Sie versuchen, auf die URL zuzugreifen, und werden dann zu meiner Anmeldeseite weitergeleitet, weil sie nicht authentifiziert wurden.

6
Doctor McDoctor

Möglicherweise hat dieser Benutzer eine Symbolleiste von Bing installiert. Diese Symbolleiste kann besuchte URLs an Bing senden, und der Bingbot kann dann versuchen, diese URLs zu crawlen.

Aus dem Artikel searchengineland.com) Wie die Bing-Symbolleiste versehentlich private Seiten und Anzeigen übermitteln kann :

Microsoft hat bestätigt, dass sie URLs erkennen und indizieren, die sie finden, wenn Benutzer mit installierter Bing Toolbar im Internet surfen.

[…]

Duane Forrester, Senior Product Manager bei Microsoft, sagte uns:

Ja, wie bei einigen anderen Symbolleisten zeichnet die Bing-Symbolleiste (sofern vom Benutzer zugelassen) möglicherweise die geöffneten (nicht https-) Websites auf, die ein Benutzer besucht hat, um unser Wissen über das Internet zu erweitern und die von uns bereitgestellten Suchergebnisse zu verbessern Benutzer. Dies wiederum kann (sofern die Website dies zulässt) tatsächlich zu unseren von uns entdeckten Crawling-Links führen. […]

(Der Artikel stammt aus dem Jahr 2012. Ich weiß nicht, ob sich die Dinge seitdem geändert haben.)

3
unor

Ich habe dies tatsächlich an einem Punkt auf meiner Website erlebt.

Was Sie tun können, um das Problem zu lösen, ist, die Links zu erstellen, auf die die Suchmaschinenroboter nicht als POST-basierte Links zugreifen sollen.

So machen Sie es perfekt mit guter Kompatibilität für nahezu jeden erfundenen Browser:

Erstellen Sie ein Formular mit einem Methodenbeitrag. Zum Beispiel:

  <form action="http://example.com/robots-cant-access-this.asp" method="POST">
  <input type="hidden" name="parametertoscript" value="valueforscriptparameter">
  <input type="hidden" name="secondparametertoscript" value="valueforsecondscriptparameter">
  <input type="hidden" name="nthparametertoscript" value="valuefornthscriptparameter">
  <input type="submit" value="button label to show to public">
  </form>

Dann müssen Sie in Ihrem Asp-Code überprüfen, ob es sich bei der Anforderungsmethode um POST handelt. Wenn dies nicht der Fall ist, fahren Sie nicht mit dem Warenkorbprozess fort. Geben Sie in der Tat eine 410 zurück, damit die Roboter nicht weiter versuchen, auf URLs zuzugreifen, auf die sie nicht zugreifen sollen.

Ich bin nicht fließend genug mit ASP, aber hier ist Pseudocode, um Ihnen den Einstieg zu erleichtern:

Get value of request method
If Request method equals post then
     process requested page to client
else
     issue HTTP error 410 GONE
     print error
end if
exit
1
Mike

Versenden Sie einige dieser URLs per Post? In diesem Fall kann ein Nosniff-Header dazu beitragen, zu verhindern, dass E-Mail-Clients die Seite durchsuchen.

Hotmail würde Bing-Bot verwenden, Google Mail würde den Google-Crawler verwenden und so weiter.

Hier ist ein Nosniff-Snippet für htccess:

# Add headers to all responses.
<IfModule mod_headers.c>
  # Disable content sniffing, since it's an attack vector.
  Header always set X-Content-Type-Options nosniff
</IfModule>
1
Neograph734