webentwicklung-frage-antwort-db.com.de

Crawlen Suchmaschinen-Robots dynamische URLs, die sich nur durch den Wert eines Parameters in der Abfragezeichenfolge unterscheiden?

Ich weiß, dass es viele ähnliche Fragen gibt, und ich habe mich umgesehen, aber nie eine vollständige Antwort gefunden. Hier ist meine Frage:

Crawlen Suchmaschinenroboter meine dynamisch generierten URLs? Damit meine ich HTML-Seiten, die von PHP basierend auf GET-Variablen in der URL generiert wurden. Die Links sehen dann so aus:

www.mywebsite.com/view.php?name=something 
www.mywebsite.com/view.php?name=somethingelse 
www.mywebsite.com/view.php?name=something

Ich habe versucht, meine Website mit einem Testcrawler zu crawlen, der hier zu finden ist: http://robhammond.co/tools/seo-crawler , aber er besucht meine Ansichtsseite nur einmal mit nur einer Variablen in der Kopfzeile.

Der größte Teil des Inhalts meiner Website wird durch diese GET-Variablen aus der Datenbank generiert. Ich möchte daher, dass die Suchmaschinen diese Seiten crawlen.

4
Simon H

Ja. Suchmaschinen und jeder ordnungsgemäß codierte Crawler können Seiten mit Parametern crawlen und als separate Seiten indizieren. Die Tatsache, dass der Crawler, auf den Sie verwiesen haben, dies nicht verarbeiten kann, ist ein Hinweis darauf, dass ich dieses Tool nicht mehr verwenden würde.

Ich empfehle oft die Verwendung von http://www.screamingfrog.co.uk/seo-spider/ , wenn Sie direkt auf Ihre Website zugreifen können. Dieses Tool ermöglicht 500 Seiten kostenlos und ist ziemlich erschwinglich, wenn Sie dafür bezahlen möchten. ScreamingFrog ist sehr gut darin, eine lange Liste von Problemen zu melden, mit denen sich jeder Webmaster befassen könnte, einschließlich der meisten, wenn nicht aller, der von Ihnen bereitgestellten Links.

Wenn Sie dieses Tool oder ein ähnliches Tool verwenden, schlage ich vor, AdSense-Anzeigen oder andere von Ihnen verwendete Anzeigen zu deaktivieren, damit Sie nicht in Schwierigkeiten geraten.

3
closetnoc

Der Googlebot und andere Suchmaschinenroboter crawlen standardmäßig URLs mit einer Vielzahl von Abfragezeichenfolgen. Alles, was sie brauchen, ist ein Link zu jeder Seite oder eine Sitemap, die jede enthält. Google betrachtet URLs auch dann als unterschiedlich, wenn sie sich nur durch die Abfragezeichenfolge unterscheiden.

Mit den Google Webmaster-Tools können Sie dieses Verhalten für Ihre Website anpassen. Wenn Sie einen Abfrageparameter haben, der die Seite nicht ändert, können Sie Google in den Websiteeinstellungen darüber informieren. In diesem Fall crawlt Google möglicherweise nur eine repräsentative URL und nicht jeden Wert des Parameters.

2