Auf meiner Website habe ich noindex
auf meine Kategorieseiten gesetzt, aber nicht auf die Seiten darunter. Obwohl zwei Wochen vergangen sind, ist die einzige indizierte Seite meine Homepage, die keiner Kategorie zugeordnet ist.
Wenn ich mir yandex webmasters anschaue, sehe ich unter indexing> statistics> excluded pages sowohl www.example.com/category
als auch www.example.com/category/
. Ich frage mich, ob www.example.com/category/
(Schrägstrich am Ende) "Ich indiziere keine Seiten darunter" bedeutet und www.example.com/category
bedeutet, dass ich die Kategorie nicht indiziere.
Bot kann nicht verstehen, welches Verzeichnis ist und welches nicht, da es viele serverseitige Konfigurationen gibt, die einen abschließenden Schrägstrich verwenden oder nicht, wenn der Webmaster dies wünscht.
Ihre Kategorie und Kategorie/beide werden gleich behandelt, da beim Öffnen der Kategorieseite möglicherweise eine Weiterleitung zur Kategorie oder umgekehrt erfolgt. Andernfalls wird Ihr No-Index-Tag auf diesen Seiten angezeigt, und yandex wird es daher nicht indizieren. Sie sehen nur alle Webseiten an, bei denen Sie die Umleitung richtig eingestellt haben oder nicht. Wenn sie auf diesen Seiten kein Index-Tag sehen, werden sie es nicht indizieren.
Ihre anderen Seiten wie category/page.html werden von yandex indexiert, da auf dieser Seite kein Meta-Noindex-Tag vorhanden ist.
Meta-Tags gelten nur für Seitenebenen, nicht für ganze Verzeichnis-Unterseiten.
seiten werden indexiert, wenn:
noindex
,nofollow
.nofollow
) -> URL1-Links zu URL2 (keine nofollow
) -> URL2-Links zur URL sollte indiziert werden (nein nofollow
) -> URL, die indiziert werden sollte (<meta name="robots" content="index" />
)