Crawling- / Indexierungskontrolle
Wie kontrolliert man die Indexierung einer Webseite, damit die Suchmaschinen diese effizienter überwachen und verstehen können?In Google Webmaster Tools lässt sich der Verlauf vom Indexierungsstatus anzeigen, wie viele URLs einer Seite sich im Google-Index befinden.
Kontrollieren Sie den Indexierungsstatus regelmäßig!
- Vergleichen Sie die Menge der indexierten URLs mit der URL-Menge Ihrer Webseite. Insbesondere bei einer sporadischen Entwicklung ist die Aufmerksamkeit gefragt.
- Ein sporadischer Indexierungsverlauf soll nicht sofort heissen, dass irgendwas auf der Seite nicht stimmt. Schliesslich trifft die Suchmaschine selbst die Entscheidung, wie oft welches Content gecrawlt wird.
- Sporadische Entwicklung der Indexierung bei kleinen Webseiten ist üblich.
- Dagegen bei grossen Webseiten sollen Sie genauer hinschauen. Wenn Sie unübliche Abweichungen des Indexierungsverlaufs feststellen, sollen Sie bei Ihrer Webseite folgendes prüfen:
Die Anzahl der indexierten Seiten fällt rasant:
- Crawling-Fehler – Schauen Sie sich die Fehler-Entwicklung in Google Webmaster Tools an. Ein rasanter Anstieg an Fehlerseiten könnte die Ursache sein. Kritisch ist, wenn Ihre Webseite oder grosse Bereiche davon nicht erreichbar sind.
- Robots.txt – Die robots.txt-Datei prüfen, ob Ressourcen für die Indexierung einer Suchmaschine blockiert sind, welche im Index sein sollen.
- URL-Struktur – Die URL-Struktur hat sich nach einem Relaunch einer neuen Webseitenversion verändert. Es muss gewährleistet sein, dass ein User über die Navigation oder das Content jede URL erreichen kann, welche indexiert werden muss. Wenn es aus immer welchen Gründen nicht der Fall sein soll, dann übermitteln Sie diese URLs an die Suchmaschine mithilfe einer XML-Sitemap.
- Content-Qualität – Mit der Zeit versteht eine Suchmaschine, wie gut die Qualität von Inhalten auf Ihrer Webseite und auf deren URLs ist. Meiden Sie doppelte oder sehr ähnliche Inhalte auf unterschiedlichen URLs. Eine strukturierte Webseite erleichtert den Suchmaschinen die Relevanz besser zu verstehen.
- Google Penalty – Wenn Sie einen starken Rückgang der Indexierung feststellen, kann es evtl. auch daran liegen, dass Ihre Webseite abgestraft wurde, weil diese gegen Suchmaschinenrichtlinien verstossen hat.
- Google Update – Google modernisiert sein Suchalgorithmus laufend. Doch manchmal werden grosse Updates ausgeführt. Wenn Ihre Webseite betroffen wird, sollen Sie die Ursachen des neuen Updates klären und die Webseiten Ihrer Konkurrenten anschauen. In der Regel werden bei grossen Google-Updates etliche Diskussionen in diversen SEO-Foren gestartet. Schauen Sie sich diese an. Lokalisieren Sie das Problem und beseitigt dieses soweit es möglich ist.
Die Anzahl der indexierten Seiten steigt rasant:
- Zunahme an URLs - Die Anzahl der URLs mit gutem Content hat deutlich zugenommen. Rankingverbesserung - Das Ranking Ihrer Webseite hat sich deutlich verbessert.
- Geschwindigkeit - Die durchschnittliche Download-Geschwindigkeit auf Ihrer Webseite wurde deutlich gesteigert, so dass Google die Seite viel schneller crawlen kann.
- Blockierung der Inhalte - Sie hatten grosse Bereiche der Webseite (z.B. Suchbereich mit dynamischen URLs) per robots.txt blockiert, welche früher auf „noindex“ gesetzt waren. In diesem Fall kann es zwar vorkommen, dass die Werte vorübergehend extrem stark ansteigen, aber die Werte gehen in der Regel später zum normalen Niveau wieder zurück.
SEO/SEA Unterstützung?
Suchen Sie einen leidenschaftlichen Experten im Bereich SEO oder Google Ads? Kontaktieren Sie mich einfach und unverbindlich.Andreas Reisch
seo@andreasreisch.com