Crawl-Budget
Was ist ein Crawl-Budget bei der Indexierung einer Webseite? Warum ist eine gezielte Indexierung einer Seite so wichtig?Bei einem Crawl-Budget handelt sich um Ressourcen, welche eine Suchmaschine für die Indexierung einer Seite zur Verfügung stellt. Das Budget wirkt sich auf die Häufigkeit wie oft eine Suchmaschine eine Webseite besucht und wie viele Seiten herunterlädt, um diese zu indexieren, zu überwachen und zu aktualisieren.
Warum ist die Optimierung von „Crawl-Budget“ so wichtig?
- Damit wird man einer Suchmaschine geholfen, die Crawl-Ressource in die Untersuchung der wichtigen Inhalte zu investieren.
- Auf diese Weise kann verhindert werden, dass eine Suchmaschine nutzlose URLs crawlt und somit die Ressourcen / das Budget verschwendet.
- Im Endeffekt verbessern Sie die Indexierung Ihrer Webseite, stärken Vertrauen einer Suchmaschine und das Ranking Ihrer Webseite.
Wovon hängt Crawl-Budget ab?
- Die Höhe von Crawl-Budget hängt im Wesentlichen von der Popularität bzw. dem Ranking der jeweiligen Webseite ab.
- Eine dynamische Webseite wird öfter gecrawlt. So kann eine Suchmaschine die neuen Inhalte schneller entdecken und die gelöschten rechtzeitig entfernen.
- Das Crawl-Budget wird innerhalb einer Seite unterschiedlich verteilt – Die Content-Seiten /-Bereiche einer Webseite werden öfter gecrawlt, wenn diese höhere Relevanz und eine geringe Absprungsrate haben.
- Intern und extern gut verlinkte Seiten werden häufiger gecrawlt.
Wie lässt sich Crawl-Budget messen?
- Jede Suchmaschine bietet eigene Webmaster-Tools an. Beispielsweise in Google Webmaster Tools können Sie im Bereich „Crawl-Statistiken“ kontrollieren, wie Google Ihre Webseite crawlt. Diese Werte können von tatsächlichen Crawl-Budget abweichen. Für eine Übersicht sind diese Daten jedoch ausreichend.
- Ein zusätzlicher Vorteil beim Ermessen des Budgets ist die Auswertung der Logfliges Ihrer Webseite, diese Daten sind meistens viel genauer. Anhand dieser Daten können Sie sehen, welche URLs und wann diese von den Google-Bots besucht wurden.
Wie optimiert man Crawl-Budget?
Das Crawl-Budget steht im direkten Zusammenhang mit der Optimierung der Indexierung einer Webseite. Detaillierte Infos finden Sie in „Optimierung der Indexierung“.
SEO/SEA Unterstützung?
Suchen Sie einen leidenschaftlichen Experten im Bereich SEO oder Google Ads? Kontaktieren Sie mich einfach und unverbindlich.Andreas Reisch
seo@andreasreisch.com