Log-File-Analyse für SEO
Was verraten Server-Logfiles über das Crawlverhalten von Googlebot und wie nutzt man diese Daten für die SEO?- Was ist eine Log-File-Analyse?
- Welche Informationen liefern Logfiles?
- Log-Files finden und lesen
- Wichtige Erkenntnisse aus Logfiles
- Tools für die Log-File-Analyse
- Massnahmen ableiten
Was ist eine Log-File-Analyse?
Eine Log-File-Analyse ist die Auswertung der Zugangsprotokolle (Access Logs) eines Webservers, um zu verstehen, wie Suchmaschinen-Crawler Ihre Webseite besuchen. Während Google Search Console Daten von Google bereitstellt, zeigen Server-Logfiles das tatsächliche Crawlverhalten aus Perspektive des Servers.
Jedes Mal, wenn Googlebot eine Ressource auf Ihrem Server abruft, wird dieser Zugriff im Access Log protokolliert. Die Log-File-Analyse ist damit eine der direktesten Methoden, um das Crawl-Verhalten von Suchmaschinen zu verstehen.
Welche Informationen liefern Logfiles?
Ein typischer Log-File-Eintrag enthält folgende Informationen:
66.249.64.xxx - - [12/Mar/2026:10:23:45 +0100] "GET /produkt/rotes-hemd HTTP/1.1" 200 4521 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"- IP-Adresse – Anhand der IP lässt sich der Bot identifizieren
- Datum und Uhrzeit – Wann wurde die Ressource aufgerufen?
- HTTP-Methode und URL – Welche Seite wurde aufgerufen?
- HTTP-Statuscode – 200 (OK), 301 (Weiterleitung), 404 (nicht gefunden)
- Grösse der Antwort – In Bytes
- User-Agent – Welcher Bot oder Browser hat die Anfrage gestellt?
Log-Files finden und lesen
Log-Files befinden sich auf dem Webserver. Die genaue Lokation hängt vom Server und der Konfiguration ab:
- Apache – Standardmässig unter
/var/log/apache2/access.log(Linux) - Nginx – Standardmässig unter
/var/log/nginx/access.log - Managed Hosting – Viele Hosting-Anbieter stellen Log-Dateien über das Control Panel (cPanel, Plesk) zum Download bereit
Für eine aussagekräftige Analyse empfiehlt sich die Auswertung von mindestens 30 Tagen Logdaten.
Wichtige Erkenntnisse aus Logfiles
- Welche Seiten werden gecrawlt? – Verbringt Googlebot zu viel Zeit auf unwichtigen Seiten?
- Welche Seiten werden NICHT gecrawlt? – Wichtige Seiten, die selten oder nie gecrawlt werden, fehlen möglicherweise interne Links
- Wie oft crawlt Googlebot? – Die Crawl-Frequenz gibt Aufschluss über die wahrgenommene Relevanz
- Welche Statuscodes liefert der Server? – Viele 404-Fehler oder 301-Weiterleitungen sind problematisch
- Antwortzeiten – Wie schnell antwortet der Server auf Bot-Anfragen?
Tools für die Log-File-Analyse
- Screaming Frog Log File Analyser – Eigenständiges Tool für SEO-Log-File-Analysen. Sehr benutzerfreundlich, kann Googlebot-Besuche filtern und visualisieren.
- SEMrush Log File Analyser – Teil der SEMrush-Suite, bietet gute Visualisierungen der Crawl-Aktivität.
- JetOctopus – Cloud-basiertes Tool für grosse Webseiten.
- Excel / Google Sheets – Für kleinere Log-Dateien und einfache Auswertungen.
Massnahmen ableiten
- Unwichtige gecrawlte Seiten blockieren – über robots.txt blockieren
- Interne Links zu wenig gecrawlten Seiten hinzufügen
- 404-Fehler beheben – Defekte Links reparieren oder 301-Weiterleitungen einrichten
- Weiterleitungsketten verkürzen – Direkte Links statt Weiterleitungsketten
- Server-Performance verbessern – Wenn Antwortzeiten im Log hoch sind
Weitere Informationen zum Crawl-Budget finden Sie auf der Seite Crawl-Budget Optimierung. Die technischen Grundlagen werden in der Übersicht der Technischen SEO erklärt.