Definition
Log File Analysis ist die Auswertung von Server-Log-Dateien, um zu verstehen, wie Crawler (Googlebot) eine Website besuchen und crawlen.
Bedeutung für SEO
Zeigt echtes Crawler-Verhalten: welche Seiten werden wie oft gecrawlt, Crawl-Fehler, Crawl-Budget-Verschwendung, Bot-Traffic vs. User-Traffic.
Was Log-Analyse zeigt
- Crawl-Frequenz pro Seite
- Uncrawlbare Seiten
- Crawl-Budget-Verteilung
- HTTP-Statuscodes
- Bot-Typen (Googlebot, Bing, etc.)
- Crawling-Ineffizienzen
Tools
- Screaming Frog Log File Analyser
- OnCrawl
- Botify
- Custom Scripts (Python, etc.)
Praxis-Tipp
- Wichtig für große Sites (10.000+ URLs)
- Regelmäßig auswerten
- Crawl-Budget-Verschwendung identifizieren
- Unwichtige Seiten per robots.txt blockieren
Hinweis: Log-Analyse ist Advanced SEO - für kleinere Sites optional.