Definition
Der Googlebot ist der Web-Crawler von Google, der automatisiert Websites durchsucht, Content erfasst und für den Google-Index aufbereitet.
Bedeutung für SEO
Der Googlebot entscheidet, welche Seiten wie oft gecrawlt werden. Optimierung für Googlebot = Optimierung der Indexierung.
Googlebot-Varianten
- Googlebot Desktop: Standard-Crawler
- Googlebot Mobile: Mobile-First Indexing (primär)
- Googlebot Image: Bilder-Indexierung
- Googlebot Video: Video-Content
Praxis-Tipp
- Googlebot in robots.txt nicht blockieren
- Server-Antwortzeiten optimieren
- Crawl-Budget effizient nutzen
- User-Agent nicht cloaken
Hinweis: Seit 2019 nutzt Google primär den Mobile-Googlebot für Rankings.
Googlebot-Identifikation
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)