Begriff
Crawler (allgemein)
Ein automatisiertes Programm, das systematisch Webseiten besucht, deren Inhalte ausliest und Links folgt — Grundlage für Suchmaschinen-Indizes, Monitoring-Tools und AI-Trainingsdaten.
Crawler — ausführlicher erklärt
Ein Crawler (auch Spider oder Bot) startet von einer Liste bekannter URLs (Seed Set), lädt die HTML-Antwort, extrahiert Links daraus und stellt diese in eine Crawl-Queue. Robots-Protokolle (robots.txt, <meta robots>, X-Robots-Tag) und User-Agent-Identifizierung sorgen dafür, dass Site-Betreiber das Verhalten steuern können.
Crawler unterteilen sich grob in: Suchmaschinen-Crawler (Googlebot, Bingbot — bauen Indizes auf), AI-Crawler (GPTBot, ClaudeBot, PerplexityBot — sammeln Trainings- und Antwort-Daten), SEO-Tools (Screaming Frog, AhrefsBot — Audit und Konkurrenz-Analyse) sowie Monitoring/Scraper (Uptime-Checks, kommerzielle Datenextraktion).
Beispiel / Praxisbezug
Wer eine neue Site live nimmt, kann dem Googlebot per Sitemap-Eintrag in robots.txt und URL-Submission über die Search Console einen Schubs geben — sonst dauert das organische Discovery oft Tage bis Wochen.
Abgrenzung zu ähnlichen Begriffen
Crawler holt URLs und folgt Links; ein Scraper zielt auf strukturierte Datenextraktion. Indexer ist die nachgeschaltete Stufe: Crawler liefert Rohdaten, Indexer verarbeitet sie zum durchsuchbaren Index.
Entdecke mehr
301-Weiterleitung
Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.
LexikonTechnisches SEO — was Google wirklich crawlen, rendern und indexieren muss
Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.
NewsGoogle Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt
Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.