Crawling & Indexierung

B2B-Shops mit Login haben SEO-spezifische Herausforderungen — der Großteil des Sortiments und Preise stehen hinter Auth, klassische Crawling-Logik greift nicht. SEO konzentriert sich auf öffentliche Trichter-Seiten.

Suchmaschine von Microsoft mit eigenem Index und Crawler (Bingbot) — versorgt zusätzlich DuckDuckGo, Yahoo, Ecosia und ChatGPT Search mit Suchergebnissen und ist damit mehr Marktanteil wert als die reine Bing-Nutzung suggeriert.

Kostenloses Tool von Microsoft zur Überwachung der Bing-Sichtbarkeit — Index-Status, Crawl-Fehler, Keyword-Reports und URL-Submission. Pendant zur Google Search Console für den Bing-Index.

Der offizielle Web-Crawler von Microsoft Bing, der Seiten für den Bing-Index erfasst und damit auch indirekt für DuckDuckGo, Yahoo und Bing-basierte AI-Antworten relevant ist.

Suchmaschine des Brave-Browser-Anbieters mit eigenem Index — datenschutzorientiert und einer der wenigen vollständig unabhängigen Indizes neben Google, Bing und Yandex.

Crawl-Budget bezeichnet die Anzahl URLs, die Googlebot in einem bestimmten Zeitraum auf einer Website crawlt — bestimmt durch Server-Last und Beliebtheit der Inhalte.

Die Geschwindigkeit, mit der ein Suchmaschinen-Crawler Anfragen an eine Site stellt — gemessen in Requests pro Sekunde oder pro Tag und automatisch an Server-Antwortzeit angepasst.

Ein automatisiertes Programm, das systematisch Webseiten besucht, deren Inhalte ausliest und Links folgt — Grundlage für Suchmaschinen-Indizes, Monitoring-Tools und AI-Trainingsdaten.

Datenschutz-fokussierte Suchmaschine, die Ergebnisse primär aus dem Bing-Index bezieht und mit eigenen Quellen (Wikipedia, Apple Maps, eigener Crawler DuckDuckBot) anreichert.

Faceted Navigation sind Filter- und Sortier-URLs in Shops und Listings (Farbe, Größe, Preis). Erzeugt schnell Millionen Crawl-URLs — Crawl-Budget-Killer ohne Steuerung via robots.txt, noindex oder Parameter-Management.

Kostenloses Google-Tool zur Überwachung der eigenen Sichtbarkeit im Google-Index — Performance-Reports, Index-Coverage, Core-Web-Vitals-Daten und URL-Inspection. Pflicht-Tool für SEO.

Googlebot ist Googles Web-Crawler, der Seiten findet, herunterlädt und für den Suchindex aufbereitet. Operiert in zwei Hauptvarianten — Smartphone und Desktop.

Hreflang ist ein HTML- bzw. Header-Attribut, das Suchmaschinen mitteilt, welche Sprach- und Regionsversionen einer Seite existieren — entscheidend für mehrsprachige Sites.

Indexierung ist der Vorgang, bei dem eine Suchmaschine eine gecrawlte URL analysiert und in ihren Suchindex aufnimmt. Crawling ≠ Indexierung — beides sind separate Schritte.

International SEO regelt, welche Sprach- und Länder-Version einer Site in welchem Markt rankt. hreflang ist das zentrale Signal — bidirektional, mit x-default-Fallback und konsistenten Canonicals pro Locale.

Kostenpflichtige Suchmaschine ohne Werbung, die Ergebnisse aus eigenen Crawlern (Teclis, TinyGem) und API-Quellen aggregiert — Zielgruppe sind Nutzer, die für werbefreie, qualitativ gefilterte Suche zahlen.

Crawler von KI-Anbietern, die Webinhalte für Training oder Live-Antworten erfassen. Beispiele — GPTBot, ClaudeBot, PerplexityBot, Google-Extended.

Log File Analysis wertet Server-Logs aus, um zu sehen, welche URLs Googlebot tatsächlich crawlt, wie oft und mit welchem Statuscode. Zeigt das echte Crawl-Verhalten — anders als Search Console (aggregiert) oder synthetische Crawler.

Indexierungs-Modus, bei dem Google primär die mobile Version einer Seite für Crawl, Index und Ranking heranzieht. Seit Juli 2024 für alle Sites Standard.

News SEO ist die SEO-Disziplin für nachrichtenorientierte Sites — Geschwindigkeit, Aktualität, News-Sitemap, NewsArticle-Schema und Aufnahme in Google News bzw. Top Stories sind die Erfolgshebel.

Robots-Direktiven, die das Indexieren bzw. das Folgen von Links auf einer Seite steuern. Werden via Meta-Tag oder X-Robots-Tag-Header gesetzt.

Die robots.txt ist eine Textdatei im Root einer Domain, die Suchmaschinen-Crawlern Regeln vorgibt, welche URLs gecrawlt werden dürfen und welche nicht.

SERP steht für Search Engine Results Page — die Ergebnisseite, die Google, Bing und andere Suchmaschinen zu einer Suchanfrage ausliefern.

Eine Sitemap ist eine XML-Datei, die alle relevanten URLs einer Website auflistet — sie hilft Suchmaschinen beim systematischen Crawling und Indexieren großer Sites.

Eine Soft 404 ist eine Seite ohne echten Inhalt (Produkt vergriffen, leere Suche), die fälschlich HTTP 200 statt 404/410 liefert. Google erkennt das meist selbst und meldet es in der Search Console.

Spam Updates sind regelmäßige Algorithmus-Anpassungen von Google, die manipulative SEO-Techniken erkennen und betroffene Seiten aus den Suchergebnissen entfernen oder deutlich abwerten.

Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.

HTTP-Header, der Robots-Direktiven (z. B. noindex, nofollow) auf Server-Ebene setzt — wirkt auch für Nicht-HTML-Ressourcen wie PDFs, Bilder oder JSON-Antworten.