Erst letztens beim Chat mit einer Kundin war es wieder soweit: Ich hatte Ihre Website nach 3 Jahren aus dem Performance-Tief geholt, was von ihrer Design-Agentur nie richtig ernst genommen wurde. Seitdem kann sie im Dashboard genau verfolgen, welche Seiten geklickt wurden und wie oft. In der Statistik werden auch 404-Fehler angezeigt. Also Seiten, die nicht mehr aufrufbar sind. Die Umsetzung des 301 Redirects liegt bei der Design-Agentur.
Auf jeden Fall wollte meine Kundin per WhatsApp wissen, was das ist und warum sie das sieht. Daraufhin habe ich einfach nur geschrieben: Nachdem deine Website jetzt endlich in weniger als einer Sekunde lädt und keine 8 Sekunden mehr braucht, crawlt Google sie und die einzelnen Seiten werden auf Google gefunden.
Dann kam die Frage zurück: Was ist Crawling? Ich hatte natürlich nicht daran gedacht, das genauer zu erklären. Aber stimmt, was ist Crawling? Wie funktioniert es (wie crawlen Suchmaschinen?) und wozu braucht man das?
Das Wichtigste in Kürze:
- Crawling bedeutet, dass Suchmaschinen mit sogenannten Webcrawlern die Seiten Ihrer Website automatisch aufrufen, lesen und technisch erfassen, um neue oder geänderte Inhalte zu entdecken.
- Die Crawler Ihrer Website folgen dabei internen und externen Links sowie Hinweisen aus der XML-Sitemap, die Sie als Webmaster bereitstellen können.
- Crawling ist die Voraussetzung für Sichtbarkeit, denn nur Seiten, die von Webcrawlern besucht wurden, können später indexiert und in Suchergebnissen berücksichtigt werden.
- Eine saubere interne Verlinkung steuert, welche Inhalte wichtig sind, und beeinflusst direkt, wie oft und wie tief Suchmaschinen Ihre Website crawlen.
- Die Anzahl der Seiten einer Website spielt eine Rolle, da Suchmaschinen ihr Crawling-Budget aufteilen und unwichtige oder schlecht verlinkte URLs seltener besuchen.
- Crawling ist nicht gleich Ranking, sondern ein technischer Vorprozess, der im Online-Marketing häufig unterschätzt wird, aber die Basis jeder Optimierung bildet.
- Eine gepflegte XML-Sitemap dient als Leitfaden für Suchmaschinen, ersetzt jedoch keine klare Seitenstruktur und interne Verlinkung.
- Wer Crawling versteht und gezielt optimiert, sorgt dafür, dass Suchmaschinen Inhalte schneller finden, effizienter verarbeiten und korrekt einordnen können.
Was ist Crawling?
Wer wissen möchte, wie die eigenen Texte in die Suchmaschinen kommen, stolpert irgendwann über das Wort „Crawling“. Wenn Sie jetzt aber die Frage „Was ist crawling“ bei Google eingeben, dann bekommen Sie Fitnesswebsites und Fitnesstipps angezeigt. Deswegen müssen Sie, wenn es Ihnen um Copywriting und SEO (Suchmaschinenoptimierung) geht, etwas anders suchen. Nämlich beispielsweise nach „Was versteht man unter Crawling für Suchmaschinen“ oder „Wie funktionieren Web-Crawler“ etc.
Aber zurück zur Frage „Was ist Crawling?“ Einfach erklärt: Beim Crawling besuchen die Webcrawler (auch Bots oder Spider genannt) der Suchmaschinen wie Google und Bing Ihre Website und lesen und prüfen deren Inhalt.
Was sind Web-Crawler?
Web-Crawler (auch Webcrawler geschrieben) sind also Software-Programme, die automatisch das Internet durchsuchen. Entwickelt wurde der erste Crawler in den 1990er-Jahren, der „World Wide Web Wanderer“, der eigentlich nur messen sollte, wie stark das Internet wächst. Daraus entstand 1994 eine Suchmaschine mit Volltextindex. Diese war auch erstmalig für die breite Öffentlichkeit zugänglich. Und seit dieser Zeit, und mit dieser Entwicklung, tragen alle Software-Programme, die das Internet und dessen Inhalte automatisiert durchsuchen, die Bezeichnung Crawler oder Webcrawler.
Wem gehören die Crawler?
Die bekanntesten Webcrawler gehören zu diesen Firmen (Eigentümer oder Mutterkonzerne):
Tabelle: Webcrawler und Betreiber/Eigentümer
| Crawler | Betreiber | Eigentümer / Mutterfirma |
| Googlebot | Alphabet Inc. | |
| Bingbot | Microsoft | Microsoft Corporation |
| Baiduspider | Baidu | Baidu Inc. |
| YandexBot | Yandex | Yandex N.V. |
| AhrefsBot | Ahrefs | Ahrefs Pte Ltd. (Singapur) |
| SemrushBot | Semrush | Semrush Inc. |
Dazu kommen SEO-Analyse-Tools (häufig in Logs), wie:
- AhrefsBot (Ahrefs)
- SemrushBot (Semrush)
- MJ12bot (Majestic)
- Rogerbot (Moz)
Warum prüfen Webcrawler die Inhalte meiner Seite?
Webcrawler prüfen die Inhalte einer Seite, um verstehen zu können, worum es auf der Webseite geht. Dazu lesen die Bots:
- Bilder
- Text
- Videos
Anhand der Daten aus dem Html-Code Ihrer Seite erkennen sie, um welche Seite es sich handelt. Der Bot liest aus dem Code zum Beispiel „Aha, Onlineshop mit Klamotten“ oder „Blog mit veganen Rezepten“. Und das speichert er dann für die Suchergebnisse ab.
Warum brauchen Suchmaschinen Webcrawler?
Suchmaschinen brauchen Webcrawler, weil das Internet riesig ist und die Unternehmen wie Google oder Microsoft die Milliarden Seiten nicht manuell durchsuchen können. Deswegen laufen eben automatisiert deren Bots, die die Inhalte checken. Denn ohne diesen Inhaltscheck wüssten die Suchmaschinen nie, worum es auf Ihrer Seite beispielsweise geht (Onlineshop? Blog? Vlog?). Und ohne dieses Verständnis würden wir alle beim Suchen im Internet nur falsche Ergebnisse angezeigt bekommen, wenn wir eine Suchfrage eingeben. Dann kann es passieren, wenn wir ein Rezept für eine Wirsingsuppe googeln, dass wir einen Shop angezeigt bekommen, bei dem man Wirsing kaufen kann.
Damit die Ergebnisse aber immer aktuell bleiben, durchforsten die Crawler das Internet automatisch rund um die Uhr. So werden neue Seiten hinzugefügt oder alte Seiten und nicht mehr vorhandene URLs entfernt.
Was passiert bei einer Suchanfrage?
Warum die Webcrawler jetzt aber tatsächlich so wichtig sind, verstehen Sie, wenn Sie wissen, was bei einer Suchanfrage durch einen Nutzer passiert: Bei einer Suchanfrage greift Google auf seinen Suchindex zurück. In diesem Verzeichnis sind alle gesammelten Informationen der Webcrawler enthalten. Ein bestimmter Suchalgorithmus vergleicht die Informationen unter einander und spielt dann die Ergebnisse mit der höchsten Relevanz zur Suchfrage aus.
Wie arbeiten Web-Crawler?
Wie gesagt arbeiten Webcrawler automatisiert. Und zwar wie ein selbstlernendes Postsystem. Niemand gibt ihnen manuell eine Adresse vor. Stattdessen bekommen sie ihr Startsignal aus vordefinierten Listen, welche sie selbst dynamisch erweitern.
So arbeiten Webcrawler: Schritt-für-Schritt
- Startsignal (Seeds): Sie beginnen mit einer Seed-Liste. Das sind manuell vorgegebene oder bereits bekannte URLs. Dazu gehören:
- Bekannte Startseiten wie google.com oder wikipedia.orgSitemaps, die Webseitenbetreiber in Tools wie Google Search Console einreichen.
- Links von bereits gecrawlten Seiten aus früheren Runden
- Seite laden: Der Bot sendet eine HTTP-Anfrage, lädt den HTML-Code und rendert die Seite (inkl. JavaScript/CSS bei modernen Crawlern wie Googlebot).
- Inhalt auslesen: Der Webcrawler parst (zerlegt) den Code und erkennt:
- Text, Überschriften, KeywordsMeta-Tags, Links, Alt-Texte
- Strukturierte Daten (Schema.org)
- Links sammeln: Alle gefundenen Hyperlinks (intern/extern) landen in der Crawl-Frontier (Warteschlange).
- Priorisieren: Ein Scheduler sortiert die Liste nach Relevanz:
- Beliebte/populäre Seiten zuerst
- Frisch aktualisierte Inhalte werden priorisiert
- Crawl-Budget beachten (Server-Last nicht überlasten)
- Wiederholen: Nächste URL aus der Warteschlange → zurück zu Schritt 2. Alte Seiten werden zyklisch erneut gecrawlt, um Änderungen zu prüfen.
Woher wissen Crawler, wo sie anfangen müssen?
Dafür gibt es den Scheduler. Er ist „Verkehrsleiter“ im Webcrawler-System und entscheidet, welche Seite als Nächstes mit dem Crawling dran ist und wann.
Die Aufgabe des Schedulers: Suchmaschinen wie Google haben Milliarden URLs in der Warteschlange (Crawl Frontier). Der Scheduler sortiert sie nach Priorität, damit die Crawler nicht ziellos rumhüpfen:
- Hohe Priorität: Beliebte Seiten (viele Backlinks), frisch aktualisiert, Nachrichten
- Mittlere Priorität: normale Blogs, Firmenseiten
- Niedrige Priorität: seltene oder alte Inhalte
Wie entscheidet er das?
- Domain-Autorität (wichtige Seiten zuerst)
- Aktualitätsfaktor (News > alter Blog)
- Crawl-Budget (Server nicht überlasten)
- Sitemap-Anweisungen (deine Prioritäten)
- Historische Daten (wie oft sich Seite ändert)
Beispiel: Dein neuer Rezept-Post über Wirsingsuppe schießt nach oben, weil er frisch ist + Keywords passen. Ein 5 Jahre alter Shop-Text rutscht dafür zurück. Das Ganze läuft verteilt und parallel auf Tausenden Servern, 24/7. Es gibt übrigens, je nach Aufgabe, unterschiedliche Crawler
Welche Webcrawler gibt es, je nach Aufgabe?
Webcrawler gibts in verschiedenen Typen, je nach Aufgabe. Hier die wichtigsten Kategorien:
Tabelle: Crawler Typen und Aufgaben
| Kategorie | Häufigkeit | Beispiele | Aufgabe |
| Suchmaschinen | ⭐⭐⭐⭐⭐ | Googlebot, Bingbot | Webseiten indexieren, Suchindex aufbauen und aktualisieren |
| SEO-Analyse | ⭐⭐⭐⭐ | AhrefsBot, SemrushBot | Backlinks, Keywords analysieren, technische Audits durchführen |
| Social Media | ⭐⭐⭐ | Facebook External Hit | Vorschauen (Thumbnails, Titel) für Shares erstellen |
| Focused Crawler | ⭐⭐ | Themen-spezifisch | Nur relevante Seiten/Links zu einem Thema crawlen und klassifizieren |
| Data Mining/Harvester | ⭐⭐⭐ | E-Mail-Sammler | Spezifische Daten extrahieren (Profile, Adressen) |
| Scraping | ⭐⭐⭐ | Preisvergleiche | Inhalte kopieren (Preise, Texte) |
| Vermessung/Analyse | ⭐ | Wissenschaftlich | Internet-Größe, Struktur messen |
| Plagiatssuche | ⭐ | Copyscape-ähnlich | Urheberrechtsverletzungen aufspüren |
Warum ist das Crawling für Webseitenbetreiber so wichtig?
Das Crawling ist für Webseitenbetreiber deshalb so wichtig, da es ohne Crawling keine Sichtbarkeit der jeweiligen Seiten in den Suchmaschinen gibt.
Warum werden Websites ohne Crawling im Internet nicht angezeigt?
Suchmaschinen-Crawler sind die Torwächter des Internets: Nur gecrawlte Seiten landen wie gesagt im Index (dem Inhaltsverzeichnis der Suchmaschinen) und können bei Suchen aufgelistet werden. Und das Inhaltsverzeichnis wird ausschließlich durch die Crawler befüllt.
Konkret bedeutet das:
- Gecrawlt = Indexiert = Kann ranken
- Nicht gecrawlt = Unsichtbar (auch perfekter Inhalt hilft nichts)
Aber: Der Crawler entscheidet nicht allein, ob eine Seite dann in den Suchergebnissen aufgelistet wird. Das entscheidet die Suchmaschine allein.
Warum werden Websites trotz Crawling im Internet nicht angezeigt?
Websites werden also trotz Crawling nicht angezeigt, weil eben Crawling ≠ Indexierung ≠ Ranking. Der Crawler hat die Seite gesehen, aber Google entscheidet danach: „Braucht das jemand?“
Was Google konkret abwägt (Tabelle: Was Crawling ≠ Indexiert beeinflusst):
| ❌ | „Thin Content“ (zu wenig Text/Wert) |
| ❌ | Duplikat (gibt bessere Version) |
| ❌ | Schlechte Nutzererfahrung (langsam, mobile-unfreundlich) |
| ❌ | Keine Autorität (wenig Backlinks) |
| ❌ | Noindex / robots.txt-Blockade |
| ✅ | Einzigartig, hilfreich, technisch top → INDEXIERT |
Beispiel: Sie haben einen 50 Wörter Text zu „Wirsingsuppe“ vs. ein 2000-Wörter-Rezept mit Video → Google speichert das dicke Rezept und ignoriert das Ihre.
Sie sehen das in Ihrer Google Search Console unter dem Status: „Gefunden, aktuell nicht indexiert“. Damit sagt Ihnen Google: „Hab dich gesehen, aber der Inhalt ist nicht wichtig genug.“
Deshalb ist die Indexierung der nächste kritische Schritt für das Ranking in den Suchergebnissen. Ohne die Indexierung gibt es kein Ranking und keinen Traffic.
Warum Suchmaschinen eine Seite nicht ständig crawlen
Es gibt aber noch weitere Einschränkungen beim Crawling, nicht nur, dass ein Inhalt zu schlecht ist. Das ist das Crawl‑Budget.
Was ist das Crawl-Budget?
Das Crawl‑Budget ist das Kontingent an Ressourcen, das die Suchmaschinen bereit sind, für das Besuchen Ihrer Website zu verwenden.
Wie bestimmen Suchmaschinen das Crawl-Budget?
Suchmaschinen (v. a. Google) bestimmen das Crawl‑Budget pro Website über zwei Bausteine: Wie viel sie technisch crawlen können und wie sehr sie crawlen wollen.
- Crawling‑Kapazitätslimit („können“): Das ist die technische Obergrenze, damit der Server nicht überlastet wird. Wenn eine Website schnell und stabil antwortet, kann u.a. Google in der Regel mehr Seiten in kürzerer Zeit abrufen. Je schlechter die Performance einer Seite, bei häufigen Timeouts oder vielen Serverfehlern, wird die Crawl‑Rate gedrosselt.
- Crawling‑Bedarf („wollen“): Selbst, wenn Ihre Website auf einem schnellen Server liegt, crawlt Google bei geringem Bedarf seltener. Ein hoher Bedarf entsteht typischerweise, wenn Inhalte häufig aktualisiert werden, oder bestimmte URLs als wichtiger/populärer eingestuft werden (weil sie häufiger gebraucht werden).
Was bedeutet das Crawl-Budget für die einzelnen Websites?
Google legt das Budget dynamisch fest: Eine große, oft aktualisierte und technisch stabile Website bekommt tendenziell mehr Crawling Aufmerksamkeit als eine kleine, selten aktualisierte oder technisch „fehlerhafte“ Seite.
Hinzukommt: Viele unnötige URLs (z. B. Filter-/Parameter-Varianten oder Fehlerseiten) können Ihre Crawling Ressourcen aufbrauchen.
Kann ich das Crawling einer Seite auch bewusst verhindern?
Ja, Sie können das Crawling bestimmter Seiten auch bewusst verhindern. Das ist durchaus sinnvoll, je nach Seite:
Warum ist es sinnvoll, das Crawling von bestimmten Seiten zu verhindern?
| Vorteil | Nachteil |
| ✅ Server entlasten | ❌ Bei Fehlern: Teile unsichtbar |
| ✅ Crawl-Budget für wichtige Seiten | ❌ Duplikate werden nicht gefunden |
| ✅ Datenschutz (KI-Training) | ❌ SEO-Chancen verpasst |
Für welche Seiten ist es sinnvoll und für welche nicht?
Diese Seiten brauchen keine Sichtbarkeit (Tabelle):
| Seiten-Typ | Warum sinnvoll? | Beste Methode |
| Impressum/Datenschutz | RechtsPflicht, kein Suchwert | robots.txt + noindex |
| AGB/Versandkosten | Standardtexte, Duplikat-Risiko | noindex |
| Admin-Login/Backoffice | Sicherheitsrisiko | Passwortschutz |
| Dankesseiten (danke.html) | Einmalig, kein Traffic-Wert | noindex |
| Interne Filter/Suche | Duplikate möglich | noindex, nofollow |
| Test-/Staging-Seiten | Verwechslungsgefahr | robots.txt |
Diese Seiten brauchen Sichtbarkeit (Tabelle):
| Seiten-Typ | Warum zwingend? | Tipp |
| Blogbeiträge/Produkte | Haupteinnahmequelle | Immer crawlen lassen |
| Startseite/Landings | Markenaufbau | Sitemap einreichen |
| Service-Seiten | Stadt + Dienstleister Suchen | Optimieren |
| Kategorien/Portfolio | Navigationstraffic | Interne Links |
Hier brauchen Sie die Indexierung für Traffic/SEO. Aber bei Seiten, etwa dem Impressum oder Datenschutz, da können Sie das Crawling wie gesagt verhindern.
Wie schließen Sie Seiten aus dem Crawling aus?
Am besten schließen Sie Seiten aus dem Crawling wie folgt aus:
1) robots.txt (Website‑weit, für bestimmte Pfade)
Ziel: Bestimmte Bereiche (z. B. /Impressum/ oder /AGB/) sollen von Crawlern gar nicht erst besucht werden.
So gehen Sie vor:
- Öffnen Sie im Hosting/CMS den Dateimanager.
- Suchen Sie im Hauptverzeichnis (Root) die Datei robots.txt (oder legen Sie sie an).
- Tragen Sie dort Regeln ein, welche Verzeichnisse Bots nicht crawlen sollen.
- Speichern und prüfen: ihre-domain.de/robots.txt im Browser öffnen.
Beispiel-Regeln (Inhalt der robots.txt):
User-agent: *
Disallow: /impressum/
Disallow: /agb/
2) Meta-Tag „noindex“ (pro Seite)
Ziel: Die Seite darf aufgerufen werden, soll aber nicht in Google erscheinen (nicht indexiert werden).
So gehen Sie vor:
- Öffnen Sie die betreffende Seite im CMS/Editor.
- Fügen Sie die Einstellung „noindex“ hinzu (häufig über ein SEO‑Plugin oder Seiteneinstellungen).
- Speichern/Veröffentlichen.
Merksatz: „noindex“ = Seite darf existieren, soll aber nicht in den Suchergebnissen auftauchen.
3) HTTP-Status 410/404 (starkes Signal)
Ziel: Die Seite soll als gelöscht gelten, damit Suchmaschinen sie aus dem Index entfernen.
So gehen Sie vor:
- Wenn die Seite wirklich weg soll: Seite löschen und sicherstellen, dass der Server 404 (nicht gefunden) liefert.
- Wenn die Seite bewusst dauerhaft entfernt wurde: 410 (Gone) ist noch eindeutiger.
- Danach wartet man, bis Suchmaschinen das beim nächsten Besuch übernehmen.
Merksatz: 404/410 = Seite existiert nicht (mehr) → wird typischerweise aus dem Index entfernt.
4) Passwortschutz (HTTP-Auth / Verzeichnisschutz)
Ziel: Bots (und Menschen) kommen ohne Login gar nicht auf die Seite.
So gehen Sie vor:
- Im Hosting‑Panel nach „Verzeichnisschutz“, „Passwortschutz“ oder „HTTP Authentication“ suchen.
- Den Ordner auswählen (z. B. /Impressum/), Benutzer/Passwort vergeben, aktivieren.
- Test: Seite im Inkognito-Fenster öffnen → Passwortabfrage muss erscheinen.
Merksatz: Passwortschutz = wirklich dicht (auch gegen Bots, die robots.txt ignorieren).
Empfehlung für Impressum/AGB
Wenn Impressum/AGB online sichtbar sein sollen, aber nicht in Google ranken müssen, ist noindex meist die sauberste Lösung.
Anleitung für WordPress
In WordPress geht das Ausschließen aus dem Crawling am besten über ein SEO‑Plugin (noindex) oder über eine robots.txt‑Funktion im SEO‑Plugin.
Option 1: Seite „nicht bei Google anzeigen“ (noindex), empfohlen für Impressum/AGB
Wenn Sie mit Yoast SEO arbeiten:
- WordPress → Seiten → „Impressum“ (oder „AGB“) → Bearbeiten.
- Nach unten zum Yoast‑Bereich scrollen.
- Tab/Abschnitt „Erweitert“ öffnen.
- Einstellung „Erlaube Suchmaschinen, diese Seite in den Suchergebnissen anzuzeigen?“ auf „Nein“ setzen.
- Aktualisieren klicken.
Wenn Sie mit Rank Math arbeiten:
- WordPress → Seiten → Seite bearbeiten.
- Im Rank‑Math‑Kasten auf „Advanced/Erweitert“ gehen.
- Bei Robots Meta „No Index“ aktivieren.
- Aktualisieren klicken.
Option 2: Crawling reduzieren (robots.txt), optional zusätzlich
Wenn Sie ein Plugin wie All in One SEO haben, können Sie die robots.txt im Backend pflegen:
- WordPress → All in One SEO → Tools → Robots.txt (Robots.txt Editor).
- Custom Robots.txt aktivieren.
- Regeln hinzufügen, um z. B. /Impressum/ und /agb/ zu sperren.
- Speichern und prüfen, ob ihre-domain.de/robots.txt die Regeln zeigt.
Neue Entwicklung im Crawling: Was sind KI-Webcrawler?
KI‑Webcrawler sind Bots, die Webseiten ebenfalls automatisch abrufen und Inhalte sammeln. Aber nicht ausschließlich für den klassischen Suchindex, sondern um die KI-Systeme mit Informationen zu versorgen. Oder aber auch, um große Sprachmodelle (LLMs) zu trainieren. Sie funktionieren ähnlich wie normale Web-Crawler (Start mit bekannten URLs, Links folgen, Inhalte aus HTML lesen). Aber sie verwenden die Daten typischerweise zur Wissensextraktion/Analyse und nicht zur reinen Suchmaschinen-Indexierung. Dabei lesen sie auch Texte, Metadaten, Alttexte zu Bildern und Videos.
Welche Funktionen erfüllen KI-Webcrawler?
KI Webcrawler erfüllen im wesentlichen drei Funktionen:
- Sammeln von Trainingsdaten für LLM.
- Abruf von Informationen in Echtzeit für die Nutzerinnen und Nutzer.
- Inhalte für die KI-Suche indexieren.
Was unterscheidet einen KI Crawler von einem normalen Crawler?
Ein KI‑Crawler unterscheidet sich vom normalen Crawler vor allem in seinem Zweck und der Auswertungstiefe. Der wichtigste Unterschied ist aber: Wofür wird gecrawlt?
- Ein normaler Crawler crawlt primär, um Webseiten zu finden und in einen Suchindex aufzunehmen, damit sie später in Suchergebnissen angezeigt werden können.
- Der KI‑Crawler crawlt, um Inhalte für ein KI‑System zu sammeln, etwa fürs Training von LLMs oder um KI‑Assistenten/AI‑Search mit Informationen zu füttern (Indexing/RAG/Training).
Deswegen gibt es auch Unterschiede in der Verarbeitung der Crawlingergebnisse.
- Ein normaler Web-Crawler liest strukturiert HTML (Text, Meta‑Tags, Links) und folgt Links, um weitere Seiten zu finden.
- Der KI‑Crawler hingegen verwendet oft zusätzliche KI/LLM‑Methoden, um Inhalte semantisch zu interpretieren, um so Zusammenfassungen oder strukturierte Datensätze aus unstrukturiertem Text extrahieren zu können.
Für Website‑Betreiber bedeutet das:
KI‑Crawler können mehr „mitnehmen“ als nur reine SEO‑Signale. Eben weil sie Inhalte direkt für Modelle/Antwortsysteme verwerten, nicht nur für das Ranking.
FAQs: Häufige Fragen rund um das Thema Crawling
Web-Crawler besuchen eine Website regelmäßig. Aber die Häufigkeit hängt unter anderem vom Crawling-Budget oder der technischen Sauberkeit/Performance der Website und von der Domain-Authority (Bedeutung, Wichtigkeit) ab.
Crawler können die Metadaten von Videos verstehen. Aber die Inhalte können trotzdem nicht so umfassend interpretiert werden, wie reiner Text.
In der Google Search Console im URL‑Prüftool steht bei der betreffenden URL „Zuletzt gecrawlt“ (Datum/Uhrzeit). Daran sehen Sie, ob ein Webcrawler die Seite besucht hat.
Als Senior Texterin und Senior Copywriterin schreibe ich SEO-optimierte Texte für Unternehmen verschiedener Branchen. Außerdem biete ich extra SEO Schulungen und Texter-Schulungen an (SEO Beratung). In meiner Freizeit schreibe ich natürlich auch, bevorzugt Kinderbücher. Und wenn ich nicht am Schreibtisch sitze, genieße ich das Wandern in meiner Heimat, dem Bayerischen Wald.