Dieses Budget hat Google für Sie vorgesehen

Wussten Sie, dass Google Ihnen ein bestimmtes Kontingent an Crawling Budget einräumt? Crawling (engl. Krabbeln) bedeutet, dass Ihre Seite vom Suchmaschinen Bot aufgerufen und untersucht wird. Dabei geht er bereits indexierten Seiten nach sowie URLs die über die Search Console eingereicht werden. Der Crawler folgt dabei Verlinkungen und entscheidet eigenständig welchen und wie vielen Links er folgt – daraus ergibt sich das für Ihren Internetauftritt festgelegte Crawling Budget.

Wie schon gesagt gibt es ein Limit für Crawlings pro Tag. Maßgeblichen Einfluss auf das Budget nehmen Aktualität und Größe einer Website. Für Betreiber bedeutet das: Je häufiger und proaktiver Sie qualitativ hochwertige (= für Ihre Zielgruppe relevante) Inhalte auf Ihre Website packen, desto stärker wird der Crawler animiert, die Besuchsfrequenz Ihrer Domain zu erhöhen. Dadurch lernt er Ihre Seite besser kennen, folgt „neuen“ Pfaden und belohnt Sie entsprechend mit besseren Rankings. Welcher Content letztlich zum Erfolg führt, kann man durch eine systematische Analyse herausfinden, bei der vor allem folgende Bereiche untersucht werden sollten:

• SEO (Keywords, Wettbewerb, User Intention, Rankings, Technical SEO)
• Webanalyse (Customer Journey, Nutzerverhalten, KPI's)
• ROI Analyse der aktuell getätigten PPC Maßnahmen

Überprüfen Sie, welche Inhalte wirklich bedeutsam sind und schließen Sie andere wiederum ggf. von der Indexierung aus. Beispiele für auszuschließende Inhalte wären dynamisch generierte URLs oder Druckversionen. Letztere finden sich häufig auf Rezeptseiten oder Bauanleitungen.

Während des Processings werden zunächst alle HTML Contents sowie statische Inhalte vom Crawler untersucht. Links, auf die er dabei stößt, werden in eine Art Warteschlange gesetzt. Da JavaScript, sofern auf einer Seite enthalten, deren Aufbau & Aussehen dynamisch verändern kann, werden diese als Nächstes vom Crawler heruntergeladen. Dieser Prozess nennt sich Rendering. Deshalb ist ein Bestandteil der Core Web Vitals Optimierung (Rankingfaktor) unter anderem die Beseitigung unnötiger JavaScript Dateien – sparen Sie dem Crawler nicht relevanten Aufwand und halten Sie ihn dadurch bei Laune. Der Weg von Crawling zur Indexierung geht also über die sogenannte Render Queue.

Die Umsetzung des Renderings findet im Webbrowser statt. Veraltete Versionen können dabei nicht immer alles so darstellen, wie vom Webdesigner und Programmierer gewünscht. Wir helfen Ihnen bei der Entscheidung, wie hoch der Grad der Abwärtskompatibilität sein sollte.

Das Crawl Budget ist insgesamt also vom Index Budget abzugrenzen. Letzteres entscheidet darüber, wie viele URLs überhaupt im Index landen. Nehmen wir beispielsweise an, Ihre Website enthält viele Seiten, bei denen ein 404-Fehlercode (Seite nicht verfügbar) ausgegeben wird, zehrt das an dem Ihnen zugewiesenen Crawling Budget. Gleichzeitig schöpfen Sie jedoch Ihr Index Budget nicht aus.

Große Websites enthalten teils viele Unterseiten. Viele dieser Unterseiten werden allerdings häufig nicht indexiert, da der Crawler sein Budget bereits zuvor aufbraucht und gar nicht so tief vordringt.

SEO (Search Engine Optimization) ist ein riesiger Teilbereich des digitalen Marketings. Eine Unterdisziplin, die sich mit der Effizienzsteuerung des Crawling Budgets auseinandersetzt, ist die Crawl Optimization. Dabei geht es um die systematische Einflussnahme auf den Algorithmus, um ihn beim Crawling und Indexieren zu steuern. Vereinfacht gesagt heißt das: Sie geben indirekt Anweisungen, welche Seiten wichtig und welche unwichtig sind und folglich welche vom Crawler im Hinblick auf Crawling Frequenz und Indexierung bevorzugt behandelt werden sollen. Dem sollte eine qualitative und quantitative Content Analyse Ihrer Website voranstehen – nur dann können Sie datenbasiert die richtige Entscheidung treffen.

Nehmen Sie gerne Kontakt mit uns für eine fundierte Content-Analyse auf!

Die Maßnahmen in der Crawl Optimization betreffen einerseits Onpage SEO und Content andererseits Handlungen in der Google Search Console. Zu den wirksamsten zählen u.a. folgende:

• Stellen Sie eine flache Seitenarchitektur sicher. Kurze Klickwege und relativ geringe Anzahl an Klickebenen
• Achten Sie auf ein sinnvolles Raster interner Seitenverlinkungen
• Weisen Sie durch die robots.txt den Algorithmus an, unwichtige Seiten nicht zu crawlen (z. B. Logins, Kontaktformulare, etc.)
• Arbeiten Sie mit noindex & nofollow
• Reichen Sie eine vollständige XML Sitemap via Search Console ein

Weitere Informationen zum Crawling Budget erhalten Sie im folgenden Video.

Sind Ihre Maßnahmen erfolgreich, stehen die Chancen gut, dass Sie sich auch im Ranking verbessern. Das hat wiederum zur Folge, dass Ihre Website häufiger gecrawlt wird und so zum einen Änderungen schneller indexiert werden und andererseits Rankings weiterer Seiten steigen.

1. Führen Sie einen SEO Audit durch und überprüfen Sie Ihre indexierten Seiten und Rankings sowie Onpage Faktoren
2. Führen Sie einen Content Audit durch, identifizieren Sie wichtige und unwichtige Seiten
3. Optimieren Sie Ihre Website im Bereich Content und beeinflussen Sie den Crawler abgestimmt auf Ihre Ziele

Wir unterstützen Sie gerne bei der Optimierung Ihrer Website. Nehmen Sie hierzu einfach Kontakt mit uns auf.