Was ist das Crawl Budget?

No Comments
Was ist das Crawl Budget?

Das Crawl Budget beschreibt die Dauer, welche die Suchmaschinen aufbringen, eine Website zu crawlen. Die Verweildauer der Searchbots kann durch eine ganzheitliche Website-Optimierung erhöht werden. Erfahren Sie im folgenden Beitrag, welche Einflussfaktoren dafür erforderlich sind und welche Fehler Sie vermeiden sollten.

Worum handelt es sich beim Crawl-Budget?

Jeder Crawl ist für die Suchmaschinen mit Kosten verbunden, dem Budget. Je länger ein Vorgang durch die Bots dauert, desto mehr Zeit und Geld investieren die Suchmaschinen in ihn. Ein 15-sekündiger Crawl ist also günstiger, als wenn der Crawler 30 Sekunden lang, oder länger, die einzelnen Webseiten bewertet. Je höher das programmierte Budget ist, desto mehr Unterseiten können abgerufen und durchsucht werden. Daher ist ein hohes Budget für jeden Seitenbetreiber erstrebenswert.

Wie kann dieses Budget gesteigert werden?

Im Suchmaschinenmarketing gibt es Möglichkeiten, die Verweildauer der Bots zu steigern. Das können Sie bspw. durch relevanten Content erreichen. Damit die Suchmaschine alle wichtigen Unterseiten crawlt, ist eine interne Verlinkung auf der Internetpräsenz zu empfehlen. Die Links führen idealerweise zu wichtigen Zielseiten, wie bspw. der Angebotsseite, was deren Rankings beeinflussen wird. Neben der internen Verlinkung ist auch die Zahl der vorhandenen Backlinks maßgeblich für die Dauer eines Crawls und das dafür eingesetzte Budget. Die Webseiteninhalte sind dabei nur ein Teil der Optimierung, auch eine leichte Navigation ist wichtig. Zudem sollte eine Website aus nicht zu vielen Unterseiten bestehen. Darüber hinaus sollte Ihre Website regelmäßig aktualisiert werden, denn das Internet wird tagtäglich von Google und Co gecrawlt. Nahezu ebenso häufig ändern sich die Algorithmen, also die Vorgaben, nach denen die Searchbots arbeiten. Bei all den Möglichkeiten, diese Searchbots bestmöglich auszunutzen und so in den Suchergebnissen weiter vorn zu landen, ist es nicht verwunderlich, dass die sogenannte Crawl Budget-Optimierung zu einem wichtigen Teil der Suchmaschinenoptimierung herangewachsen ist.

Typische Fehler zur Verschwendung des Budgets:

Viele Unterseiten werden nicht gecrawlt, weil sie zu wenig Inhalt aufweisen. Auch fehlerhafte Zielseiten, die etwa einen 404 Fehlercode anzeigen, verschwenden wertvolle Ressourcen, denn die Zeit für einen Crawl ist bekanntlich begrenzt.

Fazit zum Crawl Budget

Das Budget für einen Crawl beinhaltet den Aufwand und die Geldmittel, welche für die einzelnen Crawls nötig sind. Mit entsprechenden SEO-Maßnahmen kann dieses Budget gesteigert werden, was letztendlich ein besseres Ergebnis in den Suchanfragen zur Folge hat. Es gibt Möglichkeiten die Verweildauer der Crawler zu steigern, jedoch auch Fehler, welche sie verringern oder unnötig Zeit rauben.

Online Marketing Freelancer für Suchmaschinenmarketing. Spezialisiert auf die Bereiche Suchmaschinenoptimierung (SEO) & bezahlte Suchmaschinenwerbung (SEA). Online Marketing seit 2010.

Mehr Blog-Beiträge

Neue Beiträge