Kostenlose Crawler: Konkurrenz für Screaming Frog, Ryte & Co.?

6. Mai 2021 | Von in SEO

Crawler sind im SEO-Alltag unverzichtbar – aber leider manchmal auch recht teuer. Was können denn die beiden kostenlosen Crawler SiteAnalyzer und Beam Us Up?

Eine SEO-Analyse ohne einen Crawl? Das würde wohl kein SEO machen wollen, denn viele Fehler und Potenziale lassen sich nur über ein Crawling-Tool effizient finden. Das Angebot an Tools ist relativ groß (Screaming Frog SEO Spider, DeepCrawl, Ryte, Sitebulb, Audisto …). Den professionellen Tools ist aber natürlich gemein, dass sie auch eine gewisse Investition benötigen. Gerade kleine Website-Betreiber wird das recht schnell abschrecken – und das, obwohl die Tools auch ihnen durchaus helfen könnten.

Wer kein Geld investieren möchte, kann z. B. auf die kostenlose Variante von Screaming Frog SEO Spider (www.screamingfrog.co.uk/seo-spider/) zurückgreifen. Diese bietet deutlich weniger Konfigurationsoptionen als die kostenpflichtige Version und ist vor allem auf maximal 500 URLs beschränkt.

Eine weitere Option stellt SISTRIX Smart (www.sistrix.de/smart/) dar. Dieses Tool ist sicherlich einen Blick wert – ist aber auch auf 1 000 URLs beschränkt. Dieselbe Einschränkung hat auch seobility: Nach 1.000 ist zumindest bei der kostenlosen Version Schluss.

Wer größere Websites crawlen möchte, muss aber trotzdem nicht unbedingt zum Geldbeutel greifen: So stehen mit SiteAnalyzer (site-analyzer.pro/) und Beam Us Up (beamusup.com/) zwei kostenlose und hinsichtlich der Crawl-Größe unbeschränkte Tools zur Verfügung.

Beide Tools werden nicht in der Cloud ausgeführt, sondern nutzen einfach den eigenen Rechner. Interessant ist, dass beide Tools nicht unbedingt installiert werden müssen. Man kann die beiden Crawler also auch einfach bequem von einem USB-Stick starten.

 

Eindruck

Beide Tools beherrschen die üblichen Basics. Wer also wissen möchte, welche Seitentitel zu lang und welche Meta-Descriptions zu kurz sind, kann das mit beiden Tools effizient erledigen. Hinsichtlich der Benutzeroberfläche sind gewisse Anleihen beim Screaming Frog SEO Spider nicht von der Hand zu weisen – vor allem beim SiteAnalyzer. Das muss aber natürlich nicht nachteilig sein.

Kostenlose Crawling Tools in Aktion: Filter setzen beim SiteAnalyzer
Für einen Hint kann man schnell einsehen, welche URLs betroffen sind.
Der SiteAnalyzer beherrscht auch die PageRank-Berechnung für die interne Verlinkung.

Beam Us Up scheint derzeit nicht mehr weiterentwickelt zu werden. Während auf der Website von SiteAnalyzer regelmäßig Blog-Beiträge geschrieben werden, stammt der letzte „echte“ Beitrag auf beamusup.com aus dem Mai 2017. Es gab zwar 2020 nochmal ein „Aufflackern“ (https://beamusup.com/back-in-active-development/), aber seitdem ist leider nichts mehr passiert. Bei SiteAnalyzer kann man dagegen in der Versions-Historie (https://site-analyzer.pro/version-history/) gut erkennen, dass das Projekt lebt.

SiteAnalyzer stammt übrigens von russischen Entwicklern, was vor allem dadurch auffällt, dass es einige Funktionen für die russische Suchmaschine Yandex gibt. So kann man über den Tab „Indexing“ die Indexierung in Yandex prüfen – eine Funktion, die man im Westen natürlich eher nicht braucht.

Insgesamt ist SiteAnalyzer im Vergleich zu Beam Us Up das mächtigere Tool. So gibt es z. B. einen hreflang-Check für internationale Websites und eine PageRank-Berechnung für die interne Verlinkung. Wie im Screenshot oben zu sehen ist, gibt es auch ein Feature, das dem „großen Vorbild“ Screaming Frog SEO Spider durchaus überlegen ist: So kann man direkt im SiteAnalyzer Filterkombinationen zusammenstellen und dann die Ergebnisse danach filtern. Das kann gerade bei bestimmten Fragestellungen durchaus praktisch sein.

Auch ist es mit dem SiteAnalyzer möglich, verschiedene Websites parallel im Tool vorzuhalten. Zwar kann man damit mehrere Websites nicht wirklich parallel crawlen, aber zumindest nacheinander. Zudem speichert das Tool die Crawls in einer Datenbank, sodass man darauf auch beim nächsten Programmstart wieder bequem zugreifen kann.

Im Vergleich zu den kostenpflichtigen Crawlern fehlen Beam Us Up und SiteAnalyzer natürlich Funktionen. So können beide Tools nicht mit JavaScript umgehen bzw. Websites rendern, sodass gerade bei JavaScript-lastigen Websites hier schnell Schluss ist. Und auch die vielfältigen Exportmöglichkeiten der großen Tools (vor allem Screaming Frog SEO Spider und Sitebulb) findet man bei den kostenlosen Varianten nur recht rudimentär.

 

Noch mehr?

Von den beiden Tools abgesehen gibt es noch ein paar mehr, z. B. den Greenflare SEO Web Crawler oder auch den absoluten Klassiker, den Xenu’s Link Sleuth. Vor allem “der Xenu” ist aber dann doch zu sehr in die Jahre gekommen, um wirklich noch sinnvoll eingesetzt werden zu können.

 

Fazit

Beide Tools sind gerade für Einsteiger und Gelegenheitsnutzer eine gute Wahl. Wer die komplexeren Funktionen der großen Tools nicht braucht, sollte sich vor allem den SiteAnalyzer einmal genauer ansehen.

Nächste Events

Nächste Webinare

Alle kommenden Webinare

Nächste Seminare

Alle kommenden Seminare

The following two tabs change content below.
Avatar-Foto
My Instagram profile

Markus Hövener

Markus Hövener ist Gründer und SEO Advocate der auf SEO und SEA spezialisierten Online-Marketing-Agentur Bloofusion. Als geschäftsführender Gesellschafter von Bloofusion Germany ist er verantwortlich für alle Aktivitäten in Deutschland, Österreich und der Schweiz. Markus Hövener ist Buchautor, Podcaster und Autor vieler Artikel und Studien rund um SEO.

Markus hat vier Kinder, spielt in seiner Freizeit gerne Klavier (vor allem Jazz) und genießt das Leben.

Kommentieren