Qualitätsvergleich von Onpage Crawlern

Hinweise zum Artikel
Gastautor: Daniel Wette
Vortrag auf der SEO Campixx 2015
Referenten: Victoria Samarina und Daniel Wette

In bisherige Tests von Onpagetools wurden häufig nur Features, Preise und UX bewertet. Ein solcher Vergleich ist als Überblick sicherlich auch sinnvoll, scheitert aber teilweise an den unterschiedlichen Ausrichtungen der Tools. So kann ich ein „Audisto“ (ehemals strucr) beispielsweise überhaupt nicht mit SISTRIX vergleichen. In unserem Test haben wir uns daher nur den Teil der Tools angesehen, bei welchem sie alle vergleichbar sind. Dem Crawler.

Planung und Vorbereitung

Als aller erstes haben wir in einem Brainstorming uns alle möglichen Sachen überlegt, mit welchen ein Crawler auf einer Internetseite zurechtkommen muss. Diese lassen sich grob in die Bereiche URL Normalisierung, Redirects, Relative Verlinkungen und Nofollow untergliedern. Hinzu kamen noch einige Einzeltests zu Themen wie robots.txt, Mentions, Javascript etc.

Zu jedem dieser Bereiche sind dann verschiedene Tests ausgearbeitet worden, welche wir alle in einem Testprojekt umgesetzt haben. Jetzt konnte der eigentliche Test endlich starten. Verglichen haben wir die folgenden Tools:

Audisto (ehemals strucr), Seoratio Tools, Deepcrawl, Botify, crawl.me, Onpage.org, OnpageDoc, SEORCH, SISTRIX, Searchmetrics, XOVI und Screaming Frog.

Der eigentliche Crawler-Test

Jedes Tools hat hierfür das Testprojekt gecrawlt. Wir haben dann die Daten der gecrawlten Seiten aus den Tools exportiert (ein Hoch auf die Tools mit Export-Funktionen!) und in einer großen Excel-Tabelle mit den Sollwerten verglichen. Bei vielen der Tests mussten wir ein negatives Ergebnis aber nochmals im Tool verifizieren. So werden von einigen Crawlern beispielsweise per „Nofollow-Attribut“ Verlinkte Seiten trotzdem gecrawlt. Im Tool wird diese Information aber entsprechend aufbereitet und auch so verarbeitet.

Obwohl unser Testprojekt mit rund 150 Seiten recht übersichtlich war, waren die Datenmengen, welche wir nun manuell auswerten und verifizieren mussten doch viel größer, als wir annahmen. Da der Vortrag aber bei Marco eingereicht war mussten wir da nun durch.

Für die Finale Auswertung haben wir verschiedene Einzeltests zu Testgruppen zusammengefasst. So wurde dann beispielsweise aus den 8 Einzeltests zum Thema relative Verlinkungen eine Testgruppe. Wenn ein Tool bei einem der Tests durchgefallen war, war damit die gesamte Testgruppe durchgefallen. Durch dieses Aggregieren haben wir insgesamt aber eine faire Vergleichsbasis geschaffen.

Auffälligkeiten

Besonders viele Schwierigkeiten hatten die Tools mit der Normalisierung von doppelten Slash innerhalb von einer URL (http://www.test.de/test//test.html). Dies haben nur die Crawler von audisto und von SISTRIX entsprechend normalisiert.

Auch die Erkennung von Weiterleitungs-Ketten können die wenigsten Tools. Es werden zwar meistens die einzelnen Weiterleitungen erkannt und auch gecrawlt. Hier dann aber abhängig vom Tool in unterschiedlichen Tiefen. Eine Ausweisung als Redirect-Kette bzw. eine Analyse dieser Kette erfolgt nicht. Dies ist einem vielleicht etwas gemeinen Test aufgefallen in welchem wir bei einer Weiterleitungskette die letzte Weiterleitung dann auf die erste gesetzt haben und damit einen Loop erzeugten. Diesen Test hat ausschließlich audisto noch erfolgreich bestanden.

Zweidrittel der Tools sind auch am Themenblock der Normalisierung gescheitert. Erste erneute Crawls nach dem Test zeigten aber bereits, dass Toolanbieter sich um die Probleme kümmern um sie zu beheben.

Ein letzter auffälliger Punkt war, dass knapp 60% der Tools den x-robot Tag „nofollow“ ignorieren und auch in den Analysen nicht berücksichtigen.

Das kein Tool alle Tests bestanden hat, zeigt wie komplex das Thema Crawling ist. Unser Test-Projekt bestand natürlich überwiegend aus Tests, welche in normalen Projekten nur eher selten vorkommen. Damit ist die Fehlerquote der Tools in der „freien Wildbahn“ eventuell geringer als in unserem Versuch. Aber es zeigt auch, dass es Qualitätsunterschiede gibt, welche man bei der Toolauswahl durchaus berücksichtigen sollte. Und es gibt viele weitere Szenarien im Code von Webseiten, die selbst in umfangreichen Brainstormings einfach nicht ans Licht kommen.

Die Resultate

Im Gesamtergebnis konnte Audisto sehr überzeugend den ersten Platz erzielen. SISTRIX hat mit den zweiten Platz gezeigt, dass man auch als „Allround“ Tool eine hohe Crawlingqualität erreichen kann und auch OnPage.org, Seoratio Tools und der Screaming Frog welche sich den dritten Platz in unserem Test teilen konnten insgesamt mit sehr guten Ergebnissen überzeugen.

Onpage Crawler Auswertung
Onpage Crawler Auswertung – Klicken für Vollbild

Onpage-Crawler Gewinner

!Ende vom Gastartikel

Danke

Daniel Wette, Betreiber von RankingCoach für die Bereitstellung der Präsentation und des Gastartikels. Ich weiß wie aufwändig eine solche Auswertung ist und finde es toll, wenn sich jemand diese Zeit nimmt und es so objektiv wie möglich durchführt.

Rohdaten herunterladen

Du kannst über nachfolgendes Formular die Rohdaten aus dem Test anfordern. Diese werden dir nach der fertigen Anmeldung bereitgestellt. Weitere E-Mails folgen im Anschluss nicht. Es ist also völlig in Ordnung wenn man sich danach wieder austrägt.

[wysija_form id=“4″]

Ich würde mich freuen wenn du diesen Artikel auf Facebook & Co. weiterleiten würdest. Die entsprechenden Buttons kennst du ja.

Mein Fazit

Teuer ist nicht immer gut und mit niedrigen Preisen trifft man auch nicht immer die beste Wahl. Viele Probleme die dieser Test aufdeckte, bemerkt man in der Oberfläche der Tools gar nicht. Sie bleiben für den Anwender oft unentdeckt. Und das ist das Problem. Denn Fehler die auf der Webseite vorliegen, werden nicht übermittelt und können deshalb nicht durch den Seitenbetreiber behoben werden. Gerade dafür aber – also zur Behebung von Fehlern – abonniert man die oft kostenintensiven Tools.

Die genaue Rangliste der Tools ist in der Präsentation zu finden und die Rohdaten sprechen auch für sich. Es bleibt also die Erkenntnis, sich genau überlegen zu müssen welches Tool den eigenen Ansprüchen gerecht wird und was man will. SISTRIX Toolbox, Onpage.org, SEORatio und Audisto sind die Gewinner der Auswertung in Bezug auf reine Online-Tools.

Ich hoffe natürlich darauf, dass die Toolanbieter die Resultate nutzen um ihre Crawler entsprechend zu verbessern. Teilweise sind es ja wirklich notwendige Verbesserungen!

Soeren
Ich bin Soeren, Blogger und Betreiber von eisy.eu. Über die Jahre hat es sich ergeben, dass mich viele einfach eisy nennen. Das ist okay. :-) Ich blogge seit 2005 und teile hier mein Wissen und meine Erfahrungen.