robots.txt: Google Webmaster Tools helfen noch mehr beim Testen
Wer für seine Website eine robots.txt-Datei hochgeladen hat, um für (bestimmte) Suchmaschinen das Crawling zu reglementieren, der ist das eine oder andere Mal sicherlich schon auf Schwierigkeiten gestoßen. Google hat daher aktuell eine Änderung in den Webmaster Tools bekannt gegeben, die künftig beim Testen oder vielmehr der Fehlersuche helfen soll.
Insbesondere bei umfangreichen robots.txt-Dateien verliert man zuweilen die Übersicht, welche Regel welchen Effekt hat. Daher hat das neue Feature durchaus seine Berechtigung. Es ist unter folgendem Menüpunkt zu finden:
… wahlweise unter https://www.google.com/webmasters/tools/robots-testing-tool
Dort ist zunächst die aktuelle robots.txt Datei zu sehen, darunter eine Eingabemaske für eine zu testende URL:
Außerdem lässt sich der passende Googlebot zum Testen der URL auswählen:
Das ist beispielsweise dann wichtig, wenn etwa “Googlebot Mobile” keinen Zugriff auf die Website-Daten der Desktop-Version bekommen soll oder der “normale” Googlebot nicht die auf die mobile Seite darf.
Soweit, so bekannt. Wenn beim Test einer URL die robots.txt das Crawling verhindert, meldet das das Tool zum einen über ein “Blockiert” neben der URL, zum anderen – und das ist das Neue – durch eine rote Markierung innerhalb der darüber stehenden Zeilen der robots.txt:
Wer jetzt sichergehen möchte, dass die URL nicht zusätzlich von einer anderen Regel in der Datei gesperrt wird, kann zum Beispiel die markierte Zeile in dem Feld löschen, sie bearbeiten, eine Zeile ergänzen, … und erneut testen.
Die Änderung in den Zeilen der Eingabemaske wirkt sich allerdings nicht auf die hochgeladene robots.txt aus, sondern ist nur für den Test innerhalb der Webmaster Tools wirksam. Wer tatsächlich persistente Änderungen durchführen möchte, kommt nicht drum herum eine neue robots.txt-Datei hochzuladen. Dennoch: Besonders die neue Markierung ist sehr hilfreich bei der Fehlersuche.
Was außerdem neu ist, beschreibt Google im Blogpost so:
Additionally, you’ll be able to review older versions of your robots.txt file, and see when access issues block us from crawling. For example, if Googlebot sees a 500 server error for the robots.txt file, we’ll generally pause further crawling of the website.
Die Webmaster Tools zeigen oberhalb des Fensters mit den robots.txt-Zeilen daher folgendes an:
Beziehungsweise bei Klick auf die Zeile die Historie:
Dort ließe sich dann eine ältere Version der robots.txt-Datei zum Testen wählen, sofern verfügbar.
Alles in allem eine sinnvolle Erweiterung in den Webmaster Tools. Insbesondere wenn die robots.txt versehentlich die falschen Inhalte oder die falschen Googlebots aussperrt, kann dieses Tool Gold wert sein – speziell bei weniger erfahrenen Webmastern.
Maik Bruns
Maik Bruns war bis 2017 Berater für SEO und Webanalyse in der Online-Marketing-Agentur Bloofusion. Als Online-Marketing-Enthusiast schrieb er zu diesen Themen im Bloofusion-Blog (damals: Die Internetkapitäne), im SEO-, SEA- und E-Commerce-Magazin suchradar und natürlich bei Twitter und Google+.
Maik Bruns ist unter anderem in den folgenden sozialen Netzwerken zu finden:
Neueste Artikel von Maik Bruns (alle ansehen)
- Google Tagmanager und Analytics: Tag doch, was du willst - 15. Februar 2017
- Webanalyse-Anbindung: Search-Console-Berichte in Google Analytics - 10. Januar 2017
- Data Driven Business 2017: eMetrics Summit, Conversion Conference und Predictive Analytics World unter einem Dach - 18. November 2016
- Mein Webinar “Google Search Console leicht gemacht” (Freitag) - 24. Oktober 2016
- Linkaufbau und Webanalyse: Link-Effektivität messen und Potenziale mit Google Analytics heben - 4. Oktober 2016