Hast Du ein Indexierungsproblem? [Alles auf Start 77]

26. Januar 2023 | Von in Agenturleben

Wer gefunden werden will, muss mit seinen Inhalten im Google-Index vertreten sein. Klingt banal, ist es aber nicht, weil Google schon lange nicht mehr alle Inhalte bereitwillig indexiert. Wie findest Du heraus, ob Du ein Indexierungsproblem hast?

 

Die wichtigsten Podcast-Links:

 

Hast Du ein Indexierungsproblem?

Index ist natürlich ein sehr wichtiges Thema, denn wenn du nicht im Google-, Bing- oder Yandex- oder Sonstwie-Index bist, kannst du nicht gefunden werden. Denn nur was im Index ist, bildet eben die Grundlage der Suche. Die Suchmaschine sucht ja nicht in Echtzeit im ganzen Internet rum, sondern macht sich Kopien des Internets und packt das in seinen Index rein.

Und Indexierung ist kein gottgegebenes Recht. Das heißt, nur weil du neue Inhalte erzeugt hast, heißt es nicht, dass die auch im Index landen. Und es gibt durchaus Websites, die damit Probleme haben.

Wenn du grundsätzlich an diesem Thema später noch tiefer interessiert bist: Es gibt von mir noch eine andere Podcast-Episode, da möchte ich dich kurz querverweisen, und zwar Search Camp 168. Die heißt “Der Weg in den Google Index. Was kann schiefgehen?” Also, wenn du gleich noch mehr Lust hast, da gibt es noch mehr.

 

Wie findet denn eigentlich etwas den Weg in den Google Index?

Es müssen vier Sachen nacheinander passieren. Punkt eins ist Discovery. Das heißt, Google muss den Link oder muss die URL der jeweils konkreten Seite, um die es geht, kennen. Am besten tun sie das durch einen internen Link. Das heißt zum Beispiel, auf deiner Startseite ist ein Link zu deinem neuen Blogbeitrag. Und Google lädt sich die Startseite herunter, sieht diesen Link, sagt sich, Oh, die Seite kenne ich ja noch gar nicht.

Und dann kann das Ding nämlich in den zweiten Schritt gehen, nämlich ins Crawling. Dann kommt der sogenannte Google Bot und lädt den HTML-Code dieser Seite herunter.

Wenn das funktioniert hat, passiert Schritt Nummer drei, der ist jetzt gar nicht so kritisch für die meisten, nämlich das sogenannte Rendering. Google lädt nämlich nicht nur den HTML-Code herunter, sondern auch alle Ressourcen. Also zum Beispiel Bilder oder Fonts, JavaScript Code, CSS-Code, um die Seite vollständig darstellen zu können. Die machen also genau das Gleiche, was in einem Browser auch passiert, um zum Beispiel erkennen zu können, was ist eigentlich oben auf einer Seite, was ist unten auf einer Seite, was ist wichtig, was ist in großer Schrift, was ist in kleiner Schrift. Das konnten sie nämlich früher nicht.

Und wenn Sie das gemacht haben, dann kann Schritt vier passieren. Das heißt, diese Seite wird zerlegt, weil so als gerenderte Seite kann man sie – oder bringt sie im Index nicht viel, sondern sie muss zerlegt werden in die einzelnen Wörter und so weiter und so fort.

 

Was kann bei der Indexierung schieflaufen?

Im Prinzip ist Google also eine große Kopiermaschine, die durchs Internet rennt. Und wo immer sie was Spannendes finden, legen sie es auf den Kopierer und legen es bei sich nochmal ab. Das ist das, was da passiert. Dabei kann einiges schiefgehen. Ich verweise da auf die eben genannte Search Camp-Episode. Zum Beispiel das sogenannte Noindex. Das heißt, in einer Seite kann Noindex drinstehen. Dann steht da “meta name = robots content = noindex”. Und das heißt für Google: Sie müssen die URL kennen, dann crawlen sie das Ganze, laden es herunter, dann gucken sie sich die Seite an, dann sehen sie, “Oh, steht da Noindex drin”, und dann wird es nicht zur Indexierung kommen. Das ist natürlich eigentlich der gute Fall, denn dieses Noindex, das ist in der Regel von dir so gewollt. Und es macht durchaus Sinn, Seiten auf Noindex zu stellen.

Es kann aber auch passieren, dass Inhalte nicht indexiert werden, weil sie den Anforderungen der Suchmaschinen nicht genügen. Und diese Anforderungen sind eigentlich immer bezogen auf die Qualität der Inhalte. Und genau deswegen ist es eben wichtig zu gucken, was landet jetzt eigentlich im Index und was nicht?

 

Search Console und Sitemaps

Und dafür gibt es zwei Möglichkeiten. Und beide haben mit der Google Search Konsole zu tun. Heißt: Wenn du die nicht zur Verfügung hast – was du nicht haben solltest, also Google Search Console ist eine absolute Grundvoraussetzung, dann solltest du sie dir natürlich anlegen – ich erwarte aber natürlich, dass du sie dir schon zugänglich gemacht hast.

Deine Website wird in der Regel in der Lage sein, sogenannte XML-Sitemaps zu generieren. Das sind Auflistungen aller Seiten, aller URLs deiner Website. Prima fürs Discovery. Das heißt, ich habe hier eine Liste und da stehen alle meine 500 Seiten drin, meine 500 URLs. Und das kann ich in der Search Console hinterlegen und dann weiß Google schon mal, Ah ja, das sind die 500 Seiten, die ihm wichtig sind. Oder ihr.

Wenn man das gemacht hat, muss man erst ein bisschen warten. Klar, Google muss das Ganze erst verarbeiten und damit arbeiten und so. Und dann kann man in der Search Console in den Report “Seiten” gehen und da oben einen Filter auswählen: “Nur eingereichte Seiten”. Den übersehen die meisten. „Eingereichte Seiten“ meint in diesem Fall Seiten, die in der XML-Sitemap genannt sind.

Und da wirst du oben sehen, gibt es zwei Zahlen, nämlich einmal „indexiert“ und einmal „nicht indexiert“. Wenn du Glück hast, steht nicht indexiert auf null. Ist allerdings relativ selten so. Ich habe ein paar Kunden, die das haben. Die haben einfach 100% indexierte Seiten. Die haben allerdings auch einiges hinsichtlich der Qualität ihrer Inhalte dafür getan.

Du solltest dir jetzt das Verhältnis angucken aus indexierten und allen Seiten. Verhältnis heißt ja ein Bruch. Oben packst du einfach die Anzahl der indexierten Seiten hin und unten die Summe aus indexiert und nicht indexiert. Und das ergibt die so genannte Indexierungsrate. Wie gesagt, die kann bei 100% liegen, wenn du richtig Glück hast oder wenn du richtig gute, starke Inhalte hast, wenn jede Seite deiner Website richtig gut und stark ist, inhaltlich. Ja, sehe ich nicht so häufig. Aber nochmal, es gibt Kunden, die haben das. Ist natürlich auch, je kleiner deine Website ist, umso leichter ist es natürlich auch, eine Indexierungsrate von 100% zu erreichen.

 

Welche Indexierungsrate ist denn gut?

Ich persönlich neige immer dazu, zu sagen, es sollten mindestens 90 und gerne auch 95% überschritten werden. Interessant ist übrigens auch, in diesem Report “Seiten” kann man auch sehen, warum manches nicht indexiert wurde. Das ist leider ein bisschen wenig aussagekräftig.

Da steht jetzt nicht zum Beispiel, “Wir haben uns da eine Seite angeguckt und da waren nur 200 Wörter drauf, aber wir haben 400 erwartet.” Das wäre natürlich super hilfreich. Dann hast du eine Action und kannst sagen, Okay, ich schreibe noch 200 Wörter und dann reiche ich sie nochmal zur Indexierung ein.

Man muss natürlich sagen, manche Sachen können zeitliche Gründe haben. Also angenommen, du hast jetzt deine Webseite ganz neu gemacht und du stellst jetzt heute deine Website live, dann wird Google nicht sofort losrennen und deine komplette Website sofort crawlen, sofort rendern, sofort indexieren. Nur weil du einen Inhalt live gestellt hast, heißt das noch lange nicht, dass der auch unbedingt jetzt sofort abgeholt wird.

Und deswegen gibt es zum Beispiel ein paar Fehlermeldungen in diesem Report, die ja, einfach immer auch diesen zeitlichen Verzug beinhalten. Zum Beispiel gibt es die Meldung “gecrawlt, zurzeit nicht indexiert”. Das heißt, Google hat die Seite heruntergeladen, hat sie aber nicht in den Index übernommen. Da steht aber immer “zurzeit” drin. Das heißt, das kann mittlerweile ganz anders sein, weil alle Reports in der Google Search Console ja auch einen gewissen Zeitverzug drin haben.

Das heißt, was man hier erstmal erkennen kann, ist quasi, wie hoch ist meine Indexierungsrate? Hinsichtlich der Diagnostik hilft das Ganze nur bedingt weiter.

 

Die zweite Möglichkeit: Die URL Inspection API

Ja. Das, was ich gerade erzählt habe, war die erste Möglichkeit. Also das Hinterlegen der XML-Sitemap in der Search Console. Das ist die einfachste Möglichkeit und auch die, die du sowieso haben solltest, weil man sowieso immer XML-Sitemaps hinterlegen sollte. Selbst wenn man nur fünf Seiten hat, würde ich es trotzdem immer machen. Und sei es, weil ich dann eben Zugriff auf diese Indexierungsdaten habe. Denn ohne XML-Sitemaps habe ich diese Daten eben nicht zur Verfügung.

Und jetzt gibt es noch eine zweite Möglichkeit. Die gibt es jetzt fast ein Jahr. Die wurde im Februar 2022 eingeführt, und zwar die URL Inspection API. API – ich hoffe, das wissen viele – ist eine Programmierschnittstelle. Das heißt, man kann programmatisch Sachen abprüfen. Und hier kann man eben abprüfen, ob ganz bestimmte URLs im Index drin sind oder nicht.

Voraussetzung hier ist in jedem Fall auch ein Zugang zur Google Search Console. Und da kannst du pro Tag zweitausend URLs durchprüfen – pro Property, also quasi pro angemeldeter Website in der Search Console.

Eigentlich ist das ganz gut, aber man braucht dafür nur ein Programm. Und da gibt es eine ganze Menge. Also wenn ihr mal auch in Google nach so was sucht wie “URL Inspection API Tools”, dann werdet ihr einen ganzen Stapel davon finden. Oder natürlich, wenn ihr schon einen Screaming Frog SEO Spider habt, der kann das auch. Da gibt es nämlich unter den APIs die Funktion der „Search Console“ und da gibt es dann ein Tab für die URL Inspection, da kann man den Haken setzen und dann sagen, ja, jetzt prüft ihr bitte durch.

Und dann muss dem Tool eine Liste von URLs mitgeben. Also du hast zum Beispiel 500 Produktseiten oder 300 Newsseiten, 1000 Pressemitteilungen, was auch immer. Und diese Listen, die musst du dir natürlich irgendwie zusammenbasteln. Manchmal entstehen die auch aus einem Crawl heraus.

Dann kannst du – Schritt für Schritt – diese X URLs, die du übergibst, prüfen lassen: Sind die im Index oder sind die nicht? Und das ist wirklich – anders als die Google Search Console in der Möglichkeit eins eben, wo man eben einen gewissen Zeitverzug auch drin hat, wo die Reports nicht immer minütlich aktualisiert werden – hier ist es wirklich so, dass es aktuell ist. Das heißt, wenn das Tool dann sagt, die Seite ist nicht im Index, dann ist sie auch gerade nicht im Index.

 

Und dann?

Das sind die beiden Möglichkeiten. Möglichkeit eins ist natürlich irgendwie leichter, einfach, weil man dafür kein Programm extra nutzen muss. Möglichkeit zwei nutze ich ganz gerne, wenn ich jetzt zum Beispiel eine Kundenwebsite überprüfen muss und ich will mal kurz tausend Produkte durchtesten, dann kann man das damit machen.

Man kriegt übrigens auch hier nicht exakte Ablehnungsgründe mit. Also man erfährt, ob sie im Index ist oder nicht. Es gibt einige Fälle, wo es weitreichende Diagnostik gibt, aber quasi alles, was mit Qualität zu tun hat, da steht dann leider einfach nichts dazu. So. Auch auf dem Wege kannst du dann eben dir natürlich auch eine Indexierungsrate ermitteln, zum Beispiel für deine 500 Produktseiten, für deine 300 Newsseiten oder was auch immer.

Wenn du also herausfindest, dass du ein Indexierungsproblem hast: Das kann natürlich zeitlich begründet sein. Habe ich eben gesagt, du hast einen Relaunch gemacht oder ein Go Live, deine Website ist jetzt ganz neu, Google hatte einfach noch keine Zeit dafür, das alles zu laden. Das kann natürlich passieren. Und gerade bei den genannten Fällen, Relaunch und Go Live einer neuen Website, kann es zum Teil Monate dauern, bis Google wirklich mal alles abgearbeitet hat, je nach Größe der Website. Kann natürlich passieren.

Das heißt, solche Fragen solltest du dir nie in Woche eins nach dem Relaunch stellen. Wenn die Webseite ein halbes Jahr live ist, also man hat eine gewisse Stabilität erreicht, dann kannst du die Indexierungsrate ermitteln. Und wenn du dann ein Problem siehst, und du hast viele URLs, dann ist es in der Regel die Qualität der Inhalte.

Das heißt, Google hat die Seite heruntergeladen, fand sie nicht so dolle. Und es gibt auch die Fälle, wo Google die Seite schon gar nicht mehr herunterlädt, weil es zum Beispiel in diesem Verzeichnis schon tausend Seiten heruntergeladen hat, die alle Quatsch waren. Und dann muss es die 1001. Seite nicht mehr herunterladen, dann ist man in so einer Art Sippenhaft, weil alles andere in dem Verzeichnis nicht so besonders war, ist Google jetzt auch nicht mehr geneigt, jetzt nochmal eine Seite durchzuprobieren. Das heißt, schlechte Qualität pflanzt sich dann leider so ein bisschen durch Crawling und Indexierung fort.

Wenn du meinst, du hast ein Qualitätsproblem, dann fängt das große Rätselraten an. Denn mehr Diagnostik bekommst du nicht. Wenn Seiten für Suchmaschinen gesperrt sind oder kanonisiert wurden oder auf 404 stehen oder irgendein Grund verhindert, dass das Ganze gecrawlt oder indexiert wird, dann wird das Tool dir das sagen. Aber es wird dir eben nicht sagen, “Zu wenig Text”, “falscher Text”, “minderwertiger Text”, irgendwas. Das kommt da nicht. Das heißt, da musst du dann wirklich rangehen und rätselraten.

Es gibt natürlich viele Tools, um Content zu bewerten, aber am Ende des Tages, keines dieser Tools ist Google und am Ende des Tages wirst du immer eine Annahme tätigen müssen, warum Google jetzt diese Seiten nicht indexieren möchte. Und natürlich ist es so: Je mehr Erfahrung du hast, desto fundierter ist dein Rätselraten, ist deine Entscheidung oder deine Idee, aber auch mit 100 Jahren SEO-Erfahrung, die natürlich kein Mensch auf dem Planeten hat, werden wir nicht dahin kommen, dass wir eine sichere Entscheidung treffen können. Das muss immer klar sein.

 

Der Blick von Außen

Manchmal ist es übrigens wirklich gut, wenn diese Entscheidung von jemand externem gefällt wird. Also: Agentur oder Freelancer. Warum? Na ja, ich erlebe das oft, dass wenn man Unternehmen bittet, die Qualität der eigenen Inhalte zu bewerten, dann sagen die schnell, “Ja, ist doch ein Top Inhalt, ist doch super!” Zum einen, weil sie eben vielleicht nicht so ganz gut die ganzen Qualitätskriterien kennen, die zum Beispiel in den Quality Writer Guidelines formuliert sind. Aber natürlich auch, weil sie selbst ja quasi ihre eigene Arbeit bewerten müssen. Sie müssen sich ja selbst eine Schulnote geben. Diesen Content haben sie ja vielleicht selber geschrieben und müssen dann sagen, “Aha, ja, stimmt. So gut war der eigentlich nicht.”

Und natürlich, man hat ja auch hinten heraus gleich die Implikation, dass wenn ich sage, dass das schlechter Content ist, muss ich ihn eigentlich gleich neu schreiben. Also: Mit meinem Votum erschaffe ich ja gleich auch mehr Arbeit für mich. Und das kann natürlich dafür sorgen, dass man vielleicht ein bisschen schonend mit sich umgeht. Wobei hier wirklich Schonung nicht wirklich sinnvoll ist, sondern hier geht es darum, dass man wirklich auch ehrlich zu sich selbst ist.

 

Finale

Gut. Das war das, was ich dir beibringen wollte. Ich hoffe, du hast Spaß damit. Ich hoffe, du hast was gelernt. Ich hoffe, du gehst gleich in die Search Console und rechnest mal nach, wo du so stehst. Wenn du 100% hast, herzlichen Glückwunsch! Wenn du weniger als 90 hast, hast du Arbeit vor dir. Natürlich nur, wenn du das ändern möchtest.

Du kannst ja auch sagen: Hey, ich habe eine Indexierung von 88%, das heißt, 12% sind nicht im Index. Aber der Aufwand, diese 12% zu verbessern, der wäre so hoch, das lohnt sich ja gar nicht. Auch das erlebe ich manchmal, dass – zum Beispiel Onlineshops haben Produktseiten, irgendein Ersatzteil, eine blöde Schraube oder noch irgendeinen Schalter, den man sowieso in drei Jahren nicht verkauft, wo es sich gar nicht lohnt, eine Produktbeschreibung zu schreiben. Und dann kann ich auch damit leben, wenn so eine Seite gar nicht im Index drin ist. Dann bin ich immer eher ein Freund davon, dass man das trotzdem modelliert, also dass man dann zum Beispiel solche Seiten explizit auf Noindex setzt. Aber auch mit dem anderen kann ich natürlich leben. Also da auch bitte wieder hinten heraus die geschäftliche Entscheidung treffen. Wenn du ein Problem hast, willst du es eigentlich auch beheben. Denn natürlich, und da sind wir uns alle einig, wenn du ein Qualitätsproblem hast, dann droht Arbeit und Arbeit kostet Zeit. Arbeit kostet Geld.

Nächste Events

Nächste Webinare

Alle kommenden Webinare

Nächste Seminare

Alle kommenden Seminare

The following two tabs change content below.
Avatar-Foto
My Instagram profile

Markus Hövener

Markus Hövener ist Gründer und SEO Advocate der auf SEO und SEA spezialisierten Online-Marketing-Agentur Bloofusion. Als geschäftsführender Gesellschafter von Bloofusion Germany ist er verantwortlich für alle Aktivitäten in Deutschland, Österreich und der Schweiz. Markus Hövener ist Buchautor, Podcaster und Autor vieler Artikel und Studien rund um SEO.

Markus hat vier Kinder, spielt in seiner Freizeit gerne Klavier (vor allem Jazz) und genießt das Leben.

2 Kommentare zu “Hast Du ein Indexierungsproblem? [Alles auf Start 77]”

  1. Avatar-Foto Dominik Kienzle
    Februar 4th, 2023 at 16:01

    Oh ja, wer kennt dieses Problem nicht. Eine sehr gelungene Folge. Hat Spaß gemacht, zuzuhören.

  2. Avatar-Foto Ralf
    Februar 5th, 2023 at 12:49

    Danke Markus, für die ausführliche Beschreibung.

    Vor allem war mir die URL Inspection API unbekannt. Werde ich also zukünftig nutzen 🙂

    Aber dafür werde ich mir wohl kein Programm herunterladen, sondern selbst einen Zugang programmieren.

    Nochmal herzlichen Dank für Deine Infos.

    Ralf

Kommentieren