Die Aufnahme Deiner Website in Suchmaschinen wie Google und Co. nennt man Indexierung. Damit eine Website von den Crawlern der Suchmaschinen optimal erfasst und indexiert werden kann, solltest Du einige (technische) Dinge beachten. Welche das sind und was die häufigsten Fehler bei der Indexierung von Websites sind, erfährst Du in diesem Lexikonbeitrag.
Indexierung - das Wichtigste in Kürze
- Indexierung bedeutet, dass Suchmaschinen wie Google Webseiten erfassen und in ihrem Index speichern, um sie anzuzeigen, wenn nach ihnen gesucht wird.
- Unter Crawling versteht man den Prozess, bei dem Google mithilfe von Robots das Internet nach neuen oder aktualisierten Seiten durchsucht, um sie für die Aufnahme in den Index zu bewerten.
- Die Verwendung von noindex-Tags, Disallow in der robots.txt, schlechte interne Verlinkung und die Bereitstellung von minderwertigem Inhalt sind häufige Fehler, die dazu führen, dass Seiten nicht indexiert werden.
- Die Domain Authority beeinflusst, wie schnell und wie oft Google Seiten crawlt und indexiert. Websites mit einer höheren DA werden meist als vertrauenswürdiger eingestuft.
- Die Google Search Console ist ein wichtiges Tool zur Überwachung und Optimierung des Indexierungsstatus, einschließlich eines Indexierungsberichts, der den Status einzelner Seiten anzeigt.
- Tipps zur Verbesserung von Crawling und Indexierung sind u. a. die Bereitstellung einer Sitemap, die Optimierung der robots.txt, kurze Ladezeiten, eine starke interne Verlinkung sowie hochwertiger Content.
Was versteht man in der SEO unter Indexierung?
Suchmaschinen wie Google durchsucht das Internet kontinuierlich mithilfe von Crawlern (auch Spider oder Robots genannt). Diese Helferlein sammeln Informationen über neue und aktualisierte Seiten. Diesen Vorgang nennt man Crawling. Werden die Inhalte erkannt und als relevant erachtet, werden die Seiten entsprechend indexiert. Das heißt, sie werden in Googles riesigem Index gespeichert, damit sie bei entsprechenden Suchanfragen auf den Suchergebnisseiten (SERP) angezeigt werden können.
Häufige Fehler bei der Indexierung
Häufig erreicht uns die Frage, warum Unterseiten oder gar ganze Websites keinen organischen Traffic erhalten. Bei einem Blick in die Google Search Console zeigt sich dann: Die entsprechende Seite ist nicht indexiert, wird also in der Suchmaschine nicht ausgespielt. Das kann unter anderem folgende Gründe haben:
- noindex-Tag: Die Verwendung dieses Meta-Tags auf im <head> einer Seite ist ein Hinweis an Google, dass die Seite nicht in den Index aufgenommen werden soll. Verwende dieses Tag nur mit Bedacht und gezielt (z.B. für das Impressum oder Datenschutz-Seite).
- Disallow in der Datei robots.txt: Ein Disallow-Befehl kann Google vom Crawlen bestimmter Seiten abhalten. Um sicherzustellen, dass Du Google nicht versehentlich am Crawlen wichtiger Seiten hinderst, solltest du diese Datei sorgfältig prüfen. Mehr zum Disallow erfährst Du im entsprechenden Lexikonbeitrag.
- Schlechte interne Verlinkung: Eine schlechte interne Verlinkung kann dazu führen, dass Google nicht in der Lage ist, alle Seiten Deiner Website zu finden. In unserem Lexikon geben wir Dir einige Tipps für eine gute interne Verlinkung. In einem weiteren Beitrag erklären wir Dir mehr über das Thema Link Juice.
- Zu wenig oder minderwertiger Inhalt: Seiten mit sehr wenig oder dünnem Inhalt werden von Google seltener als wertvoll eingestuft. Lege also Wert auf hilfreichen und einzigartigen Content, der Deiner Zielgruppe einen echten Mehrwert bietet. Eine durchdachte Content Strategie kann Dir dabei helfen.
- Die Domain Authority: Ein weiterer Faktor für die Schnelligkeit der Indexierung ist die Domain Authority (DA). Neue, unbekannte Seiten, werden von den Crawlern wesentlich unregelmäßiger besucht als solche, die schon Jahre oder sogar Jahrzehnte bestehen und gute Rankings aufweisen. Websites mit hoher DA bewertet Google meist als vertrauenswürdiger und relevanter. Durch qualitativ hochwertige Backlinks, guten Content und eine durchdachte Struktur der Website kannst Du die DA Deiner Website langfristig verbessern. Beachte jedoch, dass die Verbesserung Deiner Autorität ein Prozess ist, der Geduld und kontinuierliche Optimierung erfordert.
Google Search Console und Indizierungsbericht
Die Google Search Console (GSC) ist ein sehr nützliches Tool zur Überwachung und Verbesserung der Sichtbarkeit und Indexierung Deiner Webseiten in Google. Du kannst sie als direkten Draht zur Suchmaschine verstehen. Neben Deinen organischen Impressionen, den Klicks und der CTR kannst Du hier auch sehen, welche Unterseiten Deiner Website indexiert sind und organischen Traffic erhalten. Der wertvolle Bericht zeigt auch, ob es Probleme jeglicher Art bei der Indexierung gibt. Er hilft Dir, Probleme wie Crawling-Fehler oder versehentlich aus dem Index ausgeschlossene Seiten zu erkennen und zu beheben.
Die besonderen Hinweise im Indexierungsbericht werden im Folgenden kurz erläutert:
- Gecrawlt – zurzeit nicht indexiert: Diese Seiten wurden von den Crawlern besucht. Sie wurden jedoch aus verschiedenen Gründen nicht in den Index aufgenommen. Die Gründe können vielfältig sein (z.B. mangelnde Qualität oder Originalität der Inhalte).
- Gefunden – zurzeit nicht indexiert: Seiten, die unter diesem Hinweis angezeigt werden, sind Google bekannt, wurden aber bisher nicht von der Suchmaschine gecrawlt. Dies kann auf ein geringes Crawling-Budget oder auf technische Probleme der Seite zurückzuführen sein.
- Durch "noindex"-Tag ausgeschlossen: Diese Seiten wurden mit einem "noindex"-Tag versehen, der Google anweist, die Seite nicht zu indexieren. Achte darauf, dass dieses Tag nur für Seiten verwendet wird, die bewusst aus dem Index ausgeschlossen werden sollen.
- Nicht gefunden (404): Diese Seiten konnten von Google nicht gefunden werden. Sie erhalten den Statuscode HTTP 404. Dies bedeutet meist, dass die Seite gelöscht und nicht weitergeleitet wurde. Mehr zur 404-Fehlerseite erfährst Du im entsprechenden Beitrag.
- Alternative Seite mit richtigem kanonischen Tag: Diese Meldung wird angezeigt, wenn eine Seite für eine andere Seite als Originalressource markiert wurde. Dies bedeutet, dass Google erfolgreich darüber informiert wurde, welche Version einer Seite in den Index aufgenommen werden soll. Wir haben der richtigen Verwendung des Canonical Tags einen eigenen Beitrag gewidmet.
Tipps für ein besseres Crawling und eine bessere Indexierung
- Einreichen einer Sitemap: Bei einer Sitemap handelt es sich um eine Auflistung aller Unterseiten einer Website. Die Sitemap kannst Du über die Google Search Console einreichen. Sie hilft Google, die wichtigen Seiten Deiner Website zu identifizieren.
- Optimierung der robots.txt: Diese Datei teilt Google mit, welche Bereiche Deiner Website für das Crawling durch Google freigegeben sind. Stelle sicher, dass Du nicht aus Versehen wichtige Seiten vom Crawling durch Google ausschließt (durch Disallow).
- Für kurze Ladezeiten sorgen: Google und User bevorzugen logischerweise Webseiten mit kurzen Ladezeiten. Überprüfe die Ladezeiten Deiner Website mit Tools wie Google PageSpeed Insights. Bessere Ladezeiten kannst Du zum Beispiel durch Bildoptimierungen oder einen leistungsstärkeren Server erreichen.
Crawling & Indexierung sehr großer Websites
Sehr große Websites, insbesondere solche mit Tausenden Seiten, stehen häufig vor besonderen Herausforderungen, wenn es um das Crawling und die Indexierung geht. Um sicherzustellen, dass Google auch bei umfangreichen Websites die wichtigsten Inhalte erfasst, sollten die folgenden Punkte beachtet werden:
- Priorisiere Inhalte: Nutze die robots.txt, die Sitemap(s) und Meta-Tags gezielt, um Google mitzuteilen, welche Bereiche Deiner Website am wichtigsten sind. Dies hilft, das Crawling-Budget effizienter einzusetzen, sodass die wichtigsten Seiten zuerst bzw. häufiger gecrawlt werden.
- Crawling-Budget: Das Crawling-Budget bezieht sich auf die Anzahl der Seiten, die Google in einem bestimmten Zeitraum erfasst. Große Websites sollten dieses Budget optimieren, indem sie doppelte Inhalte entfernen, Weiterleitungsketten reduzieren und fehlerhafte Seiten korrigieren.
- Strukturierte Daten verwenden: Durch die Implementierung von strukturierten Daten kannst Du Suchmaschinen helfen, den Inhalt und die Struktur Deiner Seiten besser zu verstehen.
- Optimiere die Hierarchie der Seiten und die Navigation: Eine logische und flache Website-Struktur hilft Google, Seiten zu crawlen. Stelle sicher, dass wichtige Seiten sowohl von der Startseite als auch von anderen relevanten Seiten aus leicht zu erreichen sind.
- Paginieren und endlos scrollen: Bei Websites, die zur Darstellung von Inhalten Paginierung oder Infinite Scroll verwenden, sollte sichergestellt werden, dass alle Inhalte für Google zugänglich sind. Bei paginierten Inhalten kann die Implementierung von rel="next" und rel="prev"-Links helfen, während bei Infinite Scroll-Layouts eine paginierte Backup-Option wichtig ist.
- Regelmäßige Überprüfungen durchführen: Um regelmäßig zu überprüfen, wie effektiv deine Website gecrawlt wird, verwende den Indexierungsbericht der Google Search Console.
Fazit: Keine Indexierung, kein organischer Traffic über Google & Co.
Damit Deine Website in den Suchergebnissen überhaupt gefunden werden kann, ist es wichtig, dass sie indexiert ist. Vermeide noindex-Tags und Disallow-Anweisungen in der robots.txt, es sei denn, bestimmte Seiten sollen absichtlich vor den Augen des Crawlers versteckt werden. Achte auf eine gute interne Verlinkung und stelle sicher, dass Deine Content gut und einzigartig ist. Nutze die Google Search Console, um den Indexierungsstatus Deiner Seiten regelmäßig zu überprüfen. Wenn Du Unterstützung hierbei benötigst, kannst Du uns gerne kontaktieren. Wir stehen die als SEO Agentur mit Rat und Tat zu Seite (z.B. bei Deiner OnPage SEO)
Weitere Tipps zur Positionierung Deiner Website findest Du in unserem Ratgeber und Lexikon:
- Was ist White Hat SEO?
- Was ist ein Social Graph?
- Warum ist Tracking im Online Marketing so wichtig?
- Wann benötige ich Keywords?
- Was sagt der Sichtbarkeitsindex aus?
- Was ist ein Redirect und wann nutze ich ihn?
