Suchmaschinenoptimierung (SEO)

---

Tipps und Tricks für eine erfolgreiche Webseitenoptimierung

Online Marketing>Suchmaschinenoptimierung>Meta Robots

Meta Robots

Wie konfiguriert man die Meta-Robots, um die Indexierung einer Webseite zu optimieren?

1. Funktionen & Nutzen
2. Wichtige Meta-Robots Anweisungen
   • Index, follow
   • Noindex, follow
   • Noindex, nofollow
   • Weitere Anweisungen
3. X-Robots-Tag
4. Canonical + Meta-Robots
5. Noindex mit robots.txt

Funktionen & Nutzen

1. Anweisungen - Meta-Robots sind die Anweisungen für die Suchmaschinenbots.
   • Index / noindex - Im Wesentlichen geht es darum, welche Inhalte über die Suchmaschine gefunden werden dürfen (index) oder nicht (noindex).
   • Follow / nofollow – Es handelt sich um ein Anweisung für Suchmaschinenbots die gefunden Links auf der Seite untersuchen zu dürfen (follow) oder eben nicht (nofollow).
2. Indexierung – Mit bewusster Ausgrenzung von URLs durch (noindex) helfen Sie einem Bot Ihre Webseite effizienter zu untersuchen und sich auf die wichtige Inhaltsseiten zu fokussieren.
3. Duplicate Content – Mit Meta-Robots verhindert man, dass viele ähnliche Seiten zur Indexierung freigegeben sind.

Wichtige Meta-Robots Anweisungen

1. index, follow – Indexieren Sie nur die wichtigsten Seiten.
   • <meta name="robots" content="index, follow">
   • Meist verbreiteter Irrtum: „Möglichst alles indexieren“ => Lieber wenige Seiten indexieren aber dafür die guten.
   • Vermeiden Sie die Indexierung von doppelten Inhalten. Falls das gleiche Content auf mehreren Seiten / unterschiedlichen URLs platziert ist, implementieren Sie einen Canonical-Tag.
   • Vermeiden Sie „index, follow“ bei sehr ähnlichen Seiten. Dies kann auch unbeabsichtigt geschehen, wenn dynamische URLs auf „index“ gesetzt werden. Die Folgen können unterschiedlich sein. Von Rankingsteuung auf mehrere URLs bis zur Abstrafung von Google.
2. noindex, follow – Die Seite darf über die Suchmaschinen nicht gefunden werden. Die Suchmaschinen dürfen die URLs untersuchen, welche auf dieser Seite vorhanden sind.
   • <meta name="robots" content="noindex, follow">
   • Paginierung – Oft besteht eine indexierte Seite aus mehreren Seiten (z.B. Auflistung von Produkten auf einer Kategorieseite erfolgt z.B. auf „beispiel-domain.ch/seite-1/“, „beispiel-domain.ch/seite-1/?page=2“, „beispiel-domain.ch/seite-1/?page=3“). Setzen Sie die Paginierungsseiten bzw. ?page=2, ?page=3 auf „noindex, follow“. Das hilft den Suchmaschinen die neuen Seiten (z.B. Produktseiten) zu finden und zu verstehen, in welche Kategorien diese gehören.
   • Contentqualität – Wird die Qualität vom Inhalt nicht gewährleistet, richten Sie „Noindex, follow“ ein. Auf diese Weise wird die durchschnittliche Qualität vom indexierten Content erhöht und so hat man dann mehr Chance mit dem guten Content zu ranken und convertieren.
3. noindex, nofollow – Die Seite darf nicht indexiert und die Links auf dieser nicht untersucht werden
   • <meta name="robots" content="noindex, nofollow">
   • Dynamische Seiten blockieren - Setzen Sie „noindex, nofollow“ insbesondere bei dynamischen Seiten wie die Suchseiten mit Sortierung- oder Filterparameter. Im Searchbereich wird eine Unmenge an URLs gebildet. Diese sind für die Indexierung in der Regel nicht erforderlich, weil es schon andere Seiten mit dem gleichen Inhalt gibt (z.B. Kategorieseiten mit statischen URLs).
   • Setzen Sie die „Nofollow“ mit Bedacht. Einerseits können Sie den Suchmaschinen erleichtern den Crawlbudget effektiv einzusetzen. Andererseits kann es passieren, dass alle Wege für die Indexierung der Folgeseiten blockiert sind.
   • Robots.txt - Blockieren Sie diese URL-Typen mit einer Robots.txt-Datei
   • Wenn Sie sich bezüglich „noindex, nofollow“ unsicher sind, nutzen Sie lieber „noindex, follow“-Einstellung. Für kleine Seiten/Online-Shops ist es eine gute Option.
4. index, nofollow – Die Seite darf über die Suchmaschinen gefunden werden, aber die Suchmaschine darf die URLs nicht untersuchen, welche auf dieser Seite zu finden sind.
   • <meta name="robots" content="index, nofollow">
   • Diese Kombination von Meta-Robots wird kaum benutzt. Die Anwendung findet beispielsweise bei Login-Seiten oder Seiten mit Formularen statt, welche zwar über die Suchmaschine gefunden werden können aber über die dynamischen Login-URLs blockiert werden.
5. Weitere Meta-Robots Anweisungen
   • unavailable_after - Die Seite nach dem angegebenen Datum / Uhrzeit nicht mehr in Suchergebnissen anzeigen lassen. Dies ist insbesondere bei dynamischen Webseiten empfehlenswert, wenn es eindeutig bekannt ist, wann eine Seite verschwindet. Das macht die Arbeit für die Suchmaschinenen einfacher. Schliesslich wollen sie keine Fehlerseiten oder ähnliches als Suchergebnis anbieten.
     Implementierungsbeispiel:
     
     X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST"
   • all - keine Einschränkung. Alles ist erlaubt. Es ist das gleich wie „index, follow"
   • none – Es ist das gleiche wie "noindex, nofollow"
   • noimageindex - Indexierung der Bilder auf dieser Seite unterbinden
   • noarchive - Keinen Link "im Cache gespeichert" in Suchergebnissen anzeigen
   • nosnippet - Kein Snippet für diese Seite in den Suchergebnissen anzeigen
   • notranslate - Keine Übersetzung dieser Seite in Suchergebnissen anbieten

X-Robots-Tag

Implementieren Sie einen X-Robots-Tag im HTTP-Header. Dies ist insbesondere für grosse Portale mit starker Dynamik empfehlenswert. Auf diese Weise kann ein Crawler schon beim Aufruf einer URL verstehen, was mit dieser Seite zu machen ist. Die Crawler brauchen daher weniger Ressourcen.

Die Implementierung sieht folgendermassen aus:

HTTP/1.1 200 OK
Date: Tue, 12 Jun 2012 11:05:22 GMT
(…)
X-Robots-Tag: noindex
(…)

Canonical + Meta-Robots

1. Sorgen Sie für eine saubere Konfiguration in Bezug auf Meta-Robots und Kanonisierung!
2. Vermeiden Sie, dass eine Seite mit „noindex“ eine canonische URL auf die zu indexierende URL hinweist. Obwohl die Suchmaschinen diese Kombination ignorieren, kann es evtl. vorkommen, dass die indexierte Seite das „noindex“ erbt und somit deindexiert wird.
3. Beispiel: Seite 1 und Seite 2 haben das gleiche Content, wobei die Seite 1 als die Hauptseite bzw. die zu indexierende URL definiert ist.
   • Seite 1: https://www.beispiel-domain.ch/seite-1/
     
     Meta-robots: index, follow
     Canonical-URL: https://www.beispiel-domain.ch/seite-1/
     
   • Seite 2: https://www.beispiel-domain.ch/seite-2/
     
     Meta-robots: richtig (index, follow), falsch wäre (noindex, follow) ,
     Canonical-URL: https://www.beispiel-domain.ch/seite-1/

Copyright © 2021 Andreas Reisch

Impressum | Datenschutz