Zuletzt aktualisiert: September 22, 2021

Du hast eine eigene Webseite oder arbeitest in einer Branche, wo bestimmte Unterseiten einer Webseite nicht in den Index einer Suchmaschine landen sollen? Dann hast du dir sicher schon überlegt, wie das funktioniert und wie man das in der Praxis umsetzten kann.

In unserem Beitrag zu dem Begriff Noindex erhältst du alle wichtigen Informationen rund um das Thema Noindex und wie du es in deine eigene Webseite umsetzten kannst. Ebenso werden dir die wichtigsten Kombinationen in Zusammenhang mit Noindex erklärt und wie wichtig dieser Befehl für die Suchmaschinenoptimierung ist.

Das Wichtigste in Kürze

  • Noindex ist ein Befehl, der verhindert, dass Webseiten in den Index einer Suchmaschine aufgenommen werden. Man kann selbst steuern, welche Seite indexiert wird und welche nicht. Sobald also der Befehl Noindex verwendet wird, wird einem Crawler mitgeteilt, dass diese Seite nicht indexiert werden soll.
  • Den Befehl Noindex kann man auf zwei unterschiedlichen Arten implementieren. Zum einen fügt man den Robote-Meta-Tag in den Head Abschnitt der Seite ein. Zum anderen funktioniert die Implementierung ebenso mit der HPPT-Antwort-Header.
  • Der Befehl kann mit anderen Attributen in Kombination verwendet werden, um bestimmte Funktionen für Crawler zu erreichen. Diese bewirken dann, dass Crawler den Links folgen können oder nicht.

Glossareintrag: Der Begriff Noindex im Detail erklärt

Im folgenden Abschnitt haben wir für dich die wichtigsten Fragen zum Thema Noindex zusammengefasst und erklärt. Ebenso haben wir dir die Bedeutung von Noindex im Zusammenhang mit der Suchmaschinenoptimierung für dich aufbereitet, damit du dir schnell einen Überblick verschaffen kannst.

Was bedeutet Noindex und wo wird er angewendet?

Noindex ist ein Befehl, der in den Meta-Informationen einer Webseite untergebracht ist. Dieser verhindert, dass die Webseite nicht in den Index der Suchmaschine aufgenommen wird. Der Noindex Tag spricht deshalb Crawler von Suchmaschinen, wie Google, Bing oder Yahoo, an.

Webseitenbetreiber nutzen diesen Befehl, damit gewisse Unterseiten, wie das Impressum oder ein Formular, nicht von den Crawlern in den Index der Suchmaschine aufgenommen werden. Somit entscheidet der Webseitenbetreiber selbst, welche Seite in den Index aufgenommen werden soll und welche nicht. Mit Noindex kann man also die Indexierung jeder Unterseite gezielt steuern und es ist deshalb ein wichtiges Instrument der Suchmaschinenoptimierung(1).

Noindex ist ein Befehl, der Crawler mitteilt eine Seite nicht in den Index der Suchmaschine aufzunehmen. Mit diesem Meta-Tag kann man bestimmte Unterseiten aktiv nicht-indexieren und man bestimmt selbst welche das sind. (Bildquelle: Maxwell Nelson / Unsplash)

Des Weiteren kann der Noindex-Befehl auch für Seiten angewendet werden, deren Content ähnlich oder doppelt ist. Durch den Ausschluss dieser Inhalte nimmt Google sie nicht als Duplikate Content war und die einzelnen Unterseiten stehen dann auch nicht in Konkurrenz zueinander. Dieser Befehl ist besonders bei Online-Shops sinnvoll.

Wenn du bestimmte Seiten, auf denen schon ein Canonical Tag ist, mit einem Noindex Tag versiehst, werden diese deindexiert.

Wenn du also zwei Webseiten hast mit gleichem Content, wird das von den Suchmaschinen als Duplicate Content gesehen. Der Canonical Tag hilft dabei den Suchmaschinen mitzuteilen, welche Seite das Original ist und welche nicht. Wenn du jedoch ein Noindex Tag auf eine Seite mit einem Canonical Tag setzt, wird diese Seite aus dem Index entfernt.

Jedoch solltest du bedenken, dass Seiten, die nicht im Index einer Suchmaschine indexiert sind, auch nicht gerankt werden. Somit solltest du mit Bedacht die Unterseiten wählen, auf denen du ein Noindex Tag setzten möchtest.

Wie kann ich den Noindex Tag implementieren?

Um den Noindex Tag zu implementieren, gibt es zwei Möglichkeiten. Zum einen kannst du diesen mit dem Meta-Tag und zum anderen mit dem HTTP-Antwort-Header im HTML deiner Seite einbauen. Beide Implementierungsarten führen jedoch zum gleichen Ergebnis (2).

Implementierung mit Meta-Tag

Mit dem Robots-Meta-Tag erhältst du eine detaillierte und spezifische Herangehensweise. Bei der kannst du angeben, wie eine bestimmte Unterseite oder Seite indexiert und den Nutzern in den Suchergebnissen angezeigt werden soll. Außerdem solltest du den Robots-Meta-Tag im Head-Abschnitt der jeweiligen Seite setzten. Der komplette Tag sieht dann so aus:

<meta name= „robots“ content=“noindex“ />

Dieser Meta-Tag weist Suchmaschinen dazu an, diese Seite nicht in den Suchergebnissen zu ranken und nicht zu indexieren. Der Attribut name (robots) gibt an, dass der Befehl für alle Crawler gilt. Möchtest du jedoch nur bestimmte Crawler ansprechen, so musst du den Wert robots durch den Namen des Crawlers, also den User Agent, ersetzen. Für den Crawler Google musst du dann den name Attribut googlebot nehmen (3).

Suchmaschinen können für unterschiedliche Zecke unterschiedliche Crawler einsetzen, um so den gewünschten Effekt zu erzielen. So kannst du z. B. eine Seite in den Suchergebnissen anzeigen lassen, jedoch aus den News weglassen. Dazu ist das Setzten von bestimmten Robots-Meta-Tags notwendig. Wenn du noch mehrere Crawler einzeln ansprechen möchtest, verwendest du auch mehrere Meta-Tags.

Implementierung mit HTTP-Antwort-Header

Du kannst jedoch auch den Noindex Tag als Element der HTTP-Header-Antwort für die jeweilige URL verwenden. Denn jede Antwort die man als Meta-Tag verwendet, kann man auch als X-Robots-Tag angeben. Im Folgenden haben wir dir ein Beispiel-Tag einer HTTP-Antwort erstellt, um eine bestimme Seite von den Crawlern nicht zu indexieren:

HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)

Du kannst ebenso in der HPPT-Antwort mehrere X-Robots-Tags kombinieren und einzelne Bots verschiedener Suchmaschinen direkt ansprechen oder ausschließen. Des Weiteren kannst du auch mit dieser Methode das Anzeigen einer Seite unter bestimmten Voraussetzungen in verschiedenen Suchmaschinen anzeigen. Anzeigen, bei denen kein User Agent angegeben ist, richten sich an alle Crawler.

Wann ist die Verwendung von Noindex in Kombination mit follow oder nofollow sinnvoll?

Der Noindex Befehl kann man sehr gut mit den Attributen follow oder nofollow ergänzen. Diese Attribute beziehen sich nämlich auf die Verlinkungen, die auf der nicht indexierten Seite vorhanden sind. Um dir ein besseres Bild davon zu machen, haben wir dir die beiden Attribute im nächsten Abschnitt genau erklärt.

  • Follow: Der Attribut oder Befehl “follow” sagt den Crawlern, dass sie den Links, die auf der Seite gesetzt wurden, folgen sollen.
  • Nofollow: Das Attribut oder der Befehl “nofollow” hingegen sorgt dafür, dass die Crawler die Links auf der Seite nicht auswerten.

Der Sonderfall “noindex,follow” wird dann verwendet, wenn man möchte, dass ein Crawler seine Unterseite nicht indexiert, den Links jedoch dennoch folgt. Da kann man den Meta-Tag noindex noch zusätzlich um ein follow erweitern und das sieht dann wie folgt aus:

< meta name=“robots“ content=“noindex,follow“ />

Dies kann man z. B. für eine Kategorie verwenden, die mehrere Seiten enthält. Der Bot folgt den Links auf den Unterseiten, indexiert jedoch nur die erste Kategorieseite. Außerdem lohnt sich der Befehl vor allem für die Suchmaschinenoptimierung bei paginierten Kategorieseiten oder Ergebnisseiten der internen Suchfunktion von Online-Shops.

Der “noindex,nofollow” Tag verhindert eben, dass eine Unterseite indexiert wird und dass Crawler auf dieser Seite Links folgen. Jedoch wird dieser Tag in der Praxis selten verwendet, weil das Crawling einer Webseite behindert werden kann. Falls dieser Tag zu Einsatz kommt, kann man ihn wie folgt implementieren:

< meta name=“robots“ content=“noindex,nofollow“ />

Die Verwendung dieser Befehle ist dann sinnvoll, wenn du mehrere Unterseiten einer bestimmten Kategorie hast und du aber nicht jede Seite indexieren willst. Dabei werden eben die enthaltenen Links ausgewertet und für die Suchmaschinen sichtbar gemacht. So hast du eine Hauptseite einer Kategorie in den Suchmaschinen indexiert und die Unterseiten sind eben nicht indexiert, diese werden jedoch gelesen.

Was bedeutet disallow in Kombination mit Noindex?

Vielen Webseitenbetreibern ist nicht bewusst, dass der Befehl disallow in Kombination mit dem Befehl Noindex keinen richtigen Nutzen für die Seite hat. Denn der Befehl disallow richtet sich an den Robot und gibt dem den Befehl die Seite nicht zu crawlen. Zum Einsatz kommt der Befehl z.B. in großen Datenbanken von Bildern. Wenn jedoch Inhalte indexiert werden sollen, ist der Befehl nicht sinnvoll (4).
Noindex in Kombination mit disallow kann zu einem Übersehen des Noindex Befehls führen.

Der Befehl Noindex hingegen gibt den Crawlern den Befehl die Seite nicht zu indexieren. Wenn man also beide Befehle in Kombination verwenden würde, könnte der Robot den Befehl Noindex übersehen und diese Seite indexieren. Das geschieht deshalb, weil der Befehl disallow dazu beiträgt, dass der Robot diese Seite nicht crawlen soll.

Wenn man nun denkt, dass beide Befehle in Kombination eine doppelte Absicherung wären, ist das falsch. Daher ist es ratsam diese beiden Befehle nur getrennt voneinander zu implementieren, da jeder der Attribute seinen eigenen Nutzen hat. Wenn du also möchtest, dass eine Seite nicht in den Index der Suchmaschine aufgenommen wird, solltest du es über den Noindex Befehl realisieren.

Was bedeutet der Befehl Noindex für die Suchmaschinenoptimierung?

Der Meta-Tag Noindex eignet sich sehr gut für die Suchmaschinenoptimierung, da er doppelte Inhalte, als Duplicate Content, vermeiden kann. Vor allem deshalb, da Google und andere Suchmaschinen doppelten Inhalt mit Strafen absehen können (5). Somit ist die Verwendung des Befehls Noindex sehr sinnvoll.

Mit Noindex ist eine sinnvolle Möglichkeit geboten, Duplicate Content auf einer Webseite zu vermeiden und somit auch Strafen zu vermeiden. (Bildquelle: Myriam Jessier / Unsplash)

Wenn man noch zusätzlich an den Befehl follow hängt, kann der Bot dann auf der nicht-indexierten Seite allen gesetzten Links folgen. Des Weiteren ist der Meta-Tag Noindex sehr sinnvoll, um Link Spam zu vermeiden. Auch hier können sich Webseitenbetreiber vor Strafen und Abmahnungen schützen.

Noindex kann auch bei einem Relauch oder einer neuen Seitenversion die Arbeit erleichtern. Denn mittels diesem Befehl kann man die Seiten schon live testen ohne das Bereiche davon in den Index der Suchmaschine aufgenommen wurde. Wichtig jedoch hierbei ist den Noindex Tag aus dem Quellcode beim Livegehen der Seite zu entfernen.

Denn nur dann kann die Webseite in den Index der Suchmaschine aufgenommen werden. Und es können auch nur diese Seiten ranken, die im Index der Suchmaschine sind.

Fazit

Noindex ist ein besonders sinnvoller Befehl, falls du Duplicate Content vermeiden möchtest oder bestimmte Unterseiten deiner Website nicht indexieren möchtest. Besonders gut ist, dass man selbst entscheiden kann, welche Seite man indexieren möchte und welche nicht. Es ist deshalb sehr vorteilhaft diesen Befehl zu nützen, um Spamming und Strafen zu vermeiden. Er eignet sich gut für Unterseiten wie Impressum, Privacy Police oder Seiten mit derselben Kategorie.

Die Implementierung dieses Befehls ist ebenso einfach und kostet dich wenig Zeitaufwand. Der Vorteil von Noindex ist, dass man ebenso andere Befehle zusätzlich anschließen kann, um gewünschte Effekte von Crawlern zu erzielen. Jedoch sollte man vorsichtig damit umgehen, da nicht jede Kombination einen positiven Nutzen hat.

Weiterführende Literatur: Quellen und interessante Links

[1] https://wiki.selfhtml.org/wiki/Suchmaschinenoptimierung

[2] https://developers.google.com/search/reference/robots_meta_tag

[3] https://support.google.com/webmasters/answer/1061943

[4] https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt#Disallow

[5] https://support.google.com/webmasters/answer/66359?hl=de

Bildquelle: 123rf / welcomia

Warum kannst du mir vertrauen?

Testberichte