Zuletzt aktualisiert: September 22, 2021

Du bist Webmaster und benötigst ein Tool, mit welchem du bestimmte Unterseiten oder Verzeichnisse aus dem Index ausschließen kannst, weil diese noch nicht fertig sind oder privaten Zwecken dienen? Dann ist ein Robots txt vielleicht genau das Richtige für dich.

In diesem Beitrag erfährst du alles rund um das Thema Robots txt. Wir informieren dich über alle wichtigen Fakten und auf welche Dinge du achten musst, wenn du ein Robot txt in deine Website integrieren möchtest.

Das Wichtigste in Kürze

  • Bei Robots txt handelt es sich um ein Tool, mit dessen der Webmaster den Suchmaschinen vorgibt, welche Seiten oder Verzeichnisse sie nicht indizieren sollen.
  • Dabei handelt es sich um eine Anweisung, aber nicht um eine technische Sperre. Die Suchmaschinen können also deiner Anweisung folgen, müssen es jedoch nicht.
  • Robots txt hat großen Einfluss auf das Ranking deiner Websites. Zu viele eingeschränkte Seiten haben negative Auswirkungen auf das Ranking. Wenige bis gar keine Einschränkungen können dafür sorgen, dass einzelnen Seiten gegeneinander konkurrieren und sich gegenseitig ausspielen.

Glossareintrag: Der Begriff Robots txt im Detail erklärt

Um dich über Robots txt rundum zu informieren, haben wir für dich die wichtigsten und am häufigsten gestellten Fragen zu diesem Thema herausgesucht und hier für dich ausführlich beantwortet. So bist und bleibst du gut informiert, wenn es um deine Website geht.

Was ist Robots txt?

Wenn du eine Website erstellst, kannst du mithilfe von Robots.txt festlegen, welche Unterseiten oder Verzeichnisse der Homepage von den Suchmaschinen nicht indiziert werden sollen. Dies kann beispielsweise der Fall sein, wenn sich die Seite noch im Aufbau befindet, nicht gänzlich fertig ist oder einfach für private Zwecke genutzt werden soll. Du kannst also mithilfe des Tools den Suchmaschinen mitteilen, welche Seiten sie indexieren dürfen und welche nicht. (1)

Mithilfe eines Robots txt kannst du Suchmaschinen die Anweisung geben, die eingegebene Seiten nicht zu indizieren. (Bildquelle: 200degrees / Pixabay)

Wenn also der Googlebot gewisse Seiten bzw. Seiteninhalte nicht erfassen soll, dann müssen diese Seiten also in einer Datei “Robots.txt” angelegt sein. Diese Seiten werden also mit gewissen Anweisungen versehen und im Stammverzeichnis der Website abgelegt. (2)

Wie funktioniert Robots txt?

Robots.txt ist also eine gewöhnliche txt-Datei, welche du im Hauptverzeichnis einer Seite ablegst. In dieser musst du jegliche Seiten eintragen, welche von den Suchmaschinen-Bots ausgeschlossen werden sollen. Du kannst eine robots txt Datei ganz einfach und unkompliziert mithilfe eines Texteditors erstellen, weil diese im Plain-Text Format ausgelesen und abgespeichert werden können.

Es gibt jedoch auch bereits Tools im internet, die dir dabei helfen schnell und unkompliziert eine robots.txt Datei anzufertigen, indem sie dich die wichtigsten Informationen abfragen und dir dann anschließend die fertige Robots txt Datei zur Verfügung stellen.

Damit auch alles reibungslos verläuft, gibt es einige Voraussetzungen, die du beachten musst(3):

  • Der Name der Datei muss immer in Kleinbuchstaben sein – also robots txt. Einzelne Großschreibungen, wie etwa Robots.txt werden nicht anerkannt.
  • robots txt muss im Stammverzeichnis auf der obersten Ebene eingefügt werden.
  • Pro Domain ist nur ein robots txt zulässig
  • der Aufbau der robots txt Datei muss außerdem dem Robots Explosion Standard entsprechen.

Nur unter Einhaltung dieser Voraussetzungen funktioniert der robots txt. Sollte dies bei dir nicht klappen, dann hast du einen Fehler in einen dieser Voraussetzungen. Achte vor allem auf die Groß- und Kleinschreibung, da diese oftmals der Grund sind, wenn robots txt nicht funktioniert.

Wie sieht eine Robots txt Datei aus?

Das grundlegende Format einer Robots txt Datei besteht aus den sogenannten User-Agents und den Anweisungen. Das mag jetzt zwar kompliziert klingen, jedoch ist der Syntax ganz einfach.
Einfach gesagt: Du weist Bots gewisse Regeln zu, in dem du ihre User-Agents angibst, welche Anweisungen folgen.

In dem folgenden Abschnitt haben wir dir diese zwei Begriffe nochmal näher erklärt, sodass du gleich loslegen kannst:

  • User-Agents: jede Suchmaschine hat einen eigenen User-Agent. Bei Google ist es zum Beispiel der Googlebot. Für jeden Suchmaschinenbot kannst du also in deiner robots txt Datei benutzerdefinierte Anweisungen geben. Wenn du aber allen User-Agents dieselben Anweisungen geben möchtest, kannst du auch den Stern bzw. eine Wildcard (*) als Platzhalter verwenden. So musst du dieselben Informationen nicht immer wieder eingeben.
  • Anweisungen: diese Regeln sollen die einzelnen Suchmaschinenbots einhalten. Dabei kannst du unterscheiden zwischen jenen Anweisungen, die der Bot unterstützen soll (Allow) und solche, die die Suchmaschine nicht indizieren soll (Disallow).
  • Wildcards: mit sogenannten Wildcards (*) kannst du nicht nur Anweisungen auf alle User-Agents anwenden, sondern auch, um URL-Muster bei der Eingabe von Anweisungen anzupassen.

Anweisungen können jedoch gleichzeitig verboten und erlaubt sein, wenn du dich bei der Schreibweise irrst. Daher empfehlen wir dir, den Code mehrmals zu überprüfen, damit du sichergehen kannst, dass du keine Fehler gemacht hast und die Robots txt Datei richtig funktioniert.

Wie erstelle ich eine Robots txt Datei?

Solltest du noch keine Robots txt Datei für deine Website haben, so kannst du dir eine ganz einfach selbst erstellen. Dafür öffne einfach ein gewöhnliches .txt Dokument und beginne mit der Eingabe deiner Anweisungen. Dafür kannst du entweder jedem Suchmaschinenbot einzelne Anweisungen geben oder allen dieselben.

Wenn du fertig mit deinen Eingaben bist und du dir sicher bist, dass du den Code richtig eingetippt hast, dann musst du die Datei als “robots.txt” abspeichern. Wenn du dir bei der Erstellung der Datei unsicher bist, kannst du auch einen robots-txt Generator verwenden. Mit diesem kannst du nicht nur Fehler umgehen, sondern sparst dir auch eine Menge Zeit.

Wo finde ich Robots txt?

Das Root-Verzeichnis ist das erste Dokument, welches ein Suchmaschinen-Bot abruft, wenn er auf eine Website klickt.(4) Lege dafür deine Robots txt Datei in das für sie geltende Stammverzeichnis der Subdomain ab.
Robots txt wird im Root der Website-Domain hinterlegt.

Der Suchmaschinen Bot kann die Datei jedoch nur dann richtig auslesen, wenn die Datei alle Voraussetzungen erfüllt und anschließend richtig abgelegt wird.

Bei der Beschriftung deiner Robots txt Datei ist höchste Aufmerksamkeit gefragt. Jede Veränderung des Codes führt dazu, dass dieser von den Suchmaschinen-Bots nicht ausgelesen werden kann. (Bildquelle: Markus Spiske / Unsplash)

Schon der kleinste Fehler in der Benennung oder Beschreibung der Robots txt Datei sorgt dafür, dass der Bot deine Seite nicht richtig auslesen kann, wodurch du im Suchergebnisranking schlechter beurteilt wirst.(5)

Welche rechtliche Rahmenbedingungen sollte ich bei Robots.txt beachten?

Robots txt ist zwar dafür vorgesehen, dass du bestimmte Seiteninhalte oder Verzeichnisse für die Suchmaschinen und somit für die Öffentlichkeit gesperrt wird, jedoch handelt es sich bei Robots txt lediglich um eine Anweisung an die Suchmaschine und nicht um eine technische Sperre.
Robots txt ist bloß eine Handlungsempfehlung an die Suchmaschine, keine technische Sperre.

Während also die großen, namenhaften Suchmaschinen diese Anweisung auch befolgen, gibt es trotzdem eine Vielzahl an anderen, kleineren Suchmaschinen, die diese Inhalte trotzdem erfassen. Vor allem für Suchmaschinen aus dem Ausland, wie etwa Baidu in China, hat das deutsche Urheberrecht und somit auch Seiten und Verzeichnisse in Robots txt, keine Bedeutung.

In Deutschland und somit auch in den restlichen EU-Staaten, hast du als Webmaster nämlich sowohl auf die Inhalte der Seite als auch über die Struktur ein Urheberrecht, auch dann, wenn du von einzelnen Inhalten nicht der Urheber bist.

Welche Vor- und Nachteile gibt es bei Robots txt?

Robots txt zieht somit einige Vor- sowie Nachteile mit sich. Der größte Vorteil ist, dass du mithilfe Robot.txt bestimmte Seiten oder Verzeichnisse für den Suchmaschinen-Bot sperren kannst. So kannst du ganze Verzeichnisbäume von den Suchmaschinen ausgenommen werden bzw. Regeln für unterschiedliche Suchmaschinen-Bots festlegen.

Damit ist Robots txt ein hilfreiches Tool, um deine Website bis zu einem gewissen Grad zu steuern und zu kontrollieren. Im Folgenden haben wir die wichtigsten Vor- sowie Nachteile der Robots txt Datei aufgelistet, sodass du dir einen Überblick verschaffen kannst.

Vorteile:

  • Hilfreiches Tool zur Steuerung von Suchmaschinen
  • Websites oder Verzeichnisse herausnehmen

Nachteile:

  • ist bloß eine Anweisung keine technische Sperre
  • durch externe Verlinkungen trotzdem indiziert

Der größte Nachteil von Robots.txt ist also die Tatsache, dass sich hierbei bloß um eine Handlungsaufforderung handelt. Zwar halten sich die meisten großen Suchmaschinen daran, jedoch können die aufgelisteten Seiten in der Robots Textdatei indiziert werden. Durch externe Verlinkungen können die hinterlegten Dateien jedoch trotzdem ausgelesen werden und somit bei den Suchergebnissen der Suchmaschinen auftauchen.

Welchen Einfluss hat Robots txt auf die Suchmaschinenoptimierung?

Robots txt ist vor allem bei der Suchmaschinenoptimierung ein hilfreiches Tool, da mit diesem das Verhalten von Suchmaschinen-Bots, wie etwa jene von Google, gesteuert werden können. Das Tool kann komplette Websites, Verzeichnisse oder bestimmte Trawler sperren. Das ist jedoch nur eine Anweisung und keine technische Sperre.(5)
Eine Robots Textdatei eignet sich somit hervorragend, um das Crawling der Bots zu steuern, jedoch nicht für die Indexierung.(6)

Eine Robots txt Datei hilft den SEO’s dabei, das vorhandene Crawling besser zu nutzen und auf die einzelnen Bereiche der Website besser zu verteilen. Der Robot kann relevante Inhalte auch über Interesse und externe Verlinkungen finden, jedoch ist es effizienter den Suchmaschinenbot direkt auf die wichtigen Seiten hinzuweisen und irrelevante Seiten mit dem Disallow Befehl auszuschließen.

Wenn du jedoch zu viele Seiten für die Suchmaschine sperrst, hat das negative Auswirkungen auf dein Ranking. Wenn du jedoch zu offen einschränkst, dann können beispielsweise auch User-spezifische oder private Seiten oder indexiert werden. Das sorgt dann dafür, dass deine einzelnen Seiten gegebenenfalls gegeneinander konkurrieren und sich dadurch gegenseitig ausspielen.

Es ist daher wichtig eine Balance zu finden, um von den Suchmaschinen eine hohe Bewertung zu bekommen und damit einen guten Rankingplatz zu erhalten.

Fazit

Robots.txt ist also ein hilfreiches Tool, um die Indizierung deiner Homepage einigermaßen zu steuern. Jedoch handelt es sich dabei nicht um eine technische Sperre, sondern lediglich um eine Anweisung. Das bedeutet, dass die einzelnen Suchmaschinen bei der Auflistung der zur Verfügung stehenden Seiten diese Anweisung befolgen können, jedoch nicht müssen.

Bevor du mit Robots.txt beginnst, empfehlen wir dir dich mit dem Tool vertraut zu machen. Eine falsche Anwendung sorgt für irrtümlich ausgesperrte Seiten oder Verzeichnisse, aufgrund welcher deine Website bei den Suchergebnissen schlechter gerankt wird. Wenn du die Robots txt Datei sinnvoll verwendest, kann sie einen maßgeblichen Einfluss auf die Suchmaschinenoptimierung haben.

Weiterführende Literatur: Quellen und interessante Links

[1] https://books.google.at/books?id=sP3E3c8BkY0C&pg=PA115&dq=Robots+txt&hl=de&sa=X&ved=2ahUKEwjWgZeyg53sAhWrmIsKHdqXCNgQ6AEwA3oECAEQAg#v=onepage&q=Robots%20txt&f=false

[2] https://books.google.at/books?id=45znBQAAQBAJ&pg=PT270&dq=rechtliche+rahmenbedingungen+robots+txt&hl=de&sa=X&ved=2ahUKEwiU-IbThJ3sAhWvlIsKHQZXBLgQ6AEwAHoECAgQAg#v=onepage&q=robots%20txt&f=false

[3] https://books.google.at/books?id=HqdPAgAAQBAJ&pg=PA252&dq=robots+txt&hl=de&sa=X&ved=2ahUKEwia7cHfjp3sAhWltIsKHTHSB1gQ6AEwAXoECAQQAg#v=onepage&q=robots%20txt&f=false

[4] https://books.google.at/books?id=slIgBAAAQBAJ&pg=PA89&dq=wo+gespeichert+robots+txt&hl=de&sa=X&ved=2ahUKEwjikqnhk53sAhVMEncKHX2xBx4Q6AEwAHoECAAQAg#v=onepage&q=wo%20gespeichert%20robots%20txt&f=false

[5] https://books.google.at/books?id=k67YBgAAQBAJ&pg=PA116&dq=Einfluss+robots+txt+auf+suchmaschinenoptimierung&hl=de&sa=X&ved=2ahUKEwjHr4SelJ3sAhVJkMMKHZQCBd4Q6AEwAXoECAAQAg#v=onepage&q=Einfluss%20robots%20txt%20auf%20suchmaschinenoptimierung&f=false

[6] https://books.google.at/books?id=k67YBgAAQBAJ&pg=PA116&dq=Einfluss+robots+txt+auf+suchmaschinenoptimierung&hl=de&sa=X&ved=2ahUKEwjHr4SelJ3sAhVJkMMKHZQCBd4Q6AEwAXoECAAQAg#v=onepage&q=Einfluss%20robots%20txt%20auf%20suchmaschinenoptimierung&f=false

Bildquelle: Joshua Aragon / unsplash

Warum kannst du mir vertrauen?

Testberichte