
Du bist Webmaster und benötigst ein Tool, mit welchem du bestimmte Unterseiten oder Verzeichnisse aus dem Index ausschließen kannst, weil diese noch nicht fertig sind oder privaten Zwecken dienen? Dann ist ein Robots txt vielleicht genau das Richtige für dich.
In diesem Beitrag erfährst du alles rund um das Thema Robots txt. Wir informieren dich über alle wichtigen Fakten und auf welche Dinge du achten musst, wenn du ein Robot txt in deine Website integrieren möchtest.
Contents
- 1 Das Wichtigste in Kürze
- 2 Glossareintrag: Der Begriff Robots txt im Detail erklärt
- 2.1 Was ist Robots txt?
- 2.2 Wie funktioniert Robots txt?
- 2.3 Wie sieht eine Robots txt Datei aus?
- 2.4 Wie erstelle ich eine Robots txt Datei?
- 2.5 Wo finde ich Robots txt?
- 2.6 Welche rechtliche Rahmenbedingungen sollte ich bei Robots.txt beachten?
- 2.7 Welche Vor- und Nachteile gibt es bei Robots txt?
- 2.8 Welchen Einfluss hat Robots txt auf die Suchmaschinenoptimierung?
- 3 Fazit
- 4 Weiterführende Literatur: Quellen und interessante Links
Das Wichtigste in Kürze
- Bei Robots txt handelt es sich um ein Tool, mit dessen der Webmaster den Suchmaschinen vorgibt, welche Seiten oder Verzeichnisse sie nicht indizieren sollen.
- Dabei handelt es sich um eine Anweisung, aber nicht um eine technische Sperre. Die Suchmaschinen können also deiner Anweisung folgen, müssen es jedoch nicht.
- Robots txt hat großen Einfluss auf das Ranking deiner Websites. Zu viele eingeschränkte Seiten haben negative Auswirkungen auf das Ranking. Wenige bis gar keine Einschränkungen können dafür sorgen, dass einzelnen Seiten gegeneinander konkurrieren und sich gegenseitig ausspielen.
Glossareintrag: Der Begriff Robots txt im Detail erklärt
Um dich über Robots txt rundum zu informieren, haben wir für dich die wichtigsten und am häufigsten gestellten Fragen zu diesem Thema herausgesucht und hier für dich ausführlich beantwortet. So bist und bleibst du gut informiert, wenn es um deine Website geht.
Was ist Robots txt?
Wenn also der Googlebot gewisse Seiten bzw. Seiteninhalte nicht erfassen soll, dann müssen diese Seiten also in einer Datei “Robots.txt” angelegt sein. Diese Seiten werden also mit gewissen Anweisungen versehen und im Stammverzeichnis der Website abgelegt. (2)
Wie funktioniert Robots txt?
Es gibt jedoch auch bereits Tools im internet, die dir dabei helfen schnell und unkompliziert eine robots.txt Datei anzufertigen, indem sie dich die wichtigsten Informationen abfragen und dir dann anschließend die fertige Robots txt Datei zur Verfügung stellen.
Damit auch alles reibungslos verläuft, gibt es einige Voraussetzungen, die du beachten musst(3):
- Der Name der Datei muss immer in Kleinbuchstaben sein – also robots txt. Einzelne Großschreibungen, wie etwa Robots.txt werden nicht anerkannt.
- robots txt muss im Stammverzeichnis auf der obersten Ebene eingefügt werden.
- Pro Domain ist nur ein robots txt zulässig
- der Aufbau der robots txt Datei muss außerdem dem Robots Explosion Standard entsprechen.
Nur unter Einhaltung dieser Voraussetzungen funktioniert der robots txt. Sollte dies bei dir nicht klappen, dann hast du einen Fehler in einen dieser Voraussetzungen. Achte vor allem auf die Groß- und Kleinschreibung, da diese oftmals der Grund sind, wenn robots txt nicht funktioniert.
Wie sieht eine Robots txt Datei aus?
In dem folgenden Abschnitt haben wir dir diese zwei Begriffe nochmal näher erklärt, sodass du gleich loslegen kannst:
- User-Agents: jede Suchmaschine hat einen eigenen User-Agent. Bei Google ist es zum Beispiel der Googlebot. Für jeden Suchmaschinenbot kannst du also in deiner robots txt Datei benutzerdefinierte Anweisungen geben. Wenn du aber allen User-Agents dieselben Anweisungen geben möchtest, kannst du auch den Stern bzw. eine Wildcard (*) als Platzhalter verwenden. So musst du dieselben Informationen nicht immer wieder eingeben.
- Anweisungen: diese Regeln sollen die einzelnen Suchmaschinenbots einhalten. Dabei kannst du unterscheiden zwischen jenen Anweisungen, die der Bot unterstützen soll (Allow) und solche, die die Suchmaschine nicht indizieren soll (Disallow).
- Wildcards: mit sogenannten Wildcards (*) kannst du nicht nur Anweisungen auf alle User-Agents anwenden, sondern auch, um URL-Muster bei der Eingabe von Anweisungen anzupassen.
Anweisungen können jedoch gleichzeitig verboten und erlaubt sein, wenn du dich bei der Schreibweise irrst. Daher empfehlen wir dir, den Code mehrmals zu überprüfen, damit du sichergehen kannst, dass du keine Fehler gemacht hast und die Robots txt Datei richtig funktioniert.
Wie erstelle ich eine Robots txt Datei?
Wenn du fertig mit deinen Eingaben bist und du dir sicher bist, dass du den Code richtig eingetippt hast, dann musst du die Datei als “robots.txt” abspeichern. Wenn du dir bei der Erstellung der Datei unsicher bist, kannst du auch einen robots-txt Generator verwenden. Mit diesem kannst du nicht nur Fehler umgehen, sondern sparst dir auch eine Menge Zeit.
Wo finde ich Robots txt?
Der Suchmaschinen Bot kann die Datei jedoch nur dann richtig auslesen, wenn die Datei alle Voraussetzungen erfüllt und anschließend richtig abgelegt wird.
Schon der kleinste Fehler in der Benennung oder Beschreibung der Robots txt Datei sorgt dafür, dass der Bot deine Seite nicht richtig auslesen kann, wodurch du im Suchergebnisranking schlechter beurteilt wirst.(5)
Welche rechtliche Rahmenbedingungen sollte ich bei Robots.txt beachten?
Während also die großen, namenhaften Suchmaschinen diese Anweisung auch befolgen, gibt es trotzdem eine Vielzahl an anderen, kleineren Suchmaschinen, die diese Inhalte trotzdem erfassen. Vor allem für Suchmaschinen aus dem Ausland, wie etwa Baidu in China, hat das deutsche Urheberrecht und somit auch Seiten und Verzeichnisse in Robots txt, keine Bedeutung.
In Deutschland und somit auch in den restlichen EU-Staaten, hast du als Webmaster nämlich sowohl auf die Inhalte der Seite als auch über die Struktur ein Urheberrecht, auch dann, wenn du von einzelnen Inhalten nicht der Urheber bist.
Welche Vor- und Nachteile gibt es bei Robots txt?
Damit ist Robots txt ein hilfreiches Tool, um deine Website bis zu einem gewissen Grad zu steuern und zu kontrollieren. Im Folgenden haben wir die wichtigsten Vor- sowie Nachteile der Robots txt Datei aufgelistet, sodass du dir einen Überblick verschaffen kannst.
Vorteile:
- Hilfreiches Tool zur Steuerung von Suchmaschinen
- Websites oder Verzeichnisse herausnehmen
Nachteile:
- ist bloß eine Anweisung keine technische Sperre
- durch externe Verlinkungen trotzdem indiziert
Der größte Nachteil von Robots.txt ist also die Tatsache, dass sich hierbei bloß um eine Handlungsaufforderung handelt. Zwar halten sich die meisten großen Suchmaschinen daran, jedoch können die aufgelisteten Seiten in der Robots Textdatei indiziert werden. Durch externe Verlinkungen können die hinterlegten Dateien jedoch trotzdem ausgelesen werden und somit bei den Suchergebnissen der Suchmaschinen auftauchen.
Welchen Einfluss hat Robots txt auf die Suchmaschinenoptimierung?
Eine Robots txt Datei hilft den SEO’s dabei, das vorhandene Crawling besser zu nutzen und auf die einzelnen Bereiche der Website besser zu verteilen. Der Robot kann relevante Inhalte auch über Interesse und externe Verlinkungen finden, jedoch ist es effizienter den Suchmaschinenbot direkt auf die wichtigen Seiten hinzuweisen und irrelevante Seiten mit dem Disallow Befehl auszuschließen.
Wenn du jedoch zu viele Seiten für die Suchmaschine sperrst, hat das negative Auswirkungen auf dein Ranking. Wenn du jedoch zu offen einschränkst, dann können beispielsweise auch User-spezifische oder private Seiten oder indexiert werden. Das sorgt dann dafür, dass deine einzelnen Seiten gegebenenfalls gegeneinander konkurrieren und sich dadurch gegenseitig ausspielen.
Es ist daher wichtig eine Balance zu finden, um von den Suchmaschinen eine hohe Bewertung zu bekommen und damit einen guten Rankingplatz zu erhalten.
Fazit
Robots.txt ist also ein hilfreiches Tool, um die Indizierung deiner Homepage einigermaßen zu steuern. Jedoch handelt es sich dabei nicht um eine technische Sperre, sondern lediglich um eine Anweisung. Das bedeutet, dass die einzelnen Suchmaschinen bei der Auflistung der zur Verfügung stehenden Seiten diese Anweisung befolgen können, jedoch nicht müssen.
Bevor du mit Robots.txt beginnst, empfehlen wir dir dich mit dem Tool vertraut zu machen. Eine falsche Anwendung sorgt für irrtümlich ausgesperrte Seiten oder Verzeichnisse, aufgrund welcher deine Website bei den Suchergebnissen schlechter gerankt wird. Wenn du die Robots txt Datei sinnvoll verwendest, kann sie einen maßgeblichen Einfluss auf die Suchmaschinenoptimierung haben.
Weiterführende Literatur: Quellen und interessante Links
[1] https://books.google.at/books?id=sP3E3c8BkY0C&pg=PA115&dq=Robots+txt&hl=de&sa=X&ved=2ahUKEwjWgZeyg53sAhWrmIsKHdqXCNgQ6AEwA3oECAEQAg#v=onepage&q=Robots%20txt&f=false
[2] https://books.google.at/books?id=45znBQAAQBAJ&pg=PT270&dq=rechtliche+rahmenbedingungen+robots+txt&hl=de&sa=X&ved=2ahUKEwiU-IbThJ3sAhWvlIsKHQZXBLgQ6AEwAHoECAgQAg#v=onepage&q=robots%20txt&f=false
[3] https://books.google.at/books?id=HqdPAgAAQBAJ&pg=PA252&dq=robots+txt&hl=de&sa=X&ved=2ahUKEwia7cHfjp3sAhWltIsKHTHSB1gQ6AEwAXoECAQQAg#v=onepage&q=robots%20txt&f=false
[4] https://books.google.at/books?id=slIgBAAAQBAJ&pg=PA89&dq=wo+gespeichert+robots+txt&hl=de&sa=X&ved=2ahUKEwjikqnhk53sAhVMEncKHX2xBx4Q6AEwAHoECAAQAg#v=onepage&q=wo%20gespeichert%20robots%20txt&f=false
[5] https://books.google.at/books?id=k67YBgAAQBAJ&pg=PA116&dq=Einfluss+robots+txt+auf+suchmaschinenoptimierung&hl=de&sa=X&ved=2ahUKEwjHr4SelJ3sAhVJkMMKHZQCBd4Q6AEwAXoECAAQAg#v=onepage&q=Einfluss%20robots%20txt%20auf%20suchmaschinenoptimierung&f=false
[6] https://books.google.at/books?id=k67YBgAAQBAJ&pg=PA116&dq=Einfluss+robots+txt+auf+suchmaschinenoptimierung&hl=de&sa=X&ved=2ahUKEwjHr4SelJ3sAhVJkMMKHZQCBd4Q6AEwAXoECAAQAg#v=onepage&q=Einfluss%20robots%20txt%20auf%20suchmaschinenoptimierung&f=false
Bildquelle: Joshua Aragon / unsplash