Robots txt

Wenn also der Googlebot gewisse Seiten bzw. Seiteninhalte nicht erfassen soll, dann müssen diese Seiten also in einer Datei “Robots.txt” angelegt sein. Diese Seiten werden also mit gewissen Anweisungen versehen und im Stammverzeichnis der Website abgelegt. (2)

Nur unter Einhaltung dieser Voraussetzungen funktioniert der robots txt. Sollte dies bei dir nicht klappen, dann hast du einen Fehler in einen dieser Voraussetzungen. Achte vor allem auf die Groß- und Kleinschreibung, da diese oftmals der Grund sind, wenn robots txt nicht funktioniert.

In dem folgenden Abschnitt haben wir dir diese zwei Begriffe nochmal näher erklärt, sodass du gleich loslegen kannst:

• User-Agents: jede Suchmaschine hat einen eigenen User-Agent. Bei Google ist es zum Beispiel der Googlebot. Für jeden Suchmaschinenbot kannst du also in deiner robots txt Datei benutzerdefinierte Anweisungen geben. Wenn du aber allen User-Agents dieselben Anweisungen geben möchtest, kannst du auch den Stern bzw. eine Wildcard (*) als Platzhalter verwenden. So musst du dieselben Informationen nicht immer wieder eingeben.
• Anweisungen: diese Regeln sollen die einzelnen Suchmaschinenbots einhalten. Dabei kannst du unterscheiden zwischen jenen Anweisungen, die der Bot unterstützen soll (Allow) und solche, die die Suchmaschine nicht indizieren soll (Disallow).
• Wildcards: mit sogenannten Wildcards (*) kannst du nicht nur Anweisungen auf alle User-Agents anwenden, sondern auch, um URL-Muster bei der Eingabe von Anweisungen anzupassen.

Anweisungen können jedoch gleichzeitig verboten und erlaubt sein, wenn du dich bei der Schreibweise irrst. Daher empfehlen wir dir, den Code mehrmals zu überprüfen, damit du sichergehen kannst, dass du keine Fehler gemacht hast und die Robots txt Datei richtig funktioniert.

Der Suchmaschinen Bot kann die Datei jedoch nur dann richtig auslesen, wenn die Datei alle Voraussetzungen erfüllt und anschließend richtig abgelegt wird.

Schon der kleinste Fehler in der Benennung oder Beschreibung der Robots txt Datei sorgt dafür, dass der Bot deine Seite nicht richtig auslesen kann, wodurch du im Suchergebnisranking schlechter beurteilt wirst.(5)

Während also die großen, namenhaften Suchmaschinen diese Anweisung auch befolgen, gibt es trotzdem eine Vielzahl an anderen, kleineren Suchmaschinen, die diese Inhalte trotzdem erfassen. Vor allem für Suchmaschinen aus dem Ausland, wie etwa Baidu in China, hat das deutsche Urheberrecht und somit auch Seiten und Verzeichnisse in Robots txt, keine Bedeutung.

In Deutschland und somit auch in den restlichen EU-Staaten, hast du als Webmaster nämlich sowohl auf die Inhalte der Seite als auch über die Struktur ein Urheberrecht, auch dann, wenn du von einzelnen Inhalten nicht der Urheber bist.

Nachteile:

• ist bloß eine Anweisung keine technische Sperre
• durch externe Verlinkungen trotzdem indiziert

Der größte Nachteil von Robots.txt ist also die Tatsache, dass sich hierbei bloß um eine Handlungsaufforderung handelt. Zwar halten sich die meisten großen Suchmaschinen daran, jedoch können die aufgelisteten Seiten in der Robots Textdatei indiziert werden. Durch externe Verlinkungen können die hinterlegten Dateien jedoch trotzdem ausgelesen werden und somit bei den Suchergebnissen der Suchmaschinen auftauchen.

Eine Robots txt Datei hilft den SEO’s dabei, das vorhandene Crawling besser zu nutzen und auf die einzelnen Bereiche der Website besser zu verteilen. Der Robot kann relevante Inhalte auch über Interesse und externe Verlinkungen finden, jedoch ist es effizienter den Suchmaschinenbot direkt auf die wichtigen Seiten hinzuweisen und irrelevante Seiten mit dem Disallow Befehl auszuschließen.

Wenn du jedoch zu viele Seiten für die Suchmaschine sperrst, hat das negative Auswirkungen auf dein Ranking. Wenn du jedoch zu offen einschränkst, dann können beispielsweise auch User-spezifische oder private Seiten oder indexiert werden. Das sorgt dann dafür, dass deine einzelnen Seiten gegebenenfalls gegeneinander konkurrieren und sich dadurch gegenseitig ausspielen.

Es ist daher wichtig eine Balance zu finden, um von den Suchmaschinen eine hohe Bewertung zu bekommen und damit einen guten Rankingplatz zu erhalten.