robots.txt
Eine Datei im Stammverzeichnis einer Seite, die Crawlern sagt, welche Pfade sie lieber meiden sollen, eine Konvention ohne Durchsetzung.
robots.txt ist eine einfache Textdatei, die eine Website in ihrem Stammverzeichnis veröffentlicht, um mitzuteilen, wie sich automatisierte Besucher verhalten sollen: welche Pfade sie auslassen und manchmal, wie langsam sie crawlen sollen. Es ist eine altbewährte Konvention, an die sich anständige Crawler halten, und Suchmaschinen befolgen sie streng.
Wichtig ist eine klare Einordnung: Eine Zugriffskontrolle ist robots.txt nie gewesen. Die Datei bittet nur; technisch hält nichts eine Anfrage an einen gesperrten Pfad auf. Sie zu ignorieren ist trotzdem schlechter Stil und ein praktisches Risiko, denn eine Website, die Traffic auf Pfaden sieht, die Crawler meiden sollten, hat ein einfaches Signal, dass sich dort ein Bot schlecht benimmt.
Vernünftig gelesen markiert robots.txt die Grenze erwünschter Automatisierung. Wer sich daran hält, bleibt in der Kategorie geduldeten Traffics und wird nicht als Missbrauch markiert.
Technisch ist sie einfach, und das ist ein Grund, warum sie sich seit Jahrzehnten unverändert hält. Gruppen beginnen mit einer User-agent-Zeile, die den Crawler nennt, für den die Regeln gelten, gefolgt von Disallow- und Allow-Zeilen mit Pfadanfängen. Ein Sternchen in der User-agent-Zeile meint alle, die nicht ausdrücklich angesprochen sind. Viele Websites veröffentlichen außerdem eine Sitemap-Zeile, und die ist wirklich nützlich: Sie verweist auf eine strukturierte Liste der URLs, die die Website gefunden haben will.
Die Falle, die sie stellt, kehrt ihren Zweck um, und sie erwischt gerade die, die sich für schlau halten. Liest man die Datei als Liste interessanter Orte, wirkt ein gesperrter Pfad wie ein Hinweis auf etwas Wertvolles. Weit häufiger ist er ein Pfad, den kein legitimer Crawler je anfragt, und damit ist alles, was ihn anfragt, mühelos zu erkennen. Wer die Datei als Landkarte benutzt, läuft sehenden Auges in einen Honeypot.
Ebenso klar sollte sein, dass die Datei keinen Schutz bietet und nie dafür gedacht war. Ein gesperrter Pfad bleibt öffentlich erreichbar; jeder kann ihn anfragen, und nichts hält ihn auf. Wer den Ort von etwas Sensiblem in robots.txt veröffentlicht, macht ihn allen bekannt und bittet höflich, nicht hinzusehen, das Schlechteste aus beiden Welten.
Unsere praktische Haltung, die wir als Mindeststandard empfehlen: Lesen Sie die Datei, befolgen Sie die Disallow-Regeln und jede angegebene Crawl-Verzögerung, und nutzen Sie die angebotene Sitemap. Das kostet fast nichts, hält Sie in der Kategorie von Traffic, den eine Website duldet, und vermeidet genau das Signal, das eine Adresse am zuverlässigsten als schlecht benehmend markiert.
Häufige Fragen
Ist es illegal, robots.txt zu ignorieren?
robots.txt ist eine Konvention, kein Gesetz. Die Rechtslage unterscheidet sich je nach Land und kann mit den Nutzungsbedingungen einer Website zusammenhängen; das ist eine Frage für einen Anwalt. Die praktische Antwort ist klarer: Die Datei zu ignorieren ist einer der zuverlässigsten Wege, eine Adresse markieren zu lassen, denn gesperrte Pfade fragt nichts Legitimes an.
Blockiert robots.txt tatsächlich etwas?
Nein. Die Datei ist eine veröffentlichte Bitte ohne jede technische Durchsetzung. Jeder gesperrte Pfad bleibt öffentlich erreichbar, und technisch verhindert nichts eine Anfrage daran. Darum ist es auch kontraproduktiv, dort etwas Sensibles aufzuführen: Der Ort wird allen bekannt, und sein Schutz hängt allein an der Höflichkeit.
Verrät mir robots.txt, wo die guten Daten liegen?
Sie verrät eher, wo die Fallen liegen, und das ist die nützliche Umkehrung. Ein gesperrter Pfad, auf den nichts verlinkt, ist ein starker Kandidat für einen Honeypot, denn dort taucht nur Automatisierung auf, die die Datei ignoriert. Wirklich nützlich ist die Sitemap-Zeile: Sie verweist auf eine strukturierte Liste der URLs, die die Website gefunden haben will.
Wie lese ich eine robots.txt-Datei?
Sie ist nach Crawlern gruppiert. Eine User-agent-Zeile nennt, für wen die folgenden Regeln gelten, wobei ein Sternchen alle meint, die nicht ausdrücklich angesprochen sind, und darunter listen Disallow- und Allow-Zeilen Pfadanfänge auf. Suchen Sie die Gruppe, die für Sie gilt, meist die mit dem Sternchen, und befolgen Sie deren Regeln. Eine Sitemap-Zeile kann überall stehen und gilt für alle.
Zurück zum vollständigen Glossar.

