Honeypot
Eine Falle für Automatisierung, ein für Menschen unsichtbarer Link oder ein unsichtbares Feld, das alles als Bot markiert, was damit interagiert.
Ein Honeypot ist ein Köder für Automatisierung. Die Seite platziert etwas, das ein Mensch nicht wahrnehmen und deshalb nie berühren kann, und wertet alles, was es berührt, als Beweis für ein Programm. Es gibt keine Mehrdeutigkeit, über die man streiten könnte, und das macht es zu einem so sauberen Signal: Ein Mensch füllt schlicht kein unsichtbares Feld aus.
Die Formen sind banal, sobald man sie kennt. Ein Link, der außerhalb des Bildschirms platziert oder auf null Größe gesetzt ist, sodass er im Markup existiert und auf dem Bildschirm fehlt. Ein Formularfeld, per CSS versteckt und manchmal so benannt, dass es ein Skript zum Ausfüllen von Formularen reizt. Eine URL, die nirgends in der sichtbaren Navigation auftaucht. Und der Klassiker: ein Pfad, der in der robots.txt als verboten aufgeführt ist, den ein anständiger Crawler nie abruft und der deshalb alles entlarvt, was ihn doch abruft.
Beim letzten lohnt es sich innezuhalten, denn er stellt auf den Kopf, wofür die meisten die robots.txt halten. Wer sie als Liste interessanter Orte liest statt als Liste von Orten, die man in Ruhe lässt, hält eine Karte genau der Anfragen in der Hand, die ihn markieren. Wer sie liest, um herauszufinden, was eine Seite versteckt, tappt zuverlässig und mit Absicht in die Falle.
Die Eleganz dieser Abwehr liegt darin, dass sie Gründlichkeit zum Erkennungsmerkmal macht. Je mechanisch vollständiger Ihre Automatisierung ist, desto sicherer löst sie etwas aus, dem ein Mensch nie begegnen würde; genau die Eigenschaft, die einen Crawler gut im Datensammeln macht, macht ihn leicht erkennbar. Ist die Falle einmal ausgelöst, trifft die Folge meist die Adresse, und deshalb kann ein einziger unvorsichtiger Lauf eine IP für alles Weitere verderben.
Um sie zu meiden, müssen Sie gezielt vorgehen statt erschöpfend. Folgen Sie dem, was wirklich sichtbar und erreichbar ist, behandeln Sie die robots.txt als Anweisung und lesen Sie sie nie als Verzeichnis, senden Sie keine Felder ab, die eine gerenderte Seite nicht zeigt, und misstrauen Sie jedem Element, das im DOM steht, auf dem Bildschirm aber unsichtbar ist. Ein Web-Crawler, der nachahmt, was ein Leser plausibel tun würde, ist höflicher und obendrein schwerer zu fassen.
Häufige Fragen
Wie erkenne ich einen Honeypot, bevor ich ihn auslöse?
Rendern Sie die Seite, statt nur das Markup zu parsen, und ignorieren Sie dann alles, was ein Mensch nicht sehen oder erreichen könnte: Elemente mit display none, visibility hidden, null Breite oder Höhe, opacity null oder weit außerhalb des Bildschirms positioniert. Wer rohes HTML ohne Rendern parst, arbeitet mit einem Dokument, das Fallen enthält, die auf der sichtbaren Seite fehlen, und genau diese Lücke nutzt die Technik aus.
Verrät mir die robots.txt, wo die Honeypots sind?
Sie führt sie oft auf, und wer sie so benutzt, wird erwischt. Ein verbotener Pfad, auf den kein sichtbarer Link zeigt, ist ein starker Kandidat für einen Köder, denn ein regelkonformer Crawler ruft ihn nie ab; dort taucht also nur Automatisierung auf, die die Datei ignoriert. Behandeln Sie die Datei als Anweisung, wohin Sie nicht gehen sollen, und nutzen Sie sie nie als Abkürzung zu interessanten URLs.
Was passiert, nachdem ich einen ausgelöst habe?
Das hängt von der Seite ab, und oft folgt keine sofortige Sperre. Manche markieren die Adresse und handeln später, manche liefern verschlechterte oder erfundene Inhalte aus, sodass Ihre gesammelten Daten still falsch sind, und manche erhöhen einfach Ihren Wert beim Anti-Bot-System, sodass jede spätere Anfrage mit mehr Misstrauen behandelt wird. Dass nichts Sichtbares passiert, beweist nicht, dass nichts passiert ist.
Hebt eine IP-Rotation eine Honeypot-Markierung auf?
Sie löst die Markierung von dieser einen Adresse, und das hilft, wenn sie nur zur IP gespeichert wurde. Sie hilft nicht, wenn die Seite auch einen Fingerprint des Clients genommen hat, denn derselbe Fingerprint auf einer neuen Adresse ist ein stärkeres Signal, als wenn Sie geblieben wären. Und am Verhalten, das die Falle ausgelöst hat, ändert sie nichts; die nächste Adresse löst sie also ebenfalls aus.
Zurück zum vollständigen Glossar.

