DE
Jetzt starten

Glossar

Erkennung & Reputation

Anti-Bot-System

Eine mehrschichtige Abwehr aus Prüfungen von Netz, Fingerprint und Verhalten, mit der Seiten Automatisierung von echten Nutzern trennen.

Ein Anti-Bot-System hat die IP-Sperrliste abgelöst. Eine Sperrliste beantwortet eine Frage mit einem Signal und lässt sich mit einem Adresswechsel mühelos aushebeln. Ein modernes System stellt ein Dutzend Fragen, gewichtet die Antworten und fällt ein einziges Urteil, und deshalb bringen die Mittel, die eine Sperrliste schlagen, dagegen fast nichts.

Die Angaben kommen aus allen Ebenen zugleich, und genau diese Schichtung ist die Konstruktion. Auf der Netzwerkebene: wem die Adresse gehört und welche Reputation sie hat, dasselbe Feld wie bei der Proxy-Erkennung. Auf der Transportebene: der TLS-Fingerprint, denn ein Python-Handshake im Gewand eines Chrome-User-Agents ist ein Widerspruch, den man kostenlos erkennt. Auf der Anwendungsebene: Browser-Fingerprinting mit Canvas, WebGL, Schriften, Zeitzone und der Frage, ob irgendetwas davon dem widerspricht, wo die IP zu sein behauptet. Dann das Verhalten: Tempo, Zeigerbewegung, Scrollen, ob Ressourcen geladen wurden, ob ein Mensch diesen Navigationsweg hätte nehmen können.

Das Urteil ist selten eine glatte Sperre, und das verwirrt die meisten. Ein System mit Wahlmöglichkeiten wählt oft die billigste Antwort, die Sie etwas kostet und den Betreiber nichts: ein CAPTCHA zeigen, den Inhalt still verschlechtern, veraltete Preise liefern, Ergebnisse weglassen oder die Antwort verlangsamen, bis der Scraper aufgibt. Eine Seite, die sauber lädt und leicht falsche Daten enthält, ist eine weit wirksamere Abwehr als ein 403, denn Sie merken es womöglich wochenlang nicht.

Die Abwehr bewegt sich außerdem. Regeln werden neu justiert, neue Signale kommen hinzu, Schwellen verschieben sich mit dem Traffic, und eine Technik, die letzten Monat funktioniert hat, kann ohne Ankündigung aufhören zu funktionieren. Diese Tatsache entscheidet über die Strategie: Sie halten eine Stellung gegen etwas, das sich ändert, ohne es Ihnen zu sagen, und ein einmal gelöstes Rätsel bleibt nicht gelöst.

Der ehrliche Rat für ein schwieriges Ziel lautet deshalb: Ein besserer Proxy allein reicht nicht. Stellen Sie sich eine Prüfung vor, bei der Verkleidung nichts nützt: Jede Ebene Ihrer Anfrage soll dieselbe Geschichte erzählen, und das System sucht die eine, die es nicht tut. Was Ihr Client auch zu sein behauptet, er muss es beim Handshake tatsächlich sein, einen glaubwürdigen Rechner melden, auf einer Adresse sitzen, die zu seinem angeblichen Standort passt, und sich in einem Tempo durch die Seite bewegen, das der behauptete Mensch schaffen könnte. Das Ziel ist, dass nichts sichtbar aus der Reihe fällt; Unsichtbarkeit verlangt niemand.

Und ab einem Punkt hört es auf, vernünftig zu sein, selbst dagegen anzukämpfen. Verlangt der Zugang laufende Arbeit von jemandem, der sonst Ihr eigentliches Produkt bauen könnte, ist eine Scraper-API, die genau darauf spezialisiert ist, meist billiger als die Entwicklungszeit, und deutlich billiger, als einen Monat lang still falsche Daten zu sammeln.

So handhabt HProxy das

Wir verkaufen eine dieser Schichten und sagen es offen: Eine gute Adresse hebt Ihre Ausgangslage und kann einen Client nicht retten, der sich weiter oben im Stapel selbst widerspricht. Deshalb betreiben wir neben den Proxys auch eine Scraper-API, denn eine IP allein löst nicht jedes Ziel.

Häufige Fragen

Kommt ein Residential-Proxy allein an einem Anti-Bot-System vorbei?

Gegen leichten Schutz oft ja, denn die Reputation des Netzes ist eine der schwersten Angaben, und eine vertrauenswürdige Adresse nimmt den billigsten Grund für eine Prüfung weg. Gegen ernsthaften Schutz nein. Das System liest auch Ihren TLS-Fingerprint, Ihren Browser-Fingerprint und Ihr Verhalten, und jedes davon, das der Adresse widerspricht, reicht für sich allein. Die Adresse ist nötig und reicht nicht.

Warum hat mein Scraper wochenlang funktioniert und dann plötzlich aufgehört?

Meist, weil sich die Abwehr geändert hat; an Ihnen lag es selten. Schwellen werden neu justiert, neue Signale kommen hinzu, und Regeln werden ständig aktualisiert, also kann ein Aufbau, der knapp über der Linie lag, darunter fallen, ohne dass sich auf Ihrer Seite etwas geändert hat. Prüfen Sie auch, ob er wirklich aufgehört hat oder nur begonnen hat, verschlechterte Inhalte zu liefern, denn diesen Fehler übersieht man viel leichter.

Woran erkenne ich, ob ich verschlechterte Inhalte bekomme und keine Sperre?

Vergleichen Sie mit einer Anfrage, der Sie vertrauen. Rufen Sie dieselbe URL mit einem gewöhnlichen Browser über einen normalen Anschluss ab und vergleichen Sie die aussagekräftigen Felder: Preise, Anzahl der Ergebnisse, Verfügbarkeit, Zahl der Artikel in einer Liste. Stille Verschlechterung sieht auf HTTP-Ebene wie Erfolg aus, also verrät es Ihnen nichts in Statuscodes oder Fehlerlogs; nur ein Vergleich zeigt es.

Ist es besser, langsamer vorzugehen?

Meist ja, und das ist die am meisten unterschätzte Stellschraube. Menge und Gleichmaß sind starke Signale, und beide haben Sie vollständig selbst in der Hand. Echte Schwankung im Tempo, keine feste Pause, die selbst ein Muster ist, kostet Sie Zeit und beseitigt ein Signal, das kein Proxy-Kauf beseitigen kann.

Blockieren Anti-Bot-Systeme auch Crawler von Suchmaschinen?

In der Regel nicht, denn die meisten Websites wollen indexiert werden. Bekannte Crawler werden meist erkannt und zugelassen, und deshalb kann eine Website in einem zwischengespeicherten Suchergebnis weit offen wirken und Sie sofort prüfen. Die Erlaubnis gilt einem bestimmten, überprüften Crawler; ein ähnlicher User-Agent bekommt sie nicht, und die Behauptung, einer zu sein, lässt sich per Reverse DNS mühelos prüfen.

Zurück zum vollständigen Glossar.

HProxy.

Verlassen Sie sich nicht auf unser Wort. Messen Sie es selbst.

Läuft in Ihrem Browser gegen die Live-Adresse. Keine Anmeldung, keine gespeicherte Liste.

HProxy