DE
Jetzt starten

Glossar

Erkennung & Reputation

Cloudflare

Ein CDN und eine Sicherheitsschicht vor einem großen Teil des Webs, mit einigen der häufigsten Prüfungen gegen Bots, auf die Scraper treffen.

Cloudflare steht als CDN und Sicherheits-Proxy vor einem sehr großen Teil aller Websites, und deshalb ist seine Bot-Abwehr eines der häufigsten Hindernisse für Automatisierung. Wirkt eine Anfrage automatisiert, kann Cloudflare eine Prüfung vorschalten, bevor die eigentliche Website erreicht wird: einen JavaScript-Check, eine Managed Challenge, manchmal ein CAPTCHA.

Weil Cloudflare als Reverse Proxy vor der Website steht, haben Sie es mit seiner Abwehr zu tun, und der Ursprungsserver bleibt außen vor. Diese Abwehr wägt dieselben Signale ab wie jedes ernsthafte Anti-Bot-System: IP-Reputation, TLS-Fingerprint, Verhalten im Browser. Eine Adresse aus dem Rechenzentrum löst weit eher eine Prüfung aus als eine saubere Residential-Adresse.

Praktisch bleibt es dabei: Eine vertrauenswürdige Adresse, ein echter Browser-Fingerprint und ruhiges Verhalten kommen gemeinsam durch, wo jedes für sich scheitert. Bei den härtesten Konfigurationen ist ein eigens gebauter Scraper-Endpunkt oft der pragmatische Weg.

Grundsätzlich wichtig: Jede Website stellt diesen Schutz selbst ein. Betreiber wählen ihre eigene Sicherheitsstufe, eigene Regeln und eigene Schwellen, und deshalb ist eine Website dahinter völlig offen, während eine andere Sie sofort prüft. Wer daraus schließt, hinter Cloudflare lasse sich nichts scrapen, oder alles, verallgemeinert von einer Einstellung, die jemand gewählt hat.

Die Antwort kennt deshalb mehr als zwei Zustände. Je nach Einstellung wird eine Anfrage normal bedient, bekommt einen stillen JavaScript-Check, der sich unbemerkt erledigt, sieht eine interaktive Prüfung, wird gedrosselt oder glatt abgewiesen. Wenn Sie lesen, welche dieser Antworten Sie tatsächlich bekommen haben, wissen Sie viel genauer, was zu ändern ist, als wenn Sie jede Antwort ohne 200 als dieselbe Wand behandeln.

Eine nützliche Folge für alle, die einer Adresse nachgehen: Weil Cloudflare als Reverse Proxy arbeitet, gehören die sichtbaren Adressen Cloudflare selbst, und die Ursprungsserver der Website bleiben verborgen. Eine Abfrage der IP einer Website liefert deshalb oft das CDN als Ergebnis. Das ist erwartetes Verhalten und beweist nichts.

Unsere ehrliche Haltung zu den härtesten Konfigurationen, denn genau danach werden wir gefragt: Eine saubere Residential-Adresse hebt Ihre Ausgangslage, entscheidet das Ergebnis aber nicht allein, weil die Prüfungen oberhalb der Netzwerkebene trotzdem weiterlaufen. Ist ein Ziel scharf genug eingestellt, bleiben realistisch ein eigens gebauter Scraping-Endpunkt, eine offizielle API, wo es eine gibt, oder die Einsicht, dass die Website keinen automatisierten Zugriff will. Ihnen dafür einen teureren Proxy als Lösung zu verkaufen, wäre unwahr.

Häufige Fragen

Warum blockiert Cloudflare meinen Scraper, aber nicht meinen Browser?

Weil sich Ihr Browser und Ihr Skript in allem außer der Adresse unterscheiden. Eine HTTP-Bibliothek hat einen anderen TLS-Fingerprint als ein Browser, die Reihenfolge der Header weicht ab, Client Hints fehlen, und es gibt keinerlei menschliche Interaktion. All das wird gelesen, bevor Ihre Anfrage die Website erreicht, und deshalb kommt dieselbe IP im einen Fall durch und im anderen nicht.

Kommen Residential-Proxys an Cloudflare vorbei?

Sie nehmen einen der stärksten Gründe für eine Prüfung weg, und bei locker eingestellten Websites reicht das oft schon. Bei scharf eingestellten reicht es nicht, weil die Prüfungen von Fingerprint und Verhalten unabhängig davon laufen, wie vertrauenswürdig Ihre Adresse ist. Ein Residential-Proxy hebt Ihre Ausgangslage, das Ergebnis entscheidet er nicht allein.

Warum verhalten sich Websites hinter Cloudflare so unterschiedlich?

Weil jeder Betreiber seine eigene Sicherheitsstufe, Regeln und Schwellen einstellt. Cloudflare ist eine Plattform mit Einstellungen, also kann eine Website völlig offen sein und eine andere sofort abweisend, obwohl beide dasselbe Produkt nutzen. Testen Sie die konkrete Website; ein Schluss von der Plattform auf alle Websites führt in die Irre.

Blockiert mich Cloudflare oder die Website?

Meist der Edge-Server von Cloudflare, nach Regeln, die der Betreiber der Website gewählt hat. Als Reverse Proxy entscheidet Cloudflare in der Regel, bevor die Anwendung der Website überhaupt etwas sieht. Deshalb kann eine Sperre sofort greifen, und der Ursprungsserver hat womöglich gar keinen Eintrag zu Ihrer Anfrage. Das erklärt auch, warum eine Abfrage der Adresse der Website das CDN zeigt und den eigentlichen Host verbirgt.

Zurück zum vollständigen Glossar.

HProxy.

Verlassen Sie sich nicht auf unser Wort. Messen Sie es selbst.

Läuft in Ihrem Browser gegen die Live-Adresse. Keine Anmeldung, keine gespeicherte Liste.

HProxy