DE
Jetzt starten

Glossar

Scraping & Automatisierung

Web-Scraping

Das automatisierte Sammeln von Daten von Websites, der häufigste Grund, warum Menschen Proxys in großem Umfang nutzen.

Web Scraping heißt, Informationen von Websites per Programm statt von Hand zu sammeln. Statt dass ein Mensch Preise in eine Tabelle kopiert, ruft ein Skript Seiten ab und liest die Werte heraus, in einem Umfang und einer Häufigkeit, die kein manueller Prozess durchhalten könnte. Preisbeobachtung, Marktforschung, SEO-Ranking-Tracking, Lead-Recherche, der Vergleich von Reisepreisen und der Aufbau von Trainingsdatensätzen beruhen alle darauf.

Proxys kommen aus einem schlicht rechnerischen Grund ins Spiel. Rate Limits werden fast immer pro Adresse gezählt; eine einzelne IP, die zehntausend Seiten abruft, reißt eine Schwelle, der zehntausend Anfragen verteilt auf viele Adressen nie nahekommen. Sie haben niemanden überlistet; Sie bündeln Ihren Verkehr einfach nicht mehr an einem Ort, und genau so sieht auch eine Menge echter Besucher aus.

Welchen Proxy-Typ Sie brauchen, ergibt sich daraus, worauf das Ziel prüft, und das sollten Sie durch Ausprobieren ermitteln statt nach Hörensagen. Eine Seite, die nur Anfragen pro Adresse zählt, kommt mit günstigen Datacenter-Proxys womöglich bestens zurecht. Eine Seite, die nach Netztyp einordnet, lehnt jede Rechenzentrumsadresse ab, egal wie gemächlich Sie vorgehen. Testen Sie die tatsächlich benötigten URLs, bevor Sie für eine Schwierigkeit kaufen, die Sie nur vermutet haben.

Die schwierigeren Ziele knacken Sie mit Adressen allein überhaupt nicht, und diese Lektion lernen viele teuer. Hinter der Netzreputation stehen TLS-Fingerprinting, Browser-Fingerprinting, Verhaltensbewertung und Honeypots, und jedes davon arbeitet auf Schichten, die ein Proxy nicht berührt. Ein Scraper, der im Browser funktioniert und als Skript mit derselben IP scheitert, verrät sich meist schon beim Handshake; die Adresse ist dann unschuldig.

Zwischen dem Sammeln von HTML und dem Sammeln gerenderter Seiten liegt ein großer praktischer Unterschied, und er entscheidet über den Großteil Ihrer Kosten. Dokumente abzurufen ist schnell und billig. Ein echter Browser rendert JavaScript und wirkt viel menschlicher, lädt aber auch jedes Bild, jede Schrift und jedes Skript, und bei Residential-Abrechnung pro Gigabyte ist das Geld für Dateien, die Sie wegwerfen. Viele Seiten bieten einen JSON-Endpunkt, der dieselben Daten in einem Bruchteil der Größe liefert, und ihn zu finden ist meist die wertvollste Stunde des ganzen Projekts.

Beim Verhalten ist unsere Haltung klar, und wir wenden sie auf uns selbst an. Sammeln Sie öffentliche, nicht personenbezogene Daten. Respektieren Sie, was eine Seite zum automatisierten Zugriff veröffentlicht. Dosieren Sie Ihre Anfragen so, dass Sie einen Dienst, den andere Menschen nutzen, nicht beeinträchtigen. Verstehen Sie eine Sperre nie als Einladung zur Eskalation. Was über gute Manieren hinaus rechtmäßig ist, hängt von der Rechtsordnung, den Bedingungen der Seite und der Art der Daten ab, besonders bei personenbezogenen Informationen, und diese Frage gehört zu einem Anwalt und in kein Glossar.

Zum Schluss ehrlich gesagt: Scraping ist Dauerpflege. Layouts ändern sich, Abwehrsysteme werden aktualisiert, Endpunkte ziehen um, und einen Scraper halten Sie am Laufen, fertig wird er nie. Wer das von Anfang an einplant, bekommt eine Pipeline; wer es nicht tut, bekommt eine Folge von Überraschungen.

Häufige Fragen

Brauche ich Residential-Proxys für Web Scraping?

Nur wenn das Ziel nach Netztyp prüft, und das tun längst nicht alle. Viele Seiten zählen einfach Anfragen pro Adresse und kommen mit Datacenter-Proxys bestens zurecht, die schneller und viel günstiger sind. Testen Sie Ihre tatsächlichen Ziel-URLs zuerst mit der günstigeren Option; wer Residential-Preise für eine Seite zahlt, die nie prüft, bezahlt für Vertrauen, das niemand verlangt hat.

Wie viele Proxys brauche ich, um eine Seite zu scrapen?

Rechnen Sie vom Limit aus rückwärts, statt eine Zahl zu greifen. Toleriert ein Ziel etwa eine Anfrage alle paar Sekunden pro Adresse und brauchen Sie ein festes Volumen in einem festen Zeitfenster, ergibt die Rechnung die Poolgröße. Dann planen Sie Reserve ein, denn Adressen fallen aus und manche sind bereits markiert. Langsam mit einer Handvoll zu beginnen und zu messen, wo die Fehler anfangen, schlägt großzügiges Raten.

Warum wird mein Scraper trotz guter Proxys blockiert?

Weil die Adresse nur eine von mehreren Schichten ist. TLS-Fingerprinting erkennt Ihren HTTP-Client, bevor irgendetwas entschlüsselt wird, Browser-Fingerprinting ertappt Widersprüche zwischen dem, was Sie vorgeben, und dem, was Sie melden, und ein zu gleichmäßiges Tempo fällt schon für sich auf. Eine Anfrage, die im echten Browser funktioniert und als Skript auf derselben IP scheitert, wird oberhalb der Netzschicht erwischt.

Ist Web Scraping legal?

Das hängt von der Rechtsordnung ab, von den Nutzungsbedingungen der Seite und stark von der Art der Daten, wobei für personenbezogene Informationen viel strengere Pflichten gelten. Damit gehört die Frage zu einem Anwalt. Unsere eigenen Betriebsregeln, die wir als Mindeststandard empfehlen und ausdrücklich nicht als Rechtsberatung: öffentliche, nicht personenbezogene Daten, veröffentlichte Regeln zum automatisierten Zugriff respektieren und Anfragen so dosieren, dass Sie den Dienst für niemanden sonst beeinträchtigen.

Sollte ich einen Headless-Browser oder einfache HTTP-Anfragen verwenden?

Anfragen, wo Sie können, einen Browser, wo Sie müssen. Einfaches Abrufen ist dramatisch schneller und günstiger, und bei Abrechnung pro Gigabyte zahlen Sie nicht für Bilder und Schriften, die Sie wegwerfen. Ein Headless-Browser ist gerechtfertigt, wenn die Daten wirklich erst nach dem Ausführen von JavaScript existieren. Bevor Sie zu einem greifen, prüfen Sie, ob die Seite von einem JSON-Endpunkt gespeist wird, den Sie direkt aufrufen können; das ist häufig so und meist viel kleiner.

Zurück zum vollständigen Glossar.

HProxy.

Definitionen bringen Sie nur ein Stück weit. Testen Sie es an echten Zielen.

Residential ab 0,23 $ pro GB, nutzungsbasiert, und das Guthaben verfällt nie.

HProxy