Proxies für Web-Scraping. Gebaut, um durchzukommen.
Scraping scheitert vor allem an einem Grund: zu vielen Anfragen von einer Adresse. Rotierende Residential-IPs verteilen die Last, damit ein Crawl wie viele Besucher wirkt und zu Ende läuft, statt gesperrt zu werden.
Was passt
3 Produkte passen, das beste zuerst
ResidentialEmpfohlen für Web-Scraping
IPs echter Geräte in 200+ Ländern
- Rotierende oder Sticky Sessions
- Auswahl nach Region, Stadt und ISP mit Premium
- Bezahlung pro GB, Guthaben verfällt nie
- HTTP und SOCKS5
Ab
0,18 $/ GB
Web Scraper
Strukturiertes JSON mit einem REST-Aufruf
- Proxies, Wiederholungen und Parsing inklusive
- Blockierte oder fehlerhafte Aufrufe werden nicht berechnet
- Zahlung pro Aufruf aus Ihrem Guthaben
- Kein Abo, kein Monatsminimum
Ab
1,49 $/ 1.000 Aufrufe
Datacenter
IPv4 und IPv6
- Für die Laufzeit nur für Sie reserviert
- Unbegrenzte Bandbreite
- Bis zu 1 Gbit/s Portgeschwindigkeit
- HTTP, HTTPS und SOCKS5
Ab
0,10 $/ IP
- Residential Proxies
- Das Arbeitspferd des Scrapings: ein rotierender Pool echter Heim-IPs, abgerechnet pro GB, der jede einzelne Adresse unter den Grenzen hält, gegen die Seiten zählen.
- Scraper-API
- Die Variante ohne eigenen Aufwand: eine URL hinein, saubere Daten heraus, mit Rotation, Wiederholungen und Entsperren erledigt, sodass Sie das Wettrüsten mit der Bot-Abwehr ganz auslassen.
- Datacenter-Proxies
- Die günstige, schnelle Wahl für Seiten, die nicht nach Netz aussortieren, für Lasttests Ihres eigenen Dienstes oder für Quellen, denen es schlicht egal ist.
Fast jede Sperre geht auf Anfragen pro IP zurück
Die Hindernisse, auf die ein Scraper trifft, Ratenbegrenzungen, CAPTCHAs, plötzliche Sperren, sind ganz überwiegend Antworten darauf, dass eine Adresse zu viele Anfragen zu schnell stellt. Seiten zählen pro IP, also liegt die Lösung im Aufbau: Senken Sie die Anfragen jeder einzelnen Adresse, indem Sie sie über einen Pool verteilen.
Genau das tut ein rotierender Residential Proxy. Dieselbe Gesamtmenge, verteilt auf Tausende echter Heim-IPs, heißt, dass keine einzelne die Schwelle überschreitet, die eine Abwehr auslöst, und der Crawl, der früher nach einigen tausend Anfragen starb, läuft bis zum Ende.
Wählen Sie den Proxy nach dem Ziel
Der richtige Proxy hängt davon ab, was Sie scrapen. Eine Seite, die Datacenter-Bereiche aussortiert, braucht Residential; eine, die nur die Rate begrenzt, kommt mit günstigeren Datacenter-IPs womöglich aus; eine hinter ernsthafter Bot-Abwehr ist bei der Scraper-API oft besser aufgehoben, als sie direkt zu bekämpfen.
Die ehrliche Regel: Beginnen Sie mit der günstigsten Variante, die das Ziel übersteht, und steigen Sie erst auf, wenn sie es nicht tut, statt für Residential bei einer Quelle zu zahlen, die es nie gebraucht hätte. Die kostenlose Proxy-Liste ist für einen ersten Versuch da, bevor Sie sich festlegen.
So richten Sie Proxies für Web-Scraping ein
- 1
Wählen Sie den Pool nach dem Ziel
Datacenter für Seiten, die nicht nach Netz aussortieren, Residential für die, die es tun, und die Scraper-API für Ziele hinter einer schweren Bot-Abwehr. Versuchen Sie die günstigere Variante zuerst an einer kleinen Stichprobe.
- 2
Erstellen Sie eine Zeile pro Worker
Wählen Sie im Dashboard oder über die API ein Land und wie viele Zeilen Sie brauchen. Eine Anzahl von 10 gibt zehn Workern zehn Zeilen, und jede Anfrage auf einer rotierenden Zeile geht von einer anderen Adresse aus.
- 3
Tragen Sie die Zeile in Ihren Scraper ein
Jede Zeile funktioniert über HTTP und SOCKS5 mit demselben Login. Die Einrichtungsanleitungen unten zeigen, wo die Zeile in Python requests, Scrapy, Playwright, Puppeteer und Selenium hingehört.
- 4
Prüfen Sie eine Anfrage vor dem Crawl
Schicken Sie eine einzelne Anfrage über die Zeile an den Proxy-Checker oder die IP-Abfrage. Der Ausgang sollte in dem gewählten Land liegen und eine andere Adresse als Ihre eigene sein.
- 5
Halten Sie eine Adresse nur dort, wo die Seite es braucht
Für einen Login oder einen Ablauf über mehrere Seiten fügen Sie stickyMinutes hinzu, damit eine Adresse die ganze Session bedient, bei Premium bis zu 1.440 Minuten. Alles andere rotiert, und das hält jede Adresse unter den Grenzen, die Seiten zählen.
Web-Scraping: was schiefgeht und was hilft
- HTTP 429, zu viele Anfragen
- Eine Adresse schickt zu viel. Verteilen Sie die Arbeit auf mehr Zeilen, bremsen Sie jeden Worker oder rotieren Sie bei jeder Anfrage.
- Ein CAPTCHA auf jeder Seite
- Das Netz oder der Client verrät den Scraper. Wechseln Sie von Datacenter zu Residential, schicken Sie die Header, die ein echter Browser schickt, oder geben Sie dieses Ziel an die Scraper-API ab.
- Die Seite zeigt Preise oder Sprache eines anderen Landes
- Das Land des Ausgangs ist falsch, oder ein Cookie erinnert sich an einen früheren Besuch. Legen Sie das Land auf der Zeile fest und beginnen Sie jede Session ohne alte Cookies.
- Anfragen laufen in einen Timeout
- Residential-Ausgänge sind echte Heimanschlüsse, und manche sind langsam. Setzen Sie einen Timeout, wiederholen Sie die Anfrage auf einer frischen Zeile und häufen Sie nicht viele parallele Anfragen auf eine Zeile.
- Der Crawl läuft eine Stunde und scheitert dann
- Die Seite hat das Muster gelernt. Ändern Sie Reihenfolge und Takt der Anfragen und verteilen Sie den Crawl auf mehr Adressen.
Einrichtungsanleitungen und Tools
FAQ
Web-Scraping: Ihre Fragen, beantwortet
Welche Art Proxy ist für Web-Scraping am besten?
Rotierendes Residential für geschützte Seiten, Datacenter für ungeschützte und die Scraper-API, wenn Sie Proxies lieber gar nicht verwalten. Das Ziel entscheidet: Beginnen Sie günstig und steigen Sie erst auf, wenn eine Quelle die günstigere Variante sperrt.
Warum werde ich beim Scraping immer wieder gesperrt?
Fast immer, weil zu viele Anfragen von einer IP kommen. Seiten zählen pro Adresse, also bekommt ein einzelner Proxy, der Menge zieht, Ratenbegrenzungen oder CAPTCHAs. Den Crawl über einen rotierenden Pool zu verteilen, ist die Lösung im Aufbau.
Wie viele Proxies brauche ich für Web-Scraping?
Bei Residential kaufen Sie Traffic statt Adressen: Ein Tarif erstellt so viele Zeilen, wie Ihre Worker brauchen, und jede Anfrage auf einer rotierenden Zeile kann von einer anderen Adresse ausgehen. Datacenter wird pro Adresse verkauft, dort kaufen Sie also so viele, wie Sie gleichzeitig betreiben.
Rotieren die Residential Proxies bei jeder Anfrage?
Ja, außer Sie lassen eine Zeile mit stickyMinutes ihre Adresse halten. Das ist die Einstellung für Logins und Abläufe über mehrere Seiten; reines Abrufen von Seiten sollte rotieren.
Was kostet Scraping mit Proxies?
Residential wird pro Gigabyte Traffic abgerechnet, die Kosten folgen also der Menge, die Sie abrufen, und das Guthaben verfällt nie. Wenn Sie nur abrufen, was Sie brauchen, und Bilder auslassen, die Sie nicht auswerten, bleiben sie niedrig. Den aktuellen Preis pro GB finden Sie auf der Preisseite.
Ist Scraping mit Proxies legal?
Ein Proxy ändert nur, woher eine Anfrage kommt. Was Sie sammeln dürfen, was Sie scrapen, wie oft und was Sie mit personenbezogenen Daten tun, bleibt Ihre Verantwortung nach den Bedingungen der Seite und dem Recht dort, wo Sie tätig sind.
Verwandt: KI-Scraping, KI-Agenten.