Integrationen · Automatisierung und Scraping
HProxy mit Scrapy nutzen.
- 3 Schritte
- Funktionierender Code
- HTTP und SOCKS5
- Login in der Proxy-URL
Warum ein Proxy
Warum ein Proxy mit Scrapy
Scrapy ist das eigene Scraping-Framework von Python, gebaut zum Crawlen in großem Umfang, mit eigenem Scheduler, Pipelines und Middleware.
Scrapy läuft am besten mit vielen gleichzeitigen Anfragen, und genau das löst eine Drosselung pro IP am schnellsten aus. Ein rotierender Pool dahinter verhindert, dass eine hohe Parallelität den ganzen Crawl sperren lässt.
Setup
HProxy in Scrapy einrichten
- 1
Setzen Sie den Proxy bei jeder Anfrage über ihr meta-Dict oder global in einer Downloader-Middleware.
- 2
Tragen Sie Ihren Login in die Proxy-URL ein, Host und Port aus dem Dashboard.
- 3
Erhöhen Sie CONCURRENT_REQUESTS erst, wenn der Pool die Last trägt.
Gut zu wissen
Für ein ganzes Projekt setzen Sie den Proxy in einer eigenen HttpProxyMiddleware statt pro Anfrage.
Host, Port und Login hier zeigen das Format; Ihre genauen Werte stehen in Ihrem Dashboard, bereit zum Kopieren.
Scrapy mit HProxy
# in your spider
def start_requests(self):
yield scrapy.Request(
"https://ipinfo.io/json",
meta={"proxy": "http://user-country-us:[email protected]:8080"},
)Fragen zu Scrapy
Häufige Fragen
Wohin gehört der Proxy in einem Scrapy-Projekt?
Pro Anfrage reicht für einen schnellen Auftrag, und für ein ganzes Projekt ist eine eigene Middleware auf Basis von HttpProxyMiddleware der richtige Ort. Zentral gesetzt erbt ihn jeder Spider, und Sie ändern den Endpunkt in einer Datei statt in jeder Anfrage, die Sie bauen.
Wie rotiere ich Proxys in Scrapy?
Mit einem Gateway-Proxy müssen Sie das nicht: Der Pool vergibt pro Anfrage einen anderen Ausgang hinter einem unveränderten Endpunkt. Wenn Sie selbst eine Liste einzelner Adressen verwalten, ist eine Middleware, die pro Anfrage eine zuweist, der übliche Weg, wenn auch mit mehr beweglichen Teilen für dasselbe Ergebnis.
Wie hängt die Parallelität von Scrapy mit Proxy-Grenzen zusammen?
Direkt, und es lohnt sich, sie bewusst einzustellen. Die Einstellungen für gleichzeitige Anfragen in Scrapy bestimmen, wie viel Traffic Sie auf einmal schicken, und hohe Parallelität über zu wenige Adressen löst die Drosselung pro Adresse schneller aus als ein Lauf nacheinander. Parallelität und Poolgröße müssen sich gemeinsam bewegen.
Sollte ich robots.txt in Scrapy trotzdem beachten?
Scrapy beachtet sie standardmäßig, und diesen Standard sollten Sie behalten. Gesperrte Pfade fragt genau nichts Legitimes ab, die Datei zu ignorieren ist also einer der zuverlässigsten Wege, eine Adresse markieren zu lassen, ganz abgesehen davon, dass es schlechter Stil ist.
Andere Integrationen
Weitere Einrichtungsanleitungen
Bereit, wenn Sie es sind.
Ihr Dashboard ist zehn Sekunden entfernt. Kein Verkaufsgespräch, kein Abo, kein Mindestumsatz.

