DE
Jetzt starten

Integrationen · Automatisierung und Scraping

HProxy mit Scrapy nutzen.

Schicken Sie jede Scrapy-Anfrage über einen HProxy-Residential-Ausgang.
Jetzt startenDen ganzen Ratgeber lesen
  • 3 Schritte
  • Funktionierender Code
  • HTTP und SOCKS5
  • Login in der Proxy-URL

Warum ein Proxy

Warum ein Proxy mit Scrapy

Scrapy ist das eigene Scraping-Framework von Python, gebaut zum Crawlen in großem Umfang, mit eigenem Scheduler, Pipelines und Middleware.

Scrapy läuft am besten mit vielen gleichzeitigen Anfragen, und genau das löst eine Drosselung pro IP am schnellsten aus. Ein rotierender Pool dahinter verhindert, dass eine hohe Parallelität den ganzen Crawl sperren lässt.

Setup

HProxy in Scrapy einrichten

  1. 1

    Setzen Sie den Proxy bei jeder Anfrage über ihr meta-Dict oder global in einer Downloader-Middleware.

  2. 2

    Tragen Sie Ihren Login in die Proxy-URL ein, Host und Port aus dem Dashboard.

  3. 3

    Erhöhen Sie CONCURRENT_REQUESTS erst, wenn der Pool die Last trägt.

Gut zu wissen

Für ein ganzes Projekt setzen Sie den Proxy in einer eigenen HttpProxyMiddleware statt pro Anfrage.

Host, Port und Login hier zeigen das Format; Ihre genauen Werte stehen in Ihrem Dashboard, bereit zum Kopieren.

Scrapy mit HProxy

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Fragen zu Scrapy

Häufige Fragen

Wohin gehört der Proxy in einem Scrapy-Projekt?

Pro Anfrage reicht für einen schnellen Auftrag, und für ein ganzes Projekt ist eine eigene Middleware auf Basis von HttpProxyMiddleware der richtige Ort. Zentral gesetzt erbt ihn jeder Spider, und Sie ändern den Endpunkt in einer Datei statt in jeder Anfrage, die Sie bauen.

Wie rotiere ich Proxys in Scrapy?

Mit einem Gateway-Proxy müssen Sie das nicht: Der Pool vergibt pro Anfrage einen anderen Ausgang hinter einem unveränderten Endpunkt. Wenn Sie selbst eine Liste einzelner Adressen verwalten, ist eine Middleware, die pro Anfrage eine zuweist, der übliche Weg, wenn auch mit mehr beweglichen Teilen für dasselbe Ergebnis.

Wie hängt die Parallelität von Scrapy mit Proxy-Grenzen zusammen?

Direkt, und es lohnt sich, sie bewusst einzustellen. Die Einstellungen für gleichzeitige Anfragen in Scrapy bestimmen, wie viel Traffic Sie auf einmal schicken, und hohe Parallelität über zu wenige Adressen löst die Drosselung pro Adresse schneller aus als ein Lauf nacheinander. Parallelität und Poolgröße müssen sich gemeinsam bewegen.

Sollte ich robots.txt in Scrapy trotzdem beachten?

Scrapy beachtet sie standardmäßig, und diesen Standard sollten Sie behalten. Gesperrte Pfade fragt genau nichts Legitimes ab, die Datei zu ignorieren ist also einer der zuverlässigsten Wege, eine Adresse markieren zu lassen, ganz abgesehen davon, dass es schlechter Stil ist.

Bereit, wenn Sie es sind.

Ihr Dashboard ist zehn Sekunden entfernt. Kein Verkaufsgespräch, kein Abo, kein Mindestumsatz.