DE
Jetzt starten

Integrationen · Automatisierung und Scraping

HProxy mit Scrapling nutzen.

Geben Sie jedem Fetcher, jeder Session und jedem Spider in Scrapling einen Residential-Ausgang von HProxy.
Jetzt startenDen ganzen Ratgeber lesen
  • 5 Schritte
  • Funktionierender Code
  • HTTP und SOCKS5
  • Login in der Proxy-URL

Warum ein Proxy

Warum ein Proxy mit Scrapling

Scrapling ist ein Scraping-Framework für Python mit zwei Fetchern in einem Paket: reines HTTP mit dem TLS-Fingerabdruck eines Browsers und ein Stealth-Browser, der Cloudflare-Prüfungen löst. Seit Version 0.4 bringt es außerdem ein eigenes Spider-Framework mit. Version 0.5 hat den älteren Playwright-Fetcher DynamicFetcher entfernt; Code für 0.4, der ihn importiert, muss also auf StealthyFetcher umziehen.

Scrapling ändert, wie eine Anfrage aussieht, und die Adresse, von der sie kommt, bleibt Ihre. Websites zählen Anfragen pro Adresse, ein Crawl von einer IP endet also nach ein paar hundert Seiten, egal wie gut der Fingerabdruck ist. Ein rotierender Residential-Pool gibt jeder Anfrage oder jeder Sitzung eine eigene Adresse.

Setup

HProxy in Scrapling einrichten

  1. 1

    Installieren Sie die Fetcher: pip install "scrapling[fetchers]", dann einmal scrapling install für die Browser.

  2. 2

    Kopieren Sie Host, Port und Login Ihres Proxys aus dem HProxy-Dashboard.

  3. 3

    Pass proxy= to a fetcher or a session. The HTTP fetcher also takes proxy_auth=(user, pass), which keeps the password out of the logs.

  4. 4

    For several lines, build a ProxyRotator from the list and pass it as proxy_rotator= to the session.

  5. 5

    Rufen Sie über die Session einmal eine IP-Echo-Seite ab und bestätigen Sie die Adresse vor einem echten Lauf.

Gut zu wissen

Die Browser-Fetcher akzeptieren nur http, https, socks4 und socks5, und SOCKS5 mit Login scheitert im Browser. Nutzen Sie dort die HTTP-Zeile desselben Proxys.

Host, Port und Login hier zeigen das Format; Ihre genauen Werte stehen in Ihrem Dashboard, bereit zum Kopieren.

Scrapling mit HProxy

from scrapling.fetchers import Fetcher, StealthyFetcher

# HTTP fetcher: the login stays out of the proxy URL
page = Fetcher.get(
    "https://ipinfo.io/json",
    proxy="http://example.hproxy.com:8080",
    proxy_auth=("user-country-us", "pass"),
)
print(page.json())

# Stealth browser: same proxy, as a URL with the login inside
page = StealthyFetcher.fetch(
    "https://ipinfo.io/json",
    proxy="http://user-country-us:[email protected]:8080",
    block_webrtc=True,
)

Fragen zu Scrapling

Häufige Fragen

Wie rotiere ich Proxys in Scrapling?

With a rotating gateway you do not need to: one unchanged endpoint hands out a different exit per request. For a list of fixed lines, create ProxyRotator([...]) from scrapling.fetchers and pass it as proxy_rotator= to a session. It cycles in order and accepts a custom strategy function. A session takes proxy_rotator= or proxy=, never both.

Warum ignoriert meine Scrapling-Session den Proxy?

From version 0.4 to 0.4.8, FetcherSession(proxy=...) was silently ignored and requests left from the real IP. The fix shipped in 0.4.9. Update Scrapling, then fetch an IP echo page through the session to confirm the address it shows.

Warum scheitert mein Proxy-Passwort im Browser-Fetcher von Scrapling?

Vor Version 0.5.1 gaben die Browser-Fetcher den Login aus einer Proxy-URL noch prozentkodiert an den Browser weiter. Ein Passwort, geschrieben als p%40ss, kam beim Proxy als p%40ss an, und der Proxy antwortete mit 407. Version 0.5.1 dekodiert es. Bei einer älteren Version übergeben Sie den Proxy als Dictionary mit server, username und password, das den Login so annimmt, wie er eingegeben ist.

Unterstützt Scrapling SOCKS5-Proxys?

Der HTTP-Fetcher ja. Die Browser-Fetcher akzeptieren eine socks5://-Zeile nur ohne Login, weil der Browser darunter SOCKS5-Authentifizierung verweigert, und sie lehnen socks5h:// mit Invalid proxy string ab. Mit Benutzername und Passwort nutzen Sie die HTTP-Zeile desselben Proxys.

Welcher Fetcher sollte den Proxy für einen Login-Ablauf tragen?

Eine Session, mit einer festen Zeile. StealthySession hält einen Browser über mehrere Anfragen offen, und ein Login übersteht nur, wenn die Adresse über seine ganze Dauer gleich bleibt. Eine rotierende Zeile passt zu seitenweisem Lesen mit Fetcher, wo kein Zustand mitgenommen wird.

Wie halte ich den Residential-Traffic in den Browser-Fetchern von Scrapling niedrig?

Turn on disable_resources=True and block_ads=True. A browser loads images, fonts and trackers that a scraper never reads, and residential traffic is billed per gigabyte. Both options are off by default.

Bereit, wenn Sie es sind.

Ihr Dashboard ist zehn Sekunden entfernt. Kein Verkaufsgespräch, kein Abo, kein Mindestumsatz.