Integrationen · Automatisierung und Scraping
HProxy mit Python Requests nutzen.
- 3 Schritte
- Funktionierender Code
- HTTP und SOCKS5
- Login in der Proxy-URL
Warum ein Proxy
Warum ein Proxy mit Python Requests
Requests ist die meistgenutzte HTTP-Bibliothek in Python, die Standardwahl für Skripte, Scraper und API-Clients.
Ein Skript, das eine Website immer wieder von einer Adresse aus aufruft, ist genau das Muster, für das Drosselungen gebaut sind. Wenn Requests über einen rotierenden Residential-Pool läuft, verteilt sich der Traffic, und jede Adresse bleibt unauffällig.
Setup
HProxy in Python Requests einrichten
- 1
Kopieren Sie Host, Port und Login Ihres Proxys aus dem HProxy-Dashboard.
- 2
Bauen Sie ein proxies-Dict, das http und https auf dieselbe Proxy-URL zeigt.
- 3
Übergeben Sie es bei jeder Anfrage oder setzen Sie es einmal auf einer Session.
Gut zu wissen
Der Benutzername trägt die Ausrichtung: user-country-de lässt Sie in Deutschland herauskommen, mit -city-frankfurt wird es genauer.
Host, Port und Login hier zeigen das Format; Ihre genauen Werte stehen in Ihrem Dashboard, bereit zum Kopieren.
Python Requests mit HProxy
import requests
proxies = {
"http": "http://user-country-us:[email protected]:8080",
"https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())Fragen zu Python Requests
Häufige Fragen
Warum zeigt requests immer noch meine echte IP?
Meist, weil das proxies-Dict nur ein Schema abgedeckt hat. Setzen Sie beide Schlüssel, http und https, denn eine Anfrage an eine HTTPS-URL nutzt den Eintrag https, und ein Dict nur mit http schickt diese Anfrage still direkt. Prüfen Sie es, indem Sie über die Session einen IP-Echo-Endpunkt abrufen, statt es anzunehmen.
Wie nutze ich einen Proxy für jede Anfrage?
Setzen Sie ihn einmal auf einem Session-Objekt und nutzen Sie diese Session durchgehend, statt das Argument jedem Aufruf mitzugeben. Das ist weniger Code, hält Verbindungen zwischen Anfragen offen und beseitigt die Art Fehler, bei der ein Aufruf still direkt geht, weil das Argument vergessen wurde.
Warum funktioniert mein Scraper im Browser, scheitert aber mit requests?
Meist am TLS-Fingerabdruck. Der Handshake, den ein Python-HTTP-Client sendet, unterscheidet sich von dem eines Browsers, egal wie sorgfältig Sie die Header kopieren, und Erkennungssysteme lesen ihn, bevor Ihre Anfrage entschlüsselt wird. Den User-Agent zu kopieren ändert den Handshake darunter nicht.
Löst requests DNS über den Proxy auf?
Bei einem HTTP-Proxy mit vollständiger URL löst in der Regel der Proxy den Hostnamen auf seiner Seite auf. Bei SOCKS hängt es vom Schema ab: Die Variante mit entfernter Auflösung hält die Abfrage auf der Proxy-Seite, die andere löst lokal auf und erzeugt ein DNS-Leck, das Ihrem eigenen Resolver jedes Ziel zeigt.
Andere Integrationen
Weitere Einrichtungsanleitungen
Bereit, wenn Sie es sind.
Ihr Dashboard ist zehn Sekunden entfernt. Kein Verkaufsgespräch, kein Abo, kein Mindestumsatz.

