DE
Jetzt starten

Integrationen · Automatisierung und Scraping

HProxy mit Selenium nutzen.

Steuern Sie mit Selenium einen echten Browser über einen authentifizierten HProxy-Proxy.
Jetzt startenDen ganzen Ratgeber lesen
  • 3 Schritte
  • Funktionierender Code
  • HTTP und SOCKS5
  • Login in der Proxy-URL

Warum ein Proxy

Warum ein Proxy mit Selenium

Selenium automatisiert einen echten Browser, das Mittel der Wahl, wenn eine Website nur etwas durchlässt, das JavaScript rendert und sich wie ein Mensch verhält.

Ein sichtbarer Browser überzeugt, bis jede Sitzung von derselben IP kommt. Ein Residential-Ausgang pro Sitzung lässt Selenium über eine Handvoll Läufe hinaus wachsen, bevor eine Website es herausfordert.

Setup

HProxy in Selenium einrichten

  1. 1

    Installieren Sie Selenium Wire (pip install selenium-wire), das die Unterstützung für authentifizierte Proxys ergänzt, die dem normalen Selenium fehlt.

  2. 2

    Tragen Sie Host, Port und Login in die Proxy-Konfiguration von seleniumwire_options ein.

  3. 3

    Starten Sie den Treiber wie gewohnt; jede Anfrage des Browsers kommt jetzt über den Proxy heraus.

Gut zu wissen

Das normale Selenium kann keinen Proxy-Benutzernamen und kein Passwort übergeben; Selenium Wire ist der übliche Weg darum herum.

Host, Port und Login hier zeigen das Format; Ihre genauen Werte stehen in Ihrem Dashboard, bereit zum Kopieren.

Selenium mit HProxy

from seleniumwire import webdriver

opts = {"proxy": {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")

Fragen zu Selenium

Häufige Fragen

Warum ignoriert Selenium meinen Proxy-Benutzernamen und mein Passwort?

Weil das normale Selenium überhaupt keine Proxy-Zugangsdaten senden kann. Das Flag proxy-server, das es an den Browser übergibt, nimmt Host und Port an und hat kein Feld für die Authentifizierung, ein authentifizierter Proxy scheitert also einfach. Selenium Wire ist der übliche Weg darum herum, deshalb nutzt das Beispiel oben es statt des reinen Selenium.

Kann ich statt Selenium Wire eine IP-Freischaltung nutzen?

Ja, und auf einem festen Server ist das die einfachere Lösung. Schalten Sie die Adresse des Rechners bei Ihrem Anbieter frei, und der Proxy nimmt die Verbindung ohne Zugangsdaten an, das reine Selenium funktioniert dann also mit Host und Port allein. Es funktioniert nicht mehr, sobald sich die Adresse dieses Rechners ändert.

Verrät Selenium meine echte IP über WebRTC?

Das kann passieren, weil es einen echten Browser steuert und WebRTC Ihre Adresse ganz außerhalb des Proxy-Wegs ermittelt. Der Proxy funktioniert; er bekommt diesen Traffic nur nie zu sehen. Schalten Sie WebRTC in den Browser-Optionen ab oder schränken Sie es ein, wenn die Ausgangsadresse die Identität ist, auf die es ankommt.

Wie rotiere ich IPs zwischen Selenium-Sitzungen?

Starten Sie einen neuen Treiber mit frischen Zugangsdaten, statt den Proxy bei einem laufenden zu ändern. Mit einem rotierenden Proxy bekommen Sie automatisch einen anderen Ausgang; bei einer festen Sitzung fordern Sie eine neue Sitzungskennung an. Wer einen Treiber weiterverwendet, behält auch dasselbe Browserprofil, was die Rotation ohnehin zunichtemacht.

Bereit, wenn Sie es sind.

Ihr Dashboard ist zehn Sekunden entfernt. Kein Verkaufsgespräch, kein Abo, kein Mindestumsatz.