DE
Jetzt starten

Glossar

Protokolle & Authentifizierung

Reverse Proxy

Ein Proxy vor Servern statt vor Clients, der eingehende Anfragen für sie bearbeitet, die umgekehrte Richtung der Forward-Proxys, die man zum Scrapen nutzt.

Ein Reverse Proxy ist das Spiegelbild von allem anderen in diesem Glossar. Ein Forward Proxy steht vor IHNEN und verbirgt Ihre Identität vor den Servern, die Sie erreichen. Ein Reverse Proxy steht vor den SERVERN und nimmt Anfragen in ihrem Auftrag entgegen; Besucher sprechen also mit ihm, die Rechner dahinter bleiben unsichtbar. Dasselbe Wort, entgegengesetzte Richtung, gewählt von der anderen Seite.

Seine Aufgaben liegen alle auf der Serverseite und sind meist unsichtbar: Last auf einen Pool von Backends verteilen, TLS terminieren, damit die Ursprungsrechner es nicht müssen, Antworten zwischenspeichern und komprimieren und die Ursprungsserver ganz aus dem öffentlichen Internet heraushalten. Wer ein CDN, nginx als Frontend oder einen Cloud-Load-Balancer genutzt hat, hat einen Reverse Proxy genutzt.

Er hat hier einen Eintrag aus einem Grund, der über die Begriffe hinausgeht, und wer scrapt, sollte ihn verstehen. Wenn eine Website Sie prüft, blockiert oder Ihnen ein CAPTCHA zeigt, fällt diese Entscheidung sehr oft in der Schicht des Reverse Proxys, und die Anwendung dahinter ist gar nicht beteiligt. Das Anti-Bot-System, die Ratenbegrenzung, die geografischen Regeln: All das sitzt typischerweise am Edge. Deshalb können Sie abgewiesen werden, ohne dass die eigentliche Anwendung der Website Ihre Anfrage je sieht.

Das erklärt auch ein Muster, das viele seltsam finden. Eine Website kann für eine Adresse völlig stumm sein und für eine andere in derselben Sekunde ganz normal, ohne erkennbare Logik. Der Edge entscheidet pro Anfrage anhand von Reputationsdaten und Regeln, und die Entscheidung kostet ihn nichts, weil dahinter niemand gefragt wurde.

Die praktische Unterscheidung, die Sie sich merken sollten: Tragen Sie in Ihrem eigenen Client Host und Port ein, um anders zu erscheinen, ist das ein Forward Proxy, und er gehört Ihnen. Entscheidet die Infrastruktur einer Website, ob sie Sie bedient, war ein Reverse Proxy an dieser Entscheidung beteiligt. Einen Reverse Proxy kaufen Sie nicht; Sie bekommen es mit einem zu tun.

Häufige Fragen

Ist ein CDN ein Reverse Proxy?

Im Kern ja, ein Reverse Proxy in geografischem Maßstab. Es steht vor den Ursprungsservern einer Website, speichert Inhalte zwischen und liefert sie von Standorten in der Nähe der Besucher aus, terminiert TLS und schirmt den Ursprung vor direktem Traffic ab. Meist trägt es auch die Regeln für Bot-Abwehr und Ratenbegrenzung, und darum kann ein CDN Sie blockieren, bevor die Anwendung der Website von Ihnen weiß.

Kann ich einen Reverse Proxy zum Scrapen kaufen?

Nein, und die Frage zeigt meist, dass die beiden Begriffe vertauscht wurden. Ein Reverse Proxy ist Infrastruktur, die ein Website-Betreiber vor seine eigenen Server stellt. Zum Scrapen kaufen Sie einen Forward Proxy: Residential, Datacenter, ISP oder Mobile. Verkauft Ihnen ein Anbieter etwas als Reverse Proxy zum Scrapen, verwendet er das Wort falsch.

Warum ist ein Reverse Proxy beim Scrapen wichtig?

Weil meist er es ist, der Sie blockiert. Ratenbegrenzung, geografische Regeln, Reputationsprüfungen und Anti-Bot-Prüfungen laufen in der Regel am Edge, also fällt eine Ablehnung oft, bevor die Website selbst beteiligt ist. Das erklärt auch, warum eine Sperre sofort und widersprüchlich wirken kann: Die Entscheidung ist billig und fällt pro Anfrage.

Was ist der Unterschied zwischen einem Reverse Proxy und einem Load Balancer?

Sie überschneiden sich stark und sind oft dieselbe Software. Lastverteilung, also das Verteilen von Anfragen auf Backends, ist eine der Aufgaben eines Reverse Proxys, neben TLS-Terminierung, Caching und Filterung. Ein reiner Load Balancer übernimmt womöglich nur die Verteilung, ein Reverse Proxy meist mehr.

Zurück zum vollständigen Glossar.

HProxy.

Verlassen Sie sich nicht auf unser Wort. Messen Sie es selbst.

Das Protokoll eines Proxys prüfenKostenlose Proxys zum Testen holen

Läuft in Ihrem Browser gegen die Live-Adresse. Keine Anmeldung, keine gespeicherte Liste.

HProxy