Glossar
Das Proxy-Glossar, ohne Füllstoff.
141 Begriffe aus Proxies, Netzwerken und Web-Scraping, jeder in klarer Sprache erklärt und, wo es zählt, mit dem praktischen Detail, das entscheidet, wie sich die Sache wirklich verhält. Ohne Wörterbuch-Floskeln.
Hier beginnen: Der Typ besteht aus vier Fragen
Die meiste Verwirrung um Proxies entsteht, wenn man ein Wort als eine einzige Entscheidung behandelt. Wem das Netz der Adresse gehört, ob sich die Adresse ändert, wer sie sonst noch nutzt und welches Protokoll Sie mit ihr sprechen, sind vier voneinander unabhängige Fragen, und jedes echte Produkt beantwortet alle vier zugleich. Scheint eine Seite hier einer anderen zu widersprechen, beantworten die beiden meist verschiedene Fragen.
Wenn Sie das ganze Bild in einem Zug wollen, bevor Sie in die Definitionen einsteigen, geht der Ratgeber zu jedem Proxy-Typ alle vier durch und endet damit, wie man wählt.
Proxy-Typen
Die Familien, zu denen ein Proxy gehören kann, und die Achsen, die man gern verwechselt. Wem das Netz der Adresse gehört, ist eine Frage, ob sie sich ändert, eine zweite, und wer sonst noch darauf ist, eine dritte. Jedes echte Produkt beantwortet alle drei, und ein Anbieter, der nur eine nennt, hat die anderen beiden offen gelassen.
Anonym-Proxy
Ein Proxy, der Ihre echte IP-Adresse verbirgt, sich gegenüber den besuchten Seiten aber trotzdem als Proxy zu erkennen gibt.
Zur Definition
Bandbreiten-Sharing
Die Angebotsseite von Residential Proxies: Apps und SDKs, über die gewöhnliche Menschen ihren Heimanschluss als Ausgang verleihen, gegen Vergütung oder ohne es zu wissen.
Zur Definition
Caching-Proxy
Ein Forward-Proxy, der Kopien von Antworten speichert und sie erneut ausliefert, gebaut, um Bandbreite zu sparen, für Anonymität taugt er nicht.
Zur Definition
Datacenter-Proxy
Ein Proxy, dessen IP-Adresse in einem kommerziellen Rechenzentrum gehostet wird und keinem Haushalt zugeordnet ist. Das macht ihn schnell und günstig, aber für Seiten leicht als nicht residential zu erkennen.
Zur Definition
Dedizierter Proxy
Eine Proxy-IP für genau einen Kunden. Ihr Ruf spiegelt also nur Ihren eigenen Traffic.
Zur Definition
Distorting-Proxy
Eine Anonymitätsstufe, die Ihre echte IP verbirgt, an ihrer Stelle aber absichtlich eine falsche sendet, zwischen einem anonymen und einem transparenten Proxy.
Zur Definition
DNS-Proxy
Ein Dienst, der bei der Namensauflösung eingreift, statt Ihren Traffic zu tragen, von der DNS-Weiterleitung im Router bis zum Entsperren per Smart DNS.
Zur Definition
Elite-Proxy
Ein Proxy, der Ihre echte IP verbirgt und keinen Header weiterleitet, der einen Proxy auf dem Weg verrät, sodass die Anfrage die Seite wie eine direkte Verbindung erreicht.
Zur Definition
Gateway-Proxy
Ein einziger Einstiegspunkt, der Ihren Traffic in einen ganzen Pool von Ausgangs-IPs leitet, sodass Sie sich mit einer Adresse verbinden und viele erreichen.
Zur Definition
HTTP-Proxy
Ein Proxy, der das HTTP-Protokoll versteht und Webanfragen weiterleitet und dabei Header lesen und ändern kann.
Zur Definition
ISP-Proxy
Ein Proxy, der im Rechenzentrum steht, aber bei einem privaten Internetanbieter registriert ist. Er verbindet Datacenter-Tempo und Stabilität mit dem Vertrauen eines Residential-Netzes.
Zur Definition
Mobile Proxy
Ein Proxy, der Traffic über eine IP leitet, die ein Mobilfunkanbieter einem Smartphone oder Modem zuweist. Er trägt das stärkste Vertrauen aller Proxy-Arten.
Zur Definition
Öffnen-Proxy
Ein Proxy, der Verbindungen von jedem ohne Anmeldung annimmt, und genau das ist fast jede Adresse auf einer kostenlosen Proxy-Liste.
Zur Definition
Peer-to-peer-Proxy
Ein Residential-Netz, dessen Ausgänge die Geräte anderer Nutzer sind statt verwalteter Server, und so sind die meisten Residential-Pools tatsächlich gebaut.
Zur Definition
Proxy-Pool
Alle IP-Adressen, über die ein Anbieter Sie leiten kann, und die Zahl hinter einem rotierenden Proxy.
Zur Definition
Residential Proxy
Ein Proxy, der Ihren Traffic über eine IP-Adresse leitet, die ein Internetanbieter einem Heimanschluss zuweist. Anfragen sehen dadurch aus wie normales Surfen.
Zur Definition
Rotierender Proxy
Ein Proxy-Aufbau, der jeder Anfrage oder nach Zeit eine andere IP zuweist und den Traffic über einen Pool verteilt, damit keine einzelne Adresse auffällt.
Zur Definition
Semi-dedicated-Proxy
Eine mittlere Stufe, bei der sich eine kleine, feste Zahl von Nutzern eine Adresse teilt, statt einer Person oder einer unbegrenzten Menge.
Zur Definition
Shared-Proxy
Ein Proxy, dessen IP-Adresse mehrere Kunden gleichzeitig nutzen, günstiger als eine eigene Adresse, aber mit einem Ruf, den Sie nicht ganz in der Hand haben.
Zur Definition
Sneaker-Proxy
Proxies, die für limitierte Sneaker- und Streetwear-Drops beworben werden, bei denen es wirklich auf viele vertrauenswürdige Adressen ankommt, bereit in einem engen Zeitfenster.
Zur Definition
SOCKS5-Proxy
Ein Proxy, der das SOCKS5-Protokoll spricht und jede Art von TCP- oder UDP-Verkehr ungeprüft weiterleitet, über Webanfragen hinaus.
Zur Definition
Statischer Proxy
Ein Proxy, der dieselbe IP-Adresse über längere Zeit exklusiv für Sie hält.
Zur Definition
Transparent-Proxy
Ein Proxy, der Ihre echte IP-Adresse weitergibt und Traffic oft abfängt, ohne dass Sie ihn eingerichtet haben, verbreitet in Netzen und für Anonymität nutzlos.
Zur Definition
Virgin-Proxy
Ein Werbeetikett für eine Proxy-IP, die als nie zuvor genutzt verkauft wird, eine Behauptung, die teils prüfbare Frische und teils unprüfbare Vorgeschichte ist.
Zur Definition
Netzwerk
Die Leitungen unter allem anderen. Was eine Adresse eigentlich ist, warum es nicht genug davon gibt, wie Blöcke und Netze ihren Ruf als Einheit tragen und wo die Abfragen passieren. Die meisten Überraschungen mit Proxies stellen sich als eine dieser Tatsachen heraus, die unangekündigt auftaucht.
Anycast
Eine IP-Adresse, die von vielen Orten zugleich angekündigt wird. Das Netz liefert an den Standort, den sein Routing bevorzugt, also gehört kein einzelner Ort zu der Adresse.
Zur Definition
ASN
Eine Autonomous System Number kennzeichnet das Netz, dem ein IP-Block gehört. Daran erkennen Websites, ob eine Verbindung aus einem Haushalt oder einem Rechenzentrum kommt.
Zur Definition
BGP
Das Protokoll, mit dem sich Netze gegenseitig mitteilen, welche IP-Adressen sie erreichen. Das Netz, das die Adresse eines Proxys ankündigt, ist das, das eine IP-Abfrage nennt.
Zur Definition
CDN
Ein Content Delivery Network, die geografisch verteilte Cache-Schicht, die die meisten großen Websites ausliefert und an ihrem Rand entscheidet, wie Ihre Anfrage behandelt wird.
Zur Definition
CGNAT
Carrier-Grade NAT, die Technik, viele Teilnehmer hinter einer geteilten öffentlichen IP zu bündeln, um knappe IPv4-Adressen zu sparen.
Zur Definition
Class-C-Subnetz
Ein Block aus 256 IPv4-Adressen, heute als /24 geschrieben. Die Klassen wurden 1993 durch CIDR ersetzt, Proxy-Verkäufer zählen ihre Class-C-Subnetze aber bis heute.
Zur Definition
DHCP
Das Protokoll, das einem Gerät eine Adresse auf Zeit gibt. Die Adresse ist geliehen, und eine Verlängerung liefert meist dieselbe.
Zur Definition
DNS
Das Domain Name System übersetzt lesbare Hostnamen in IP-Adressen, und wo diese Abfrage passiert, kann still Ihren echten Standort verraten.
Zur Definition
DNS-Leak
Wenn Ihre DNS-Abfragen am Proxy vorbeilaufen und Ihr echtes Netz oder Ihren Standort verraten, obwohl Ihre sichtbare IP verborgen ist.
Zur Definition
Dual Stack
IPv4 und IPv6 nebeneinander betreiben. Eine Dual-Stack-Seite antwortet über beide, und ein Dual-Stack-Gerät oder -Proxy wählt für jede Verbindung eines, meist IPv6.
Zur Definition
Dynamische IP-Adresse
Eine öffentliche IP-Adresse, die ein Internetanbieter einem Anschluss für begrenzte Zeit zuteilt, sodass sie sich nach einer Neuverbindung, nach Zeitplan oder am Ende der Vergabe ändern kann.
Zur Definition
Exit-Knoten
Der letzte Schritt einer Proxy-Kette: die Adresse, die die Zielseite wirklich sieht, im Unterschied zum Gateway, mit dem Sie sich verbinden.
Zur Definition
Firewall
Eine Sperre, die Traffic nach Regeln zulässt oder blockiert, und sie verhindert, dass ein Proxy auf einem ungewöhnlichen Port in einem strengen Netz erreichbar ist.
Zur Definition
Forward-Proxy
Ein Proxy vor dem Client, der dessen ausgehende Anfragen weiterleitet, die gewöhnliche Bedeutung des Wortes Proxy, im Unterschied zu einem Reverse Proxy vor einem Server.
Zur Definition
Geofeed
Eine Datei, in der ein Netz angibt, wo seine IP-Adressen liegen, zum Lesen für Standort-Datenbanken. Registries verlinken sie, prüfen ihren Inhalt aber nicht.
Zur Definition
Internet-Knoten
Ein gemeinsames Netz, in dem sich viele Betreiber treffen und Traffic direkt austauschen, statt ein drittes Netz für den Transport zu bezahlen.
Zur Definition
Internetanbieter
Das Unternehmen, das einen Haushalt oder eine Firma mit dem Internet verbindet und die IP-Adresse vergibt, deren Eigentümer jede Seite prüft, bevor sie einer Anfrage vertraut.
Zur Definition
IP-Adresse
Die Zahlenkennung, die ein Gerät in einem Netz ausweist, und die Adresse, die ein Proxy an die Stelle Ihrer eigenen setzt.
Zur Definition
IP-Geolokalisierung
Die Ableitung eines physischen Standorts aus einer IP-Adresse, verlässlich auf Landesebene und auf Stadtebene oft falsch, und der Mechanismus, auf dem Geo-Targeting mit Proxies beruht.
Zur Definition
IP-Leasing
IPv4-Adressen von dem Netz mieten, dem sie gehören, ohne den Internetanschluss, der normalerweise dazugehört. Die Registrierung bleibt beim Inhaber.
Zur Definition
IP-Spoofing
Pakete mit der Absenderadresse eines anderen senden. Die Antwort geht an diese Adresse statt an den Absender, deshalb lässt sich eine gefälschte Verbindung nicht offen halten.
Zur Definition
IPv4
Das ursprüngliche Adresssystem des Internets mit rund 4,3 Milliarden möglichen Adressen, inzwischen so knapp, dass Anbieter sie zuteilen und teilen.
Zur Definition
IPv6
Das neuere Adresssystem mit praktisch unbegrenzt vielen Adressen, weltweit unterschiedlich weit verbreitet.
Zur Definition
IPv6-Leak
Traffic, der über IPv6 an einem Tunnel oder Proxy vorbei hinausgeht, der nur IPv4 trägt, sodass Seiten Ihre echte IPv6-Adresse sehen. Nichts schlägt fehl, also warnt Sie nichts.
Zur Definition
IPv6-Präfix
Der Netzteil einer IPv6-Adresse, dessen Größe die Zahl nach dem Schrägstrich angibt. Ein /64 ist ein lokales Netz, und viele Seiten zählen ein /64 als einen Besucher.
Zur Definition
Load Balancer
Infrastruktur, die eingehende Anfragen auf viele Backend-Server verteilt, eine Form von Reverse Proxy, der Sie beim Scraping von außen begegnen.
Zur Definition
MAC-Adresse
Die Adresse, die eine Netzwerkkarte auf ihrer eigenen Verbindung trägt. Hinter einem Router ist sie verloren, mit einer Ausnahme, die eine Form von ihr in jede Anfrage trägt.
Zur Definition
NAT
Network Address Translation, die Technik, mit der sich viele Geräte eine öffentliche IP-Adresse teilen, indem ein Router den Traffic beim Durchlaufen umschreibt.
Zur Definition
NAT64
Ein Übersetzer, mit dem reine IPv6-Geräte reine IPv4-Seiten erreichen. Er teilt einen Pool von IPv4-Adressen unter vielen Nutzern, also sehen diese Seiten die Adresse des Anbieters.
Zur Definition
Port
Ein nummerierter Kanal auf einer IP-Adresse, der Verkehr zu einem bestimmten Dienst leitet, etwa der Port, auf dem Ihr Proxy lauscht.
Zur Definition
Portweiterleitung
Eine Regel, die Traffic von außen ein bestimmtes Gerät hinter NAT erreichen lässt, und der Grund, warum manche Proxies eingehende Verbindungen annehmen können und andere nicht.
Zur Definition
Proxy-Verkettung
Traffic nacheinander über mehrere Proxies zu leiten, sodass jede Station nur ihre Nachbarn kennt und den ganzen Weg nie sieht.
Zur Definition
Proxy-Server
Ein Server zwischen Ihnen und dem Internet, der Anfragen in Ihrem Namen stellt, sodass das Ziel die Adresse des Servers sieht und Ihre eigene verborgen bleibt.
Zur Definition
Regionale Internet-Registry
Eine der fünf Organisationen, die für eine Weltregion IP-Adressen und AS-Nummern vergeben und öffentlich festhalten, wem sie gehören.
Zur Definition
Residential-IP
Eine öffentliche IP-Adresse, die ein Internetanbieter einem Privatanschluss zugeteilt hat, weshalb Adressdatenbanken sie als residential einstufen.
Zur Definition
Reverse DNS
Die Abfrage, die eine IP-Adresse zurück in einen Hostnamen verwandelt, oft die aufschlussreichste einzelne Angabe darüber, wer eine Adresse betreibt.
Zur Definition
SLAAC
Wie sich ein IPv6-Gerät selbst eine Adresse gibt: Der Router kündigt ein Präfix an, und das Gerät wählt die zweite Hälfte selbst.
Zur Definition
Statische IP-Adresse
Eine IP-Adresse, die sich nicht ändert: fest für ein Gerät innerhalb eines Netzes oder eine öffentliche Adresse, die ein Anbieter für einen Kunden reserviert.
Zur Definition
Subnetz
Ein zusammenhängender Block von IP-Adressen, der als Einheit verwaltet wird, oft samt geteiltem Ruf.
Zur Definition
TCP
Das verbindungsorientierte Protokoll, das fast den gesamten Proxy-Traffic trägt und für geordnete, verlässliche Zustellung einen Handshake zum Aufbau braucht.
Zur Definition
Tor
Das von Freiwilligen betriebene Anonymitätsnetz, das Traffic über drei verschlüsselte Stationen leitet, gebaut für Privatsphäre.
Zur Definition
Traceroute
Eine Liste der Router, die ein Paket passiert, gebaut aus Paketen, die absichtlich verfallen. Die Mitte der Liste ist weniger verlässlich, als sie aussieht.
Zur Definition
UDP
Das verbindungslose Transportprotokoll hinter DNS, QUIC und Echtzeit-Traffic, das die meisten Proxies nicht tragen können und SOCKS5 wahlweise kann.
Zur Definition
VPN
Ein virtuelles privates Netz, das den gesamten Traffic Ihres Geräts verschlüsselt und über einen Server leitet, wo ein Proxy meist eine einzelne App leitet.
Zur Definition
WebRTC-Leak
Wenn die Echtzeit-Kommunikation eines Browsers Ihre echte IP-Adresse preisgibt, obwohl Ihr Traffic über einen Proxy läuft.
Zur Definition
WHOIS
Das öffentliche Registrierungssystem, das angibt, wem eine IP-Adresse oder Domain gehört, und die Rohquelle hinter jeder Abfrage zum Inhaber in diesem Glossar.
Zur Definition
Protokolle & Authentifizierung
Wie Ihr Client und der Proxy miteinander sprechen und was dieses Gespräch verrät. Hier sind die Anonymitätsstufen zu Hause, denn nur ein Protokoll, das Ihre Anfrage versteht, kann einen Header hinzufügen, der sie beschreibt.
Cookie
Ein kleiner Zustand, den eine Seite in Ihrem Client speichert und bei jeder Anfrage zurückliest, der Mechanismus hinter Logins, Einwilligungsbannern und viel Bot-Bewertung.
Zur Definition
HTTP CONNECT
Die HTTP-Methode, die einen Proxy zum blinden Tunnel macht, und so trägt ein HTTP-Proxy HTTPS-Traffic, den er nicht lesen kann.
Zur Definition
HTTP-Header
Die Zeilen aus Name und Wert, die mit jeder Webanfrage und Antwort mitgehen, in denen sich ein Client beschreibt und in denen Proxies ihre Spuren hinterlassen oder entfernen.
Zur Definition
IP-Whitelisting
Die Freigabe eines Proxys, indem die IP-Adressen vorab erlaubt werden, die ihn nutzen dürfen, statt Benutzername und Passwort zu senden.
Zur Definition
PAC-Datei
Eine Proxy-Auto-Config-Datei: eine JavaScript-Funktion, die für jede Anfrage entscheidet, ob der Traffic direkt geht oder über welchen Proxy.
Zur Definition
Proxy-Authentifizierung
Wie ein Proxy prüft, dass Sie ihn nutzen dürfen, meist per Benutzername und Passwort oder über freigegebene Quell-IPs.
Zur Definition
QUIC
Der Transport hinter HTTP/3, auf UDP gebaut, um die Verzögerungen von TCP zu beheben, und der Grund, warum ein Browser hinter einem Proxy still auf ältere Protokolle zurückfällt.
Zur Definition
Reverse-Proxy
Ein Proxy vor Servern statt vor Clients, der eingehende Anfragen für sie bearbeitet, die umgekehrte Richtung der Forward-Proxies, die man zum Scrapen nutzt.
Zur Definition
SNI
Das Feld im TLS-Handshake, das die Seite nennt, mit der Sie sich verbinden, unverschlüsselt gesendet und für jeden auf dem Weg lesbar, auch für einen Proxy.
Zur Definition
SOCKS4-Proxy
Eine ältere Version des SOCKS-Protokolls, die TCP-Traffic weiterleitet, aber keine Anmeldung, keine UDP-Unterstützung und keine Namensauflösung auf der Gegenseite kennt.
Zur Definition
Sticky Session
Eine Funktion rotierender Proxies, die Sie für eine feste Dauer auf derselben Ausgangs-IP hält, damit mehrstufige Aufgaben ohne Adresswechsel durchlaufen.
Zur Definition
TLS / SSL
Die Verschlüsselung, die HTTPS-Traffic schützt und die ein Proxy unberührt durchtunnelt, ohne sie zu lesen.
Zur Definition
WebSocket
Ein Protokoll, das eine HTTP-Anfrage zu einer dauerhaften Verbindung in beide Richtungen erweitert, genutzt für Live-Datenströme, und ein Sonderfall, den Proxies tragen müssen.
Zur Definition
WPAD
Web Proxy Auto-Discovery, der Mechanismus hinter dem Kästchen zum automatischen Erkennen der Einstellungen, mit dem ein Netz Ihrem Rechner seine Proxy-Konfiguration übergibt.
Zur Definition
Scraping & Automatisierung
Der Arbeitswortschatz des Datensammelns in großem Umfang: was Sie begrenzt, was Sie erkennbar macht und was die Abwehr tatsächlich misst. Fast nichts davon hängt an der Adresse.
Antidetect-Browser
Ein Browser, gebaut für viele getrennte Profile, jedes mit eigenem stimmigem Fingerabdruck, eigenen Cookies und eigenem Proxy, sodass ein Rechner mehrere glaubwürdige Identitäten führen kann.
Zur Definition
API-Scraping
Daten sammeln, indem man die JSON-Endpunkte aufruft, die eine Seite nutzt, statt ihr HTML auszulesen, meist der schnellste, günstigste und verlässlichste Weg, wenn es ihn gibt.
Zur Definition
Browser-Fingerprinting
Einen Besucher an der Kombination feiner Merkmale von Browser und Gerät erkennen, eine Ebene der Erkennung, die einen Wechsel Ihrer IP übersteht.
Zur Definition
CAPTCHA
Eine Prüfung, die Menschen von Bots unterscheiden soll und weit öfter durch einen verdächtigen Ruf des Netzes ausgelöst wird als durch eine einzelne Anfrage.
Zur Definition
CAPTCHA-Löser
Ein Dienst, der eine Antwort auf eine Prüfung liefert, durch menschliche Arbeitskräfte oder durch Automatisierung, und damit das Symptom eines niedrigen Vertrauenswerts behandelt statt der Ursache.
Zur Definition
CSS-Selektor
Die Mustersyntax, erfunden zum Gestalten von Seiten und von Scrapern übernommen als alltäglicher Weg, die Elemente auszuwählen, die sich zu extrahieren lohnen.
Zur Definition
Daten-Parsing
Eine abgerufene Antwort in strukturierte Daten zu verwandeln, die Hälfte des Scrapings nach dem Netz, die aus ganz anderen Gründen scheitert.
Zur Definition
Geo-Blocking
Das Einschränken oder Ändern dessen, was eine Seite zeigt, anhand des vermuteten Landes des Besuchers. Ein Proxy im Zielland soll genau das umgehen.
Zur Definition
Geo-Targeting
Die gezielte Wahl eines Proxys in einem bestimmten Land, einer Region oder Stadt, damit Ihr Verkehr genau dort entsteht, wo Sie ihn brauchen.
Zur Definition
Headless Browser
Ein echter Browser ohne sichtbares Fenster, mit dem Automatisierung Seiten voller JavaScript rendert.
Zur Definition
IP-Rotation
Das Durchwechseln vieler IP-Adressen über eine Arbeitslast hinweg, damit keine einzelne eine verdächtige Zahl an Anfragen ansammelt.
Zur Definition
JavaScript-Rendering
Der Vorgang, bei dem Seiten ihren Inhalt nach dem Laden im Browser aufbauen, und er entscheidet, ob Sie beim Abruf des HTML Daten bekommen oder eine leere Hülle.
Zur Definition
Seitennavigation
Wie eine Seite eine lange Liste auf viele Seiten oder Ladevorgänge verteilt, und der Teil eines Scrapes, bei dem am ehesten still Daten fehlen oder ein Crawler in die Falle geht.
Zur Definition
Ratenbegrenzung
Die Obergrenze einer Seite dafür, wie viele Anfragen eine Quelle in einem Zeitfenster stellen darf, das häufigste Hindernis, auf das ein Scraper trifft.
Zur Definition
Wiederholungslogik
Wie ein Scraper mit gescheiterten Anfragen umgeht: schlecht gemacht verschwendet sie Bandbreite und verschärft Sperren, gut gemacht rettet sie still die meisten vorübergehenden Fehler.
Zur Definition
robots.txt
Eine Datei im Stammverzeichnis einer Seite, die Crawlern sagt, welche Pfade sie lieber meiden sollen, eine Konvention ohne Durchsetzung.
Zur Definition
Scraper-API
Ein Dienst, der eine Ziel-URL annimmt und die Daten der Seite zurückgibt und dabei Proxies, Rendering, Wiederholungen und Bot-Abwehr hinter einem einzigen Endpunkt erledigt.
Zur Definition
SERP
Eine Ergebnisseite einer Suchmaschine, die standortabhängigste und am stärksten geschützte Art von Seite im Web und der Rohstoff der SEO-Branche.
Zur Definition
User-Agent
Die Zeichenkette, mit der ein Client seinen Browser und sein Betriebssystem ausweist, eines der einfachsten Signale, das eine Seite mit Ihrer IP abgleicht.
Zur Definition
Virtueller Browser
Ein Browser, der auf entfernter Infrastruktur läuft und über das Netz gesteuert wird, pro Session gemietet, statt auf eigenen Rechnern zu laufen.
Zur Definition
Webcrawler
Ein Programm, das Links von Seite zu Seite folgt, um Inhalte zu finden und abzurufen, der Motor unter dem Scraping in großem Umfang.
Zur Definition
Web-Scraping
Das automatisierte Sammeln von Daten von Websites, der häufigste Grund, warum Menschen Proxies in großem Umfang nutzen.
Zur Definition
XPath
Eine Abfragesprache, um Teile eines HTML- oder XML-Dokuments anzusprechen, die mächtigere der beiden Arten, mit denen Scraper auf die Daten in einer Seite zeigen.
Zur Definition
Erkennung & Reputation
Wie eine Seite entscheidet, ob sie Ihnen vertraut. Erkennung ist ein Wert aus vielen schwachen Signalen statt eines Ja oder Nein, deshalb kommt derselbe Aufbau am Montag durch und wird am Donnerstag geprüft.
Akamai Bot Manager
Die Bot-Abwehr für Unternehmen in Akamais CDN, bekannt für die Telemetrie, die ihr Skript im Client sammelt, und das Tracking-Cookie, das sie setzt.
Zur Definition
Anti-Bot-System
Eine mehrschichtige Abwehr aus Prüfungen von Netz, Fingerprint und Verhalten, mit der Seiten Automatisierung von echten Nutzern trennen.
Zur Definition
Verhaltensanalyse
Erkennung, die bewertet, wie Sie interagieren statt was Sie senden, und Automatisierung an Takt, Bewegung und Navigation erkennt, die keine saubere Adresse beheben kann.
Zur Definition
Botnet
Ein Netz übernommener Geräte, gesteuert ohne Wissen ihrer Besitzer, das kriminelle Ende der Herkunft von Proxy- und Residential-Angebot.
Zur Definition
Canvas-Fingerprinting
Eine Technik für Fingerabdrücke, die Ihren Browser ein Bild zeichnen lässt und die winzigen, von der Hardware abhängigen Unterschiede beim Rendern zurückliest.
Zur Definition
Saubere IP
Eine Adresse ohne negativen Eintrag, den eine Seite nachschlagen kann: auf keiner Sperrliste, ohne Missbrauchsgeschichte, im Besitz eines Internetanbieters für Privatkunden und von einer Betrugserkennung als wenig riskant eingestuft.
Zur Definition
Cloudflare
Ein CDN und eine Sicherheitsschicht vor einem großen Teil des Webs, mit einigen der häufigsten Prüfungen gegen Bots, auf die Scraper treffen.
Zur Definition
Cloudflare Turnstile
Cloudflares eigener Ersatz für CAPTCHAs, der Besucher mit Prüfungen im Hintergrund des Browsers statt mit Rätseln prüft und meist nur ein Kästchen oder gar nichts zeigt.
Zur Definition
DataDome
Ein Dienst zum Schutz vor Bots in Echtzeit, der jede Anfrage in Millisekunden nach Signalen von Gerät, Netz und Verhalten bewertet, verbreitet im Onlinehandel und bei Kleinanzeigen.
Zur Definition
Geräte-Fingerabdruck
Die Identität aus den Hardware- und Systemmerkmalen eines Geräts, stabiler als ein Browser-Fingerabdruck und schwerer zu ändern, weil sie den physischen Rechner abbildet.
Zur Definition
Fraud Score
Eine einzelne Zahl, die Dienste zur Betrugserkennung einer IP-Adresse geben, um zusammenzufassen, wie riskant Traffic von ihr wirkt.
Zur Definition
FunCaptcha (Arkose Labs)
Ein Prüfsystem von Arkose Labs mit wechselnden interaktiven Rätseln, gebaut, um Angreifern Kosten aufzuerlegen, über das bloße Trennen von Menschen und Bots hinaus.
Zur Definition
hCaptcha
Ein auf Privatsphäre ausgerichtetes CAPTCHA, das die Seiten bezahlt, die es einsetzen, bekannt als früherer Standard bei Cloudflare und für seine Aufgaben zum Einordnen von Bildern.
Zur Definition
Honeypot
Eine Falle für Automatisierung, ein für Menschen unsichtbarer Link oder ein unsichtbares Feld, das alles als Bot markiert, was damit interagiert.
Zur Definition
Imperva (Incapsula)
Eine seit Langem etablierte Sicherheitsplattform für Unternehmen aus CDN, Web Application Firewall und Bot-Management, früher unter dem Namen Incapsula.
Zur Definition
IP-Blacklist
Eine veröffentlichte Liste wegen Missbrauchs markierter IP-Adressen, die Seiten und Mailserver abfragen, um Traffic gleich abzuweisen.
Zur Definition
IP-Reputation
Der Vertrauenswert, den eine Website oder ein Drittdienst einer IP-Adresse anhand von Netz, Verlauf und Verhalten gibt.
Zur Definition
Kasada
Eine aggressive Bot-Abwehr, die Clients eine versteckte Rechenaufgabe lösen lässt und Automatisierung aktiv zermürbt, statt sie nur zu sperren.
Zur Definition
PerimeterX (HUMAN)
Eine Bot-Abwehr nach Verhalten, heute Teil von HUMAN Security, die sich auf einen Sensor im Client und Prüfungen der Code-Integrität stützt, über den Ruf des Netzes hinaus.
Zur Definition
Port-Scan
Eine Adresse über viele Ports abzutasten, um Dienste zu finden, die antworten; so entstehen die meisten öffentlichen Proxy-Listen überhaupt.
Zur Definition
Proxy-Erkennung
Die Techniken, mit denen Seiten entscheiden, ob ein Besucher hinter einem Proxy steckt, von Abfragen des Netzes bis zur Verhaltensanalyse.
Zur Definition
reCAPTCHA
Googles Prüfsystem, heute meist ein unsichtbarer Wert von 0,0 bis 1,0 statt eines Rätsels, gestützt auf die Signale, die eine Präsenz in der Größe von Google sehen kann.
Zur Definition
TCP-Fingerprinting
Das Betriebssystem des Absenders aus dem TCP-Handshake ablesen: aus dem Hop-Limit, der Segmentgröße, dem Fenster und der Reihenfolge der Optionen.
Zur Definition
TLS-Fingerabdruck
Ein Merkmal aus der Art, wie ein Client die Verschlüsselung aushandelt, mit dem sich Automatisierung auch hinter einer sauberen IP erkennen lässt.
Zur Definition
Web Application Firewall
Ein Filter, der eingehende Webanfragen anhand von Regeln prüft und die sperrt, die bösartig wirken, eine andere Schicht als das Bot-Management, das Scraper meist meinen.
Zur Definition
X-Forwarded-For
Ein HTTP-Header, den ein Proxy hinzufügen kann, um die IP des ursprünglichen Clients zu nennen, und das deutlichste Zeichen, das einen anonymen Proxy von einem transparenten unterscheidet.
Zur Definition
Leistung
Was Sie kaufen und woran Sie erkennen, ob Sie es bekommen haben. Verfügbarkeit, Latenz, Bandbreite und Erfolgsquote messen Verschiedenes, und die am lautesten genannte Zahl ist selten die, die entscheidet, ob Ihre Aufgabe fertig wird.
Bandbreite
Die Datenmenge, die ein Proxy bewegen kann, und die übliche Abrechnungseinheit für Residential und Mobile Proxies.
Zur Definition
Parallelität
Wie viele Anfragen Sie gleichzeitig laufen lassen, der wichtigste Hebel für den Durchsatz beim Scraping und eine häufige versteckte Grenze.
Zur Definition
Latenz
Die Verzögerung zwischen dem Senden einer Anfrage über einen Proxy und der Antwort, vor allem bestimmt durch die Entfernung zum Ausgang.
Zur Definition
Paketverlust
Wenn Datenpakete nicht ankommen und neu gesendet werden müssen, eine stille Ursache langsamer, unzuverlässiger Proxy-Verbindungen, die die Latenz allein nicht zeigt.
Zur Definition
QPS
Anfragen pro Sekunde, die Rate, mit der Sie Anfragen senden, abzuwägen gegen die Grenzen eines Ziels und gegen die Obergrenze an parallelen Verbindungen eines Proxys.
Zur Definition
Erfolgsquote
Der Anteil der Anfragen, die mit den gewünschten Daten zurückkommen, die Kennzahl, die den Wert eines Proxys wirklich misst.
Zur Definition
Time to first byte
Die Verzögerung zwischen dem Senden einer Anfrage und dem Eintreffen des ersten Bytes der Antwort, die Leistungszahl, die den Weg über den Proxy von der Größe des Downloads trennt.
Zur Definition
Verfügbarkeit
Der Anteil der Zeit, in der ein Proxy wirklich erreichbar ist und funktioniert. Bei Residential-Pools wird er laufend gemessen.
Zur Definition