Latenz
Die Verzögerung zwischen dem Senden einer Anfrage über einen Proxy und der Antwort, vor allem bestimmt durch die Entfernung zum Ausgang.
Latenz ist das Warten: der Weg hin und zurück vom Absenden Ihrer Anfrage bis zum Eintreffen der Antwort, gemessen in Millisekunden. Ein Teil davon lässt sich beeinflussen, ein Teil ist Physik, und wer weiß, welcher welcher ist, spart sich viel sinnloses Feintuning.
Die Physik setzt eine Untergrenze, unter die niemand kommt. Licht bewegt sich in Glasfaser mit rund 200.000 Kilometern pro Sekunde, etwa zwei Drittel seiner Geschwindigkeit im Vakuum. Das ergibt etwa 5 Millisekunden pro 1.000 Kilometer in eine Richtung und 10 Millisekunden pro 1.000 Kilometer hin und zurück. Von London nach New York sind es rund 5.600 Kilometer, die theoretisch kürzeste Umlaufzeit liegt also bei etwa 56 Millisekunden. Echte Messungen landen eher bei 70 bis 80, weil Kabel keinen Großkreisen folgen und jeder Router ein wenig hinzufügt. Kein Anbieter, kein Tarif und kein Protokoll unterbietet diese Grenze.
Deshalb ist der Standort eines Proxys ebenso eine Entscheidung über Leistung wie über Zielauswahl, und die Geometrie zählt mehr, als viele erwarten. Ihr Traffic geht erst zum Ausgang und dann zum Ziel. Sitzen Sie in Europa, liegt Ihr Ausgang in New York und Ihr Ziel wieder in Europa, haben Sie zwei Ozeanüberquerungen für eine Anfrage gekauft, die direkt kaum eine Strecke zurückgelegt hätte. Die schlimmsten Latenzen entstehen meist durch unnötige Dreiecke; langsame Proxys sind selten schuld.
Auch der Adresstyp spielt mit. Ein Datacenter-Proxy sitzt auf gut angebundener Infrastruktur mit kurzen Wegen zu den Backbone-Routen. Eine Residential-Adresse hängt an einem privaten Breitbandanschluss, und eine Mobilfunkadresse an einer Funkverbindung, deren Latenz mit Empfang und Auslastung der Funkzelle schwankt, ohne dass jemand das steuern kann. Diese Reihenfolge, Datacenter am schnellsten und Mobilfunk am wechselhaftesten, liegt in der Bauart und ist kein Qualitätsunterschied zwischen Anbietern.
Ob das alles zählt, hängt ganz von der Form Ihrer Arbeit ab, und hier wird die meiste Mühe verschwendet. Beim Sammeln großer Mengen bestimmt der Durchsatz über viele parallele Verbindungen das Tempo. Hundert Anfragen mit je 300 Millisekunden sind also etwa in derselben echten Zeit fertig wie hundert mit je 100 Millisekunden, sofern sie gleichzeitig laufen. Die Latenz dominiert nur, wenn Schritte nacheinander ablaufen und jeder fertig sein muss, bevor der nächste beginnt, etwa bei Logins, Checkouts und jedem seitenweisen Crawl, der einem Cursor auf dem Server folgt.
Die praktische Regel lautet deshalb: zuerst die Geometrie richten, dann die Parallelität, und die Latenz nicht für eine Arbeit optimieren, die davon kaum abhängt. Legen Sie den Ausgang in die Nähe des Ziels, denn die Strecke, die sich wiederholt, liegt zwischen Ausgang und Ziel.
So handhabt HProxy das
Einen repräsentativen Latenzwert nennen wir auf einer Länderseite nur, wenn unser eigener Messpunkt den Pool dieses Landes fair messen kann. Für ferne Länder berichten wir Zusammensetzung und Verfügbarkeit, denn eine über einen Ozean gemessene Zahl sagt mehr über unseren Standort als über den Pool.
Häufige Fragen
Warum ist mein Proxy so langsam?
Prüfen Sie die Geometrie, bevor Sie dem Proxy die Schuld geben. Sind Sie in einer Region, Ihr Ausgang in einer anderen und Ihr Ziel wieder in Ihrer Nähe, zahlt jede Anfrage für zwei lange Strecken, die eine direkte Verbindung nicht hätte. Danach kommt der Adresstyp, denn Residential und Mobilfunk sind von der Bauart her langsamer als Datacenter, und dann die Frage, ob die Verzögerung wirklich Latenz ist oder eigentlich Bandbreite, ein anderes Problem mit einer anderen Lösung.
Sollte der Proxy nah bei mir oder nah am Ziel sein?
Fast immer nah am Ziel. Ihre Verbindung zum Ausgang entsteht einmal pro Anfrage, die eigentliche Arbeit passiert aber im Gespräch zwischen Ausgang und Ziel, einschließlich TLS-Aushandlung und aller Weiterleitungen. Liegt der Ausgang nah am Ziel, wird die Strecke kürzer, die sich wiederholt.
Spielt Latenz beim Web Scraping eine Rolle?
Viel weniger als angenommen, solange Anfragen gleichzeitig laufen. Das Sammeln großer Mengen hängt am Durchsatz, also verschwindet die Latenz pro Anfrage größtenteils in der Parallelität. Sie zählt, wenn Schritte nacheinander ablaufen und jeder vom vorigen abhängt, etwa beim Login, beim Durchlaufen eines Checkouts oder beim Folgen eines seitenweisen Cursors; dann wird jede Millisekunde pro Schritt bezahlt.
Was ist eine gute Latenz für einen Proxy?
Eine absolute Zahl gibt es nicht, nur eine im Verhältnis zur Entfernung. Vergleichen Sie mit der physikalischen Untergrenze der Strecke: etwa 10 Millisekunden Umlaufzeit pro 1.000 Kilometer. Liefert ein naher Ausgang mehrere hundert Millisekunden, stimmt etwas jenseits der Geografie nicht. Liefert ein Ausgang auf einem anderen Kontinent 80, ist das nahe am Besten, was die Strecke erlaubt.
Zurück zum vollständigen Glossar.

