Parallelität
Wie viele Anfragen Sie gleichzeitig laufen lassen, der wichtigste Hebel für den Durchsatz beim Scraping und eine häufige versteckte Grenze.
Parallelität ist die Zahl der Anfragen, die gleichzeitig unterwegs sind. Sie bestimmt weit mehr als die Geschwindigkeit einer einzelnen Anfrage, wie viel ein Scraper schafft: Eine Aufgabe, die hundert Seiten parallel abruft, ist in einem Bruchteil der Zeit fertig, die eine Aufgabe braucht, die sie nacheinander abruft, auch wenn keine einzelne Anfrage schneller ist.
Proxys wirken auf zwei Arten mit Parallelität zusammen. Ein Pool erlaubt hohe Parallelität, ohne Anfragen auf einer Adresse zu stapeln, weil jede parallele Anfrage einen anderen Ausgang nehmen kann. Der Proxy-Dienst selbst begrenzt aber womöglich gleichzeitige Verbindungen, und ein Tarif mit begrenzten Threads begrenzt still den Durchsatz, ganz gleich, wie schnell das Netz ist.
Bei jedem Proxy lohnt deshalb neben dem Preis pro Gigabyte ein Blick darauf, ob gleichzeitige Verbindungen begrenzt sind. Erst unbegrenzte Parallelität lässt den eigentlichen Vorteil eines Pools, die Parallelität, wirklich zur Geltung kommen.
Mehr ist allerdings nicht automatisch besser, und hier schießen viele übers Ziel hinaus. Parallelität erhöht den Durchsatz nur, bis etwas anderes zum Engpass wird: Ihre eigene Bandbreite, Ihre CPU, wenn Sie nebenbei auswerten, die Toleranz des Ziels oder der Arbeitsspeicher, wenn echte Browser laufen, die jeweils weit mehr verbrauchen als eine einfache HTTP-Anfrage. Jenseits dieses Punktes bringt mehr Parallelität Zeitüberschreitungen und Wiederholungen, und Wiederholungen kosten Sie Traffic, den Sie schon bezahlt haben.
Sie wirkt außerdem auf eine Weise mit der Ratenbegrenzung zusammen, die viele überrascht. Fünfzig parallele Anfragen über fünfzig verschiedene Ausgänge sind für einen Zähler pro Adresse fünfzig getrennte Besucher. Fünfzig parallele Anfragen über EINE Adresse sind ein Stoß, der fast jede Schwelle sofort auslöst. Parallelität und Poolgröße müssen gemeinsam wachsen, sonst sorgt die zusätzliche Parallelität nur dafür, dass Sie schneller blockiert werden.
Ehrlich finden Sie Ihren Wert nur durch Ausprobieren, von unten her. Beginnen Sie vorsichtig, erhöhen Sie schrittweise und beobachten Sie die Fehlerquote; die Kurve des Durchsatzes täuscht. Die richtige Einstellung liegt knapp unter dem Punkt, an dem Fehler beginnen, und sie ist je Ziel verschieden, weil sie eigentlich eine Eigenschaft des Ziels ist und kaum von Ihrem Rechner abhängt.
So handhabt HProxy das
Unsere Residential-Tarife begrenzen weder gleichzeitige Verbindungen noch Threads, denn eine Thread-Grenze ist eine Durchsatzgrenze unter anderem Namen, und genau diese Einschränkung macht einen günstig wirkenden Tarif in der Praxis langsam.
Häufige Fragen
Welche Parallelität ist beim Scraping gut?
Eine allgemeingültige Zahl gibt es nicht, denn die Grenze setzt das Ziel. Beginnen Sie niedrig, erhöhen Sie schrittweise und beobachten Sie die Fehlerquote: Die richtige Einstellung liegt knapp unter dem Punkt, an dem Fehler beginnen. Eine tolerante Website verträgt vielleicht Hunderte paralleler Anfragen, eine strenge eine Handvoll, und derselbe Code braucht für jede eine andere Einstellung.
Heißt mehr Parallelität schnelleres Scraping?
Bis zu einem Punkt, dann kehrt es sich um. Sobald Sie die Grenze Ihrer Bandbreite, CPU oder Ihres Arbeitsspeichers oder die Toleranz des Ziels überschreiten, bringt zusätzliche Parallelität Zeitüberschreitungen und Wiederholungen. Weil Wiederholungen Traffic bezahlen, der schon über die Leitung ging, kostet zu viel Parallelität bei Abrechnung pro Gigabyte Geld und Zeit.
Begrenzen Proxy-Anbieter gleichzeitige Verbindungen?
Viele tun das, und oft steht es versteckt in den Tarifdetails. Eine Grenze für Threads oder Verbindungen ist eine Durchsatzgrenze mit anderen Worten und kann einen günstig wirkenden Preis pro Gigabyte in der Praxis langsam machen. Prüfen Sie das, bevor Sie Preise vergleichen, denn zwei Tarife zum selben Preis können sich enorm darin unterscheiden, was Sie damit tatsächlich betreiben können.
Wie hängt Parallelität mit der Größe meines Proxy-Pools zusammen?
Beide müssen gemeinsam wachsen. Parallele Anfragen, verteilt auf viele Ausgänge, sehen wie viele getrennte Besucher aus, und genau darum geht es. Dieselbe Parallelität, durch eine einzige Adresse gezwängt, ist ein Stoß, der eine Grenze pro Adresse sofort auslöst. Wer die Parallelität ohne genug verschiedene Adressen dahinter erhöht, wird nur schneller blockiert, als es bei Anfragen nacheinander passiert wäre.
Zurück zum vollständigen Glossar.

