Bandbreite
Die Datenmenge, die ein Proxy bewegen kann, und die übliche Abrechnungseinheit für Residential und Mobile Proxies.
Bandbreite ist die Datenmenge, die eine Verbindung bewegen kann, und bei einem Residential Proxy ist sie auch die Rechnung. Diese Pools werden pro Gigabyte abgerechnet, weil ihr Angebot über echte Anschlüsse dahinter gemessen wird, also kaufen Sie tatsächlich Traffic und keine Adressen. Diese eine Tatsache ändert, wie Sie einen Scraper schreiben sollten.
Die Änderung: Das Gewicht einer Seite wird zum Posten auf der Rechnung. Eine moderne Produktseite hat oft ein bis drei Megabyte, und der allergrößte Teil davon sind Bilder, Schriften, Videos, Tracking-Skripte und Stylesheets. Das HTML mit den Daten, die Sie tatsächlich wollen, macht davon oft weniger als hundert Kilobyte aus. Rufen Sie die Seite so ab, wie es ein Browser tut, zahlen Sie Residential-Preise für Fotos, die Sie sofort wegwerfen.
Deshalb ist Disziplin bei der Bandbreite der wirksamste Hebel für die Kosten, und dafür müssen Sie mit niemandem verhandeln. Verlangen Sie Kompression und nutzen Sie sie. Rufen Sie das Dokument ab, ohne automatisch jede verknüpfte Datei mitzuladen. Steuern Sie einen echten Browser, blockieren Sie Anfragen nach Bildern, Medien und Schriften auf Netzebene, denn ein Headless Browser lädt standardmäßig alles, genau wie ein echter. Nehmen Sie den JSON-Endpunkt einer Seite statt der gerenderten Seite, wenn es ihn gibt, denn er ist meist ein Bruchteil so groß und leichter auszulesen.
Wiederholungen verdienen eine eigene Erwähnung, weil sie der stille Vervielfacher sind. Eine gescheiterte Anfrage, die schon den größten Teil einer Antwort übertragen hat, hat Sie diesen Traffic trotzdem gekostet, also kann eine aggressive Wiederholungsstrategie gegen ein wackliges Ziel eine Rechnung verdoppeln, ohne etwas zusätzlich zu sammeln. Schnell zu scheitern ist günstiger, als wiederholt zu scheitern.
Es lohnt sich auch, Bandbreite von Latenz zu trennen, denn beide sind unabhängig, und man verwechselt sie ständig. Bandbreite ist, wie viel pro Sekunde durchpasst; Latenz ist, wie lange ein einzelner Hin- und Rückweg dauert. Eine Verbindung kann reichlich vom einen und wenig vom anderen haben. Sammeln in großer Menge hängt an Bandbreite und Parallelität, alles Interaktive spürt man zuerst als Latenz, und mehr vom Falschen zu kaufen, behebt nichts.
Und nicht jede Familie wird so abgerechnet. Datacenter- und ISP-Proxies werden meist pro Adresse verkauft, mit großzügigem oder ungemessenem Traffic, weil das Angebot eine Maschine im Serverschrank ist statt der gemessene Heimanschluss eines Menschen. Braucht eine Arbeit wirklich viel Bandbreite und sortiert das Ziel nicht nach Art des Netzes aus, spart ein Wechsel zu einem Datacenter-Proxy oft mehr als jede Feinabstimmung der Anfragen.
So handhabt HProxy das
Weil Residential pro Gigabyte abgerechnet wird, ist unser günstigster Rat oft, weniger davon zu nutzen, statt mehr zu kaufen: Rufen Sie ab, was Sie auslesen, und verlagern Sie Arbeit mit wirklich viel Bandbreite, die das Vertrauen von Residential nicht braucht, auf Datacenter-Adressen.
Häufige Fragen
Wie senke ich die Kosten für Proxy-Bandbreite?
Laden Sie nichts mehr herunter, was Sie nicht auslesen. Schalten Sie Kompression ein, laden Sie Bilder, Schriften, Videos und Stylesheets nur, wenn Sie sie brauchen, und blockieren Sie diese Anfragen ausdrücklich, wenn Sie einen Headless Browser steuern, denn er lädt standardmäßig alles. Nehmen Sie einen JSON-Endpunkt statt einer gerenderten Seite, wo es ihn gibt. Und halten Sie Wiederholungen knapp, denn eine wiederholte Anfrage bezahlt den Traffic, den sie schon bewegt hat.
Warum ist mein Bandbreitenverbrauch höher, als die Seitengröße vermuten lässt?
Meist, weil Sie das HTML messen und die ganze Seite bezahlen. Jedes Bild, jede Schrift, jedes Skript und jedes Stylesheet, das ein Browser lädt, zählt, ebenso Weiterleitungen, gescheiterte Versuche und Wiederholungen, die eine halbe Antwort übertragen haben, bevor sie aufgaben. TLS-Handshakes und Header kommen noch ein wenig dazu. Messen Sie, was wirklich über die Leitung ging, statt der Größe des Dokuments, das Sie behalten haben.
Gibt es unbegrenzte Bandbreite wirklich?
Es gibt sie, und meist hängt eine andere Grenze daran. Ungemessener Traffic wird in der Regel pro Adresse, pro Port oder mit einer Obergrenze für parallele Verbindungen verkauft, was zu Datacenter- und ISP-Angebot passt, bei dem die Kosten eine Maschine sind statt gemessener Traffic von Privatkunden. Lesen Sie nach, worin die Grenze tatsächlich besteht, denn irgendwo gibt es immer eine.
Bandbreite oder Latenz, was zählt beim Scraping?
Bandbreite und Parallelität bestimmen das Sammeln in großer Menge: die gesamte Menge, die in einem Zeitfenster bewegt wird. Die Latenz bestimmt alles Interaktive oder Aufeinanderfolgende, bei dem jeder Hin- und Rückweg enden muss, bevor der nächste beginnt. Ist Ihre Aufgabe eine lange Reihe unabhängiger Abrufe, hilft mehr Parallelität, und eine niedrigere Latenz fällt kaum ins Gewicht; hängt jeder Schritt vom vorigen ab, gilt das Umgekehrte.
Zurück zum vollständigen Glossar.