Wiederholungslogik
Wie ein Scraper mit gescheiterten Anfragen umgeht: schlecht gemacht verschwendet sie Bandbreite und verschärft Sperren, gut gemacht rettet sie still die meisten vorübergehenden Fehler.
Retry-Logik ist das, was Ihr Scraper tut, wenn eine Anfrage scheitert, und sie macht den Unterschied zwischen einer Pipeline, die ein wackeliges Netz übersteht, und einer, die aus einem vorübergehenden Schluckauf eine Rechnung und eine Sperre macht. Fehlschläge sind im großen Maßstab unvermeidlich, eine abgebrochene Verbindung, ein langsamer Ursprung, ein kurzes Rate Limit, und die meisten sind vorübergehend; Wiederholen ist also richtig. Schlecht zu wiederholen gehört zu den häufigsten selbst zugefügten Wunden beim Scraping.
Die Kerndisziplin ist Backoff: zwischen den Versuchen jedes Mal länger zu warten, statt sofort draufloszuhämmern. Exponentielles Backoff, das die Wartezeit jedes Mal verdoppelt und etwas Zufall beimischt, damit viele Worker nicht im Gleichschritt wiederholen, verteilt die Last und gibt einem kämpfenden Ziel Raum zur Erholung. Sofortiges Wiederholen bewirkt das Gegenteil und häuft weitere Anfragen auf das, was ohnehin schon scheiterte, und genau so wird aus einem weichen Rate Limit eine harte Sperre. Der Fehlschlag wollte Ihnen sagen, dass Sie langsamer werden sollen, und eine sofortige Wiederholung antwortet mit Beschleunigung.
Den Fehlschlag zu lesen unterscheidet eine kluge Wiederholung von einer dummen, und verschiedene Fehlschläge verdienen verschiedene Antworten. Ein 429 mit Retry-After-Header ist eine präzise Anweisung: So lange warten, ohne Raten. Ein 503 lohnt eine Wiederholung mit Backoff. Ein Verbindungs-Timeout braucht vielleicht nur einen anderen Ausgang. Ein 403, ein CAPTCHA oder verschlechterte Inhalte dagegen sind eine Entscheidung über Sie, und wer sie unverändert wiederholt, mit derselben Adresse und demselben Fingerprint, zahlt nur dafür, die Sperre bestätigt zu bekommen. Hier müssen Sie etwas ändern, eine frische Adresse oder einen anderen Ansatz wählen; ein weiterer Versuch allein hilft nicht.
Bei Abrechnung pro Gigabyte vergisst man leicht die Kostenseite. Eine Anfrage, die scheiterte, nachdem der größte Teil der Antwort übertragen war, hat Sie diesen Traffic trotzdem gekostet; eine aggressive Wiederholungsregel gegen ein wackeliges Ziel kann also die Bandbreitenrechnung vervielfachen, ohne zusätzlich etwas einzusammeln. Eine Obergrenze für Versuche, Backoff dazwischen und eine Regel, die bei dauerhaften Fehlschlägen aufhört, sind höflich und vor allem wirtschaftlich: Sie entscheiden, ob Ihre Wiederholungsregel Anfragen rettet oder still Ihre Kosten verdoppelt.
Häufige Fragen
Was ist exponentielles Backoff?
Eine Wiederholungsstrategie, bei der die Wartezeit zwischen den Versuchen jedes Mal wächst, typischerweise durch Verdoppeln, meist mit etwas beigemischtem Zufall, damit viele Worker nicht im Gleichtakt wiederholen. Sie verteilt die Last und gibt einem kämpfenden Ziel Raum zur Erholung, und deshalb gelingt sie, wo sofortige Wiederholungen scheitern. Sie ist die übliche vernünftige Voreinstellung für vorübergehende Fehlschläge.
Sollte ich jede gescheiterte Anfrage wiederholen?
Nein, und das ist der übliche Fehler. Wiederholen Sie vorübergehende Fehlschläge, Timeouts, 503er, ein 429 nach seiner Retry-After-Wartezeit, denn die gelingen oft beim zweiten Versuch. Ein 403, ein CAPTCHA oder verschlechterte Inhalte wiederholen Sie nicht unverändert: Das sind Entscheidungen über Sie und keine Pannen, und wer sie mit derselben Adresse und demselben Fingerprint wiederholt, zahlt nur für die Bestätigung der Sperre. Ändern Sie etwas oder hören Sie auf.
Kann schlechte Retry-Logik meine Proxy-Kosten erhöhen?
Erheblich, bei Abrechnung pro Gigabyte. Eine Anfrage, die scheiterte, nachdem der größte Teil der Antwort übertragen war, hat Sie diese Bandbreite schon gekostet; aggressive Wiederholungen gegen ein wackeliges Ziel vervielfachen also die Rechnung, ohne etwas einzusammeln. Begrenzen Sie die Versuche, warten Sie mit Backoff dazwischen und hören Sie bei dauerhaften Fehlschlägen auf, dann werden Wiederholungen vom Kostentreiber zur echten Rettung.
Zurück zum vollständigen Glossar.

