Ratenbegrenzung
Die Obergrenze einer Seite dafür, wie viele Anfragen eine Quelle in einem Zeitfenster stellen darf, das häufigste Hindernis, auf das ein Scraper trifft.
Rate Limiting ist eine Obergrenze dafür, wie schnell eine einzelne Quelle Dinge anfragen darf. Wer sie überschreitet, wird vom Server nicht mehr bedient, meist mit der Antwort 429 Too Many Requests, bis das Zeitfenster zurückgesetzt wird. Es soll verhindern, dass ein einzelner Client Kapazität verbraucht, die alle anderen brauchen, und angewendet wird es von Servern, die überhaupt keine Meinung über Sie haben.
Seine bestimmende Eigenschaft ist, dass es gegenüber Absichten blind ist, und genau das sollten Sie verinnerlichen. Der Zähler weiß nicht, ob Sie feindselig oder einfach beschäftigt sind. Er zählt Anfragen pro Quelle und handelt nach der Zahl, und deshalb löst völlig legitime Arbeit mit hohem Volumen ihn genauso leicht aus wie Missbrauch. Gutes Benehmen befreit Sie nicht von der Arithmetik.
Der Zähler hängt fast immer an etwas Identifizierendem: einer IP-Adresse, einem API-Schlüssel, einem Konto oder einer Sitzung. Woran er hängt, entscheidet über Ihre Möglichkeiten, und es lohnt sich, das herauszufinden, statt es anzunehmen. Begrenzt eine Seite pro Adresse, hilft es, Anfragen über einen Pool zu verteilen. Begrenzt sie pro API-Schlüssel, ändern mehr Adressen überhaupt nichts, und Sie brauchen einen anderen Schlüssel oder ein langsameres Tempo.
Dafür gibt es den rotierenden Proxy, und so lässt sich ehrlich beschreiben, was er tut: Das Limit bleibt, wie es ist, und Sie bündeln Ihren Verkehr nicht mehr auf einen einzigen Zähler. Dasselbe Gesamtvolumen, verteilt auf einen Proxy-Pool, lässt jede Adresse bequem unter einer Schwelle, der sie nie nahekommt. Umgangen wurde nichts; die Rechnung wurde nur neu verteilt.
Die Antwort, die Sie bekommen, verrät viel, und wer sie richtig liest, spart Tage. Ein 429 trägt meist einen Retry-After-Header, der genau angibt, wie lange Sie warten sollen; die Seite nennt Ihnen damit ihre Regeln im Klartext. Sich daran zu halten ist zugleich höflich und wirksam, denn wer ihn ignoriert und sofort wiederholt, macht aus einer vorübergehenden Drosselung eine längere Sperre.
Nicht jedes Limit kündigt sich allerdings an, und die stille Sorte ist die gefährliche. Ein Anti-Bot-System mit Spielraum verschlechtert oft lieber, statt abzulehnen: langsamere Antworten, gekürzte Ergebnislisten, veraltete Daten aus dem Cache oder still weggelassene Einträge. Ihre Anfragen liefern weiter 200, und Ihr Datensatz ist falsch. Wer Web Scraping in großem Umfang betreibt, sollte Ergebnisse mit einer bekannt guten Vergleichsbasis abgleichen, statt Statuscodes zu vertrauen.
Die am meisten unterschätzte Lösung ist schlicht, langsamer und mit Schwankung vorzugehen. Eine feste Verzögerung ist selbst ein erkennbares Muster, und echte Schwankung im Tempo bleibt unter den Limits und wirkt weniger mechanisch. Das kostet Zeit, und Zeit ist meist billiger als die wachsenden Kosten von Drosselung, Abfragen und schließlich Sperren.
Häufige Fragen
Was bedeutet ein 429-Fehler?
Too Many Requests: Sie haben das Kontingent für das überschritten, wonach der Server zählt, und er bedient Sie wieder, sobald das Zeitfenster zurückgesetzt ist. Achten Sie auf einen Retry-After-Header, der genau angibt, wie lange Sie warten sollen. Es ist eine vorübergehende Ablehnung, keine Sperre, und wer entsprechend zurücksteckt, hat meist schon alles Nötige getan.
Lösen mehr Proxys das Rate Limiting immer?
Nur wenn das Limit pro IP-Adresse gezählt wird. Hängt es an einem API-Schlüssel, einem Konto oder einem Sitzungs-Cookie, ändern zusätzliche Adressen nichts, weil der Zähler Ihre Adresse nie angesehen hat. Klären Sie, woran das Limit hängt, bevor Sie Kapazität kaufen, um es zu lösen, sonst skalieren Sie die falsche Größe.
Wie finde ich das Rate Limit einer Seite heraus?
Manchmal ist es veröffentlicht, in einer API-Dokumentation oder in Antwort-Headern, die das Limit, das verbleibende Kontingent und den Zeitpunkt des Zurücksetzens nennen. Wo nicht, ermitteln Sie es durch vorsichtiges Ausprobieren: Beginnen Sie deutlich unter jeder plausiblen Schwelle, steigern Sie schrittweise und achten Sie auf das erste 429 oder das erste Anzeichen verschlechterter Inhalte. Eine Seite absichtlich zu bombardieren, um das Limit zu finden, ist unhöflich und ein guter Weg zu einer längeren Sperre.
Ist es besser, IPs zu rotieren oder langsamer zu werden?
Beides, denn sie lösen verschiedene Hälften. Rotation verhindert, dass sich das Volumen auf einen Zähler ballt; langsamer werden mit echter Schwankung bearbeitet das Muster des Verkehrs selbst, und daran ändert Rotation nichts. Wer schnell genug rotiert, um einen maschinell gleichmäßigen Takt zu halten, sieht weiterhin wie eine Maschine aus, nur eine mit vielen Adressen.
Kann Rate Limiting still ablaufen?
Ja, und gegen genau diesen Fehler sollten Sie sich am meisten absichern. Manche Seiten verschlechtern lieber, statt abzulehnen: langsamere Antworten, weniger Ergebnisse, veraltete Werte aus dem Cache oder still fehlende Einträge, alles mit einem völlig normalen 200. Nichts in Ihren Logs schlägt dann Alarm. Der einzige verlässliche Schutz ist, Ihre gesammelten Daten regelmäßig mit einer Anfrage zu vergleichen, von der Sie wissen, dass sie sauber ist.
Zurück zum vollständigen Glossar.

