Load Balancer
Infrastruktur, die eingehende Anfragen auf viele Backend-Server verteilt, eine Form von Reverse Proxy, der Sie beim Scraping von außen begegnen.
Ein Load Balancer verteilt eingehenden Traffic auf einen Pool von Backend-Servern, damit kein einzelner Rechner überlastet wird und der Dienst den Ausfall jedes einzelnen übersteht. Das ist eine bestimmte Aufgabe innerhalb der Familie der Reverse Proxys: vor der eigenen Infrastruktur einer Website stehen, Anfragen entgegennehmen und jede an das Backend weitergeben, das gesund und am wenigsten ausgelastet ist. Bleibt eine Website erreichbar, während dahinter einzelne Server neu starten, steckt meist ein Load Balancer dahinter.
Sie begegnen ihm von außen, und darum lohnt es sich, ihn zu kennen. Wenn Sie sich mit einer großen Website verbinden, sprechen Sie fast immer mit ihrem Load Balancer, und der Ursprungsrechner bleibt dahinter verborgen. Der Load Balancer übernimmt meist dieselben Aufgaben am Edge wie ein Reverse Proxy: TLS-Terminierung, Health Checks und oft auch die Ratenbegrenzung und die Bot-Regeln, die entscheiden, ob Ihre Anfrage durchkommt. Eine Ablehnung kann hier entstehen, bevor irgendein Anwendungsserver beteiligt ist.
Er erklärt auch ein Verhalten, das Scraper verwirrt: scheinbare Widersprüche zwischen identischen Anfragen. Weil aufeinanderfolgende Anfragen an verschiedene Backends mit leicht unterschiedlichem Zustand oder Cache gehen können, liefert dieselbe URL im Abstand weniger Augenblicke geringfügig andere Antworten, und eine Sitzung, die von einem einzigen Rechner ausgeht, erlebt Überraschungen. Dahinter steckt keine Absicht, nur der Server-Pool, der durchscheint.
Der Begriff überschneidet sich stark mit Reverse Proxy und CDN, und ehrlich unterschieden werden sie nur in der Gewichtung. Reverse Proxy ist die allgemeine Kategorie; Lastverteilung ist eine ihrer Aufgaben, neben Caching und Filterung; ein CDN ist dasselbe Muster in geografischem Maßstab. Ein reiner Load Balancer übernimmt womöglich nur die Verteilung, während die meisten Reverse Proxys und jedes CDN Last als Teil einer größeren Aufgabe verteilen. Für einen Scraper bleibt die praktische Lehre gleich: Ihnen antwortet Infrastruktur vor der Website, und oft entscheidet sie über Ihr Schicksal, bevor die Website selbst etwas sieht.
Häufige Fragen
Ist ein Load Balancer dasselbe wie ein Reverse Proxy?
Lastverteilung ist eine der Aufgaben eines Reverse Proxys. Jeder Load Balancer ähnelt also einem Reverse Proxy, während ein Reverse Proxy meist mehr kann: Er speichert auch zwischen, terminiert TLS und filtert Traffic, und ein reiner Load Balancer verteilt womöglich nur Anfragen auf Backends. Die Überschneidung ist so groß, dass oft dieselbe Software beide Rollen übernimmt.
Warum liefert mir eine Website hinter einem Load Balancer widersprüchliche Ergebnisse?
Weil aufeinanderfolgende Anfragen auf verschiedenen Backend-Servern landen können, deren Cache oder Zustand sich leicht unterscheidet, und identische Anfragen deshalb geringfügig andere Antworten liefern. Das zielt nicht auf Sie; da scheint nur der Server-Pool durch. Code, der davon ausgeht, immer mit demselben Rechner zu sprechen, hält das leicht für einen Fehler oder eine Sperre.
Kann ein Load Balancer meinen Scraper blockieren?
Oft ist er es, der das tut. Vor dem Ursprung stehend, setzt ein Load Balancer meist dieselben Funktionen am Edge durch wie ein Reverse Proxy, einschließlich Ratenbegrenzung und Bot-Regeln, also kann dort eine Ablehnung fallen, bevor ein Anwendungsserver Ihre Anfrage sieht. Deshalb zeigen die eigenen Logs der Website womöglich nichts von einer Anfrage, die am Load Balancer abgewiesen wurde.
Zurück zum vollständigen Glossar.

