JavaScript-Rendering
Der Vorgang, bei dem Seiten ihren Inhalt nach dem Laden im Browser aufbauen, und er entscheidet, ob Sie beim Abruf des HTML Daten bekommen oder eine leere Hülle.
Die Anfrage gelingt, das HTML kommt an, und die Daten stehen nicht darin. Sehen Sie sich dieselbe Seite im Browser an, ist alles da. Nichts hat versagt: Die Seite rendert auf dem Client, das abgerufene Dokument ist also eine fast leere Bühne, und der Inhalt wird nach dem Laden von JavaScript aufgebaut, das Daten holt und in die Seite schreibt. Ihr HTTP-Client hat genau das erhalten, was auch der Browser erhalten hat; der Browser hat danach Arbeit geleistet, die Ihr Client nicht leistet.
Welche Architektur eine Seite nutzt, ist die erste diagnostische Frage jedes Scrapes, und sie lässt sich in Sekunden beantworten. Die Quelltextansicht des Browsers zeigt das Dokument, wie es ausgeliefert wurde; der Element-Inspektor der Entwicklerwerkzeuge zeigt den Baum, nachdem die Skripte gelaufen sind. Steht der Preis im zweiten und nicht im ersten, haben Sie es mit Rendering auf dem Client zu tun. Der Netzwerk-Tab zeigt dann die nützlichere Tatsache: WOHER die Skripte die Daten hatten, und das ist fast immer eine ordentliche JSON-Anfrage, die Ihr Client direkt stellen könnte.
Diese Beobachtung ordnet den ganzen Werkzeugkasten. Die beste Antwort auf eine gerenderte Seite ist meist, auf das Rendern zu verzichten: Rufen Sie den zugrunde liegenden Daten-Endpunkt auf und erhalten Sie strukturierte Felder bei einem Bruchteil der Übertragung. Fast ebenso gut: Serverseitig rendernde Frameworks betten ihren gesamten Zustand als JSON-Block in das ausgelieferte HTML ein, aktuelle Seiten mit React und Next.js tragen ihn in einem Script-Tag, und wer diesen Block parst, bekommt alles, was die Seite weiß, ohne irgendetwas auszuführen. Erst wenn es beides nicht gibt, verdient die schwere Option ihren Platz: ein Headless-Browser, der die Seite wirklich ausführt, mit den Kosten und der Erkennbarkeit, die das mit sich bringt.
Der Mittelfall verdient eine eigene Anmerkung, denn er ist heute der übliche. Hydration, das Muster, bei dem Server echtes HTML ausliefern und Skripte danach die Interaktivität anhängen, bedeutet, dass viele moderne Seiten aus dem rohen Dokument SEHR WOHL scrapebar sind; die Ära der leeren Hüllen ist teilweise vorbei. Die Falle kehrt sich um: Inhalte, die beim Abruf vorhanden sind, können nach dem Laden noch ERSETZT werden, Preise durch eine frischere Anfrage aktualisiert, regionale Varianten eingetauscht; um zu treffen, was ein Nutzer sieht, muss man also manchmal rendern, obwohl das abgerufene HTML vollständig aussah.
Für die Proxy-Planung vervielfacht Rendering alles. Ein gerenderter Seitenaufruf löst Dutzende Anfragen aus, Skripte, Datenaufrufe, Dateien, jede über Ihren Ausgang; die Abrechnung pro Gigabyte spürt Rendering daher am stärksten, und die zusätzliche Angriffsfläche, echtes Browserverhalten eingeschlossen, ist genau das, worauf Erkennungssysteme als Nächstes schauen. Die Entscheidung wiegt schwer genug, um sie pro Ziel zu treffen statt pro Projekt: Rendern Sie die Seiten, die es verlangen, und holen Sie überall sonst die Datenschicht.
Häufige Fragen
Woran erkenne ich, ob eine Seite zum Scrapen JavaScript-Rendering braucht?
Vergleichen Sie das ausgelieferte Dokument mit dem lebenden Baum: Quelltextansicht gegen Element-Inspektor. Daten, die erst nach dem Ausführen der Skripte vorhanden sind, bedeuten Rendering auf dem Client. Öffnen Sie dann den Netzwerk-Tab und finden Sie heraus, woher die Daten kamen; meist taucht ein JSON-Endpunkt auf, den Sie direkt aufrufen können, und diese Entdeckung erledigt die Frage nach dem Rendering regelmäßig.
Kann ich eine JavaScript-Seite ohne Headless-Browser scrapen?
Sehr oft. Die eigenen Daten-Endpunkte der Seite lassen sich direkt aufrufen, und serverseitig rendernde Frameworks betten ihren vollständigen Zustand als JSON ins HTML ein, lesbar mit einem einzigen Parse. Ein Headless-Browser ist der richtige letzte Ausweg für Seiten, deren Daten wirklich erst nach der Ausführung existieren; als reflexhafter erster Schritt bei allem, was modern aussieht, taugt er nicht.
Was ist Hydration, und warum zählt sie beim Scraping?
Hydration ist das Muster, bei dem der Server vollständiges HTML ausliefert und Skripte auf dem Client danach die Interaktivität hinzufügen. Sie zählt, weil solche Seiten aus dem abgerufenen Dokument SEHR WOHL scrapebar sind, was die Annahme der leeren Hülle umkehrt, mit einem Vorbehalt: Skripte können ausgelieferte Inhalte nach dem Laden noch ersetzen; bei Daten, die sich live aktualisieren, können das Geparste und das, was ein Nutzer gerade sieht, also auseinanderlaufen.
Kostet JavaScript-Rendering mehr Bandbreite?
Erheblich. Eine Seite auszuführen löst die ganze Kaskade von Skript-, Daten- und Dateianfragen über Ihren Ausgang aus, leicht eine Größenordnung mehr als der Abruf des Dokuments allein, und Residential-Preise pro Gigabyte machen daraus direkt Geld. Wer unnötige Ressourcentypen blockiert, holt viel davon zurück, und wer zugunsten der Datenschicht ganz aufs Rendern verzichtet, holt fast alles zurück.
Zurück zum vollständigen Glossar.

