DE
Jetzt starten

Glossar

Scraping & Automatisierung

Headless Browser

Ein echter Browser ohne sichtbares Fenster, mit dem Automatisierung Seiten voller JavaScript rendert.

Ein Headless-Browser ist ein vollständiger Browser, Chrome oder Firefox, der ohne das grafische Fenster läuft, das ein Mensch sehen würde. Er rendert Seiten genau wie ein echter Browser, führt ihr JavaScript aus und baut dasselbe DOM auf, wird aber von Code statt von einem Menschen gesteuert, und das macht ihn zum Werkzeug für das Scraping von Seiten, die eine einfache HTTP-Anfrage nicht lesen kann.

Der Haken: Der Headless-Modus hinterlässt Spuren. Früher war schon das Headless-Flag selbst erkennbar, und auch heute fehlen einer Headless-Instanz meist die Plugins, die genauen Rendering-Eigenheiten und die Interaktionsmuster einer echten Nutzersitzung, und all das kann Fingerprinting aufgreifen.

Ein Headless-Browser ist also für das Rendern notwendig, um unbemerkt zu bleiben aber nicht ausreichend. Man kombiniert ihn mit einem Residential-Proxy gegen das Erkennungsmerkmal im Netz und mit Fingerprint- und Verhaltensmanagement gegen den Rest.

Die Kostenseite wird meist unterschätzt, und bei Abrechnung pro Gigabyte ist sie das, was still ein Budget ruiniert. Ein Browser lädt die Seite, wie ein Browser es tut: jedes Bild, jede Schrift, jedes Stylesheet, jedes Tracking-Skript und jedes vorgeladene Video. Eine Produktseite, deren nützliche Daten fünfzig Kilobyte HTML sind, kann insgesamt zwei oder drei Megabyte ziehen. Multiplizieren Sie das über einen großen Auftrag mit Residential-Bandbreite, und die Rechnung bezahlen Sie in Wahrheit für den Browser; der Proxy ist dabei der kleinere Posten.

Auch in jeder anderen Hinsicht ist er schwerer. Eine Headless-Browserinstanz verbraucht Hunderte Megabyte Arbeitsspeicher und spürbar CPU, wo eine HTTP-Anfrage fast nichts verbraucht; die Parallelität, die Sie auf derselben Maschine halten können, sinkt also um eine Größenordnung. Diese Einschränkung zählt oft mehr als der Geschwindigkeitsunterschied pro Anfrage.

Die erste Frage lautet deshalb, ob Sie überhaupt einen brauchen; wie man ihn gut betreibt, kommt danach. Sehr viele Seiten, die nach JavaScript-Rendering aussehen, werden von einem JSON-Endpunkt gespeist, den die Seite selbst aufruft, und wer diesen Endpunkt direkt aufruft, bekommt dieselben Daten in einem Bruchteil der Größe, ganz ohne Rendern. Ihn im Netzwerk-Tab zu finden ist oft die wertvollste Stunde eines Scraping-Projekts.

Wenn Sie wirklich rendern müssen, blockieren Sie, was Sie nicht parsen werden. Jedes große Automatisierungs-Framework kann Anfragen nach Ressourcentyp abfangen, und wer Bilder, Schriften, Medien und Stylesheets ablehnt, senkt die Bandbreite dramatisch und lässt das DOM, um das es Ihnen eigentlich geht, unversehrt.

Häufige Fragen

Brauche ich zum Scrapen einen Headless-Browser?

Nur wenn die Daten wirklich erst existieren, nachdem JavaScript gelaufen ist, und das ist seltener, als es scheint. Prüfen Sie, ob die Seite von einem JSON-Endpunkt gespeist wird, den Sie direkt aufrufen können, denn der liefert dieselben Daten viel kleiner und schneller, ganz ohne Rendern. Greifen Sie zum Browser, wenn Sie sich vergewissert haben, dass es keinen einfacheren Weg gibt.

Wie senke ich die Bandbreite beim Einsatz eines Headless-Browsers?

Fangen Sie Anfragen ab und blockieren Sie die Ressourcentypen, die Sie nicht parsen werden: Bilder, Medien, Schriften und meist Stylesheets. Jedes große Framework unterstützt das. Üblicherweise sinkt das Seitengewicht dadurch um eine Größenordnung, während das DOM unversehrt bleibt, und das zählt bei Residential-Abrechnung pro Gigabyte enorm.

Können Websites einen Headless-Browser erkennen?

Ja, und ihn für einen unsichtbaren echten Browser zu halten ist der übliche Fehler. Über das historische Headless-Flag hinaus unterscheidet sich eine Instanz meist in den Eigenschaften, die sie preisgibt, in vorhandenen Plugins und Schriften, im Rendering-Verhalten und vor allem im völligen Fehlen menschlicher Interaktion: keine Mausbewegung, kein Scrollen, keine Lesepausen. Das Verhalten verrät ihn zuverlässiger als jede einzelne Eigenschaft.

Ist ein Headless-Browser langsamer als HTTP-Anfragen?

Dramatisch, sowohl an Zeit als auch an Ressourcen. Er lädt und rendert eine ganze Seite, statt ein Dokument abzurufen, und jede Instanz verbraucht Hunderte Megabyte Arbeitsspeicher und spürbar CPU. Praktisch bedeutet das: Die Parallelität, die Sie auf einer Maschine halten können, sinkt um etwa eine Größenordnung.

Zurück zum vollständigen Glossar.

HProxy.

Definitionen bringen Sie nur ein Stück weit. Testen Sie es an echten Zielen.

Residential ab 0,23 $ pro GB, nutzungsbasiert, und das Guthaben verfällt nie.

HProxy