DE
Jetzt starten

Glossar

Scraping & Automatisierung

Webcrawler

Ein Programm, das Links von Seite zu Seite folgt, um Inhalte zu finden und abzurufen, der Motor unter dem Scraping in großem Umfang.

Ein Crawler entdeckt; ein Scraper extrahiert. Ein Crawler beginnt bei einigen Start-URLs und folgt den Links, die er findet, von Seite zu Seite, und kartiert so eine Website oder einen Ausschnitt des Webs. Scraping ist das, was Sie mit den abgerufenen Seiten tun. Meist laufen beide zusammen, deshalb verschwimmen die Begriffe, doch der Crawler ist genau der Teil, der entscheidet, wohin es als Nächstes geht.

Crawling in jeder Größenordnung stößt an dieselbe Wand wie Scraping: Viele Anfragen von einer Adresse fallen schnell auf und werden gedrosselt oder blockiert. Ein Crawler, der Tausenden Links folgt, muss diese Anfragen über einen Pool verteilen, sonst erwürgt er sich an der ersten stark besuchten Domain.

Anständige Crawler halten sich außerdem an die Regeln, die eine Website für sie veröffentlicht, und das ist ebenso eine praktische Frage wie eine der Höflichkeit: Sie zu ignorieren ist eines der Verhalten, die eine Adresse markieren lassen.

Das Abrufen von Seiten ist beim Crawling das kleinere Problem; schwierig ist die Entscheidung, was abgerufen wird, und das Wissen, wann Schluss ist. Ein naiver Crawler, der jedem Link folgt, besucht dieselben Inhalte über verschiedene URLs, gerät in unendliche Räume wie Kalender, die für jedes künftige Datum eine neue Seite erzeugen, folgt Filter- und Sortierparametern, die eine Liste zu Tausenden fast gleicher URLs vervielfachen, und driftet über ausgehende Links ganz von der Website weg.

Die entscheidende Technik ist deshalb Buchführung. Ein normalisiertes Verzeichnis dessen, was schon gesehen wurde, damit eine URL mit umgestellten Parametern als dieselbe Seite erkannt wird. Klare Regeln, welche Domains und Pfade dazugehören. Eine Tiefenbegrenzung. Und Höflichkeit: eine Pause zwischen Anfragen an denselben Host und eine Obergrenze für gleichzeitige Anfragen, denn ein Crawler, der auf eine einzelne Domain einhämmert, ist von einem Angriff nicht zu unterscheiden, ganz gleich, was er vorhat.

Honeypots sind die typische Falle für Crawler, und sie nutzen genau die Gründlichkeit aus, die einen Crawler gut macht. Einen per CSS versteckten Link oder einen in robots.txt gesperrten Pfad fragt kein Mensch je an, und alles, was ihn anfragt, hat sich damit verraten. Jedem gefundenen Link zu folgen ist genau das Verhalten, auf das geachtet wird. Darum ist es besser, die Seite zu rendern und nur dem zu folgen, was wirklich erreichbar ist, als rohes Markup auszuwerten und allem darin zu folgen.

Die Abgrenzung zum Scraper lohnt sich, weil sie bestimmt, was Sie optimieren. Die Aufgabe eines Crawlers ist Abdeckung: alles finden, ohne Doppelungen und Schleifen. Die Aufgabe eines Scrapers ist Extraktion: die Felder zuverlässig aus einer Seite holen, auch wenn sich das Layout ändert. Die meisten Projekte brauchen beides, und beide scheitern auf ganz verschiedene Weise.

Häufige Fragen

Was ist der Unterschied zwischen einem Crawler und einem Scraper?

Ein Crawler entdeckt, ein Scraper extrahiert. Der Crawler entscheidet, welche URLs als Nächstes abgerufen werden, indem er Links folgt und verwaltet, was er schon gesehen hat; der Scraper holt die gewünschten Felder aus dem, was abgerufen wurde. Die meisten Projekte betreiben beide, und sie scheitern unterschiedlich: Crawler an Schleifen oder fehlender Abdeckung, Scraper an einem geänderten Layout.

Wie verhindere ich, dass mein Crawler in Schleifen hängen bleibt?

Normalisieren Sie URLs, bevor Sie sie festhalten, damit umgestellte Query-Parameter oder Schrägstriche am Ende nicht als neue Seiten gelten, und prüfen Sie jeden Kandidaten gegen das bereits Gesehene. Setzen Sie eine Tiefenbegrenzung und klare Regeln, welche Domains und Pfade dazugehören. Achten Sie auf unendliche Räume wie Kalender und Facettenfilter, die aus endlichem Inhalt unbegrenzt viele gültige URLs erzeugen.

Wie schnell sollte ein Crawler sein?

Langsamer, als er könnte. Legen Sie Pausen zwischen Anfragen an denselben Host ein und begrenzen Sie die Parallelität pro Domain, denn ein Crawler, der eine Website auslastet, ist von einem Angriff nicht zu unterscheiden, ganz gleich, was Sie vorhaben. Gibt robots.txt eine Crawl-Verzögerung vor, halten Sie sich daran. Last auf viele Hosts zu verteilen ist insgesamt schneller und führt weit seltener zu einer Sperre, als einen einzelnen Host auszuschöpfen.

Warum wurde mein Crawler blockiert, obwohl er höflich war?

Höfliches Tempo schützt nicht davor, in einen Honeypot zu tappen. Jedem Link im Markup zu folgen, auch den per CSS versteckten oder in robots.txt gesperrten, ist genau das Verhalten, das Automatisierung verrät, und an der Anfragerate lag es nie. Folgen Sie nur dem, was auf einer gerenderten Seite wirklich erreichbar ist.

Zurück zum vollständigen Glossar.

HProxy.

Definitionen bringen Sie nur ein Stück weit. Testen Sie es an echten Zielen.

Residential ab 0,23 $ pro GB, nutzungsbasiert, und das Guthaben verfällt nie.

HProxy