DE
Jetzt starten

Glossar

Scraping & Automatisierung

Seitennavigation

Wie eine Seite eine lange Liste auf viele Seiten oder Ladevorgänge verteilt, und der Teil eines Scrapes, bei dem am ehesten still Daten fehlen oder ein Crawler in die Falle geht.

Paginierung ist die Art, wie eine Seite eine lange Liste stückweise statt auf einmal ausliefert, und genau hier gehen Scrapes still schief. Die erste Seite zu holen ist leicht; alle Seiten zu holen, jede genau einmal, und zu wissen, wann man sie alle hat, ist die eigentliche Arbeit, und sie steckt trügerisch voller Fallen. Hinter den meisten unvollständigen Datensätzen steckt eine leicht falsch behandelte Paginierung; eine Sperre war meist gar nicht im Spiel.

Der Mechanismus variiert, und der richtige Ansatz variiert mit ihm. Klassische nummerierte Seiten oder ein Weiter-Link sind der freundliche Fall: Folgen Sie dem Link, bis er verschwindet. Paginierung per Offset, Seite 2, Seite 3, ist einfach, bricht aber, wenn sich die Liste unter Ihnen ändert, und überspringt oder verdoppelt still Einträge, wenn sich zwischen den Anfragen etwas verschiebt. Paginierung per Cursor, bei der jede Antwort Ihnen ein Token für die nächste mitgibt, ist die robuste moderne Form und belohnt es am meisten, den Daten-Endpunkt direkt aufzurufen. Und Infinite Scroll hat überhaupt keine Seiten: Inhalte laden beim Scrollen nach, und dahinter steckt meist eine Hintergrundanfrage, die Sie finden und direkt aufrufen können, ohne eine Seite rendern zu müssen.

Dieser letzte Punkt ist der wirkungsvollste Hebel, und er verbindet sich mit den Einträgen zu Rendering und APIs. Infinite Scroll und dynamisch geladene Listen sehen aus, als bräuchten sie einen Headless-Browser, der endlos scrollt, doch das Scrollen löst darunter fast immer eine seitenweise Datenanfrage aus. Rufen Sie diese Anfrage direkt mit dem Seiten- oder Cursor-Parameter auf, bekommen Sie die ganze Liste in sauberen Stücken, schneller und günstiger, als einen Browser zu steuern. Die Paginierung im Netzwerk-Tab zu finden ist oft der Moment, in dem aus einem schweren Scrape ein leichter wird.

Zwei Fehlerbilder verdienen einen Namen, weil sie so häufig sind. Das erste ist zu frühes Aufhören: Eine leere Seite oder ein fehlender Weiter-Link wird uneinheitlich behandelt, und man endet still mit drei Vierteln der Daten; deshalb lohnt es sich, die Gesamtzahl gegen die Angabe der Seite zu prüfen. Das zweite ist die Crawler-Falle, die der Eintrag zum Crawler beschreibt: Facettenfilter und Kalender erzeugen aus endlichem Inhalt endlos viele gültige Seiten, und wer ohne Grenzen paginiert, schickt einen Crawler in einen unendlichen Raum. Bei der Paginierung wird Abdeckung gewonnen oder verloren, sowohl beim Zuwenig als auch beim Zuviel.

Häufige Fragen

Wie scrape ich alle Seiten einer Liste und nicht nur die erste?

Passen Sie sich der Methode an. Bei klassischer Paginierung folgen Sie Weiter-Links, bis sie verschwinden; bei nummerierten Seiten erhöhen Sie Offsets sorgfältig und achten darauf, ob sich Einträge zwischen Anfragen verschieben; bei Paginierung per Cursor, der zuverlässigsten Form, folgen Sie dem Token, das jede Antwort mitgibt. Bei Infinite Scroll finden Sie die Hintergrundanfrage, die beim Scrollen ausgelöst wird, und rufen sie direkt mit ihrem Seiten- oder Cursor-Parameter auf.

Wie scrape ich Seiten mit Infinite Scroll?

Meist ganz ohne zu scrollen. Infinite Scroll löst im Hintergrund eine seitenweise Datenanfrage aus, wenn Sie das Ende erreichen; öffnen Sie also den Netzwerk-Tab, finden Sie diese Anfrage und rufen Sie sie direkt mit ihrem Seiten- oder Cursor-Parameter auf, um die ganze Liste in sauberen Stücken zu holen. Das ist schneller, günstiger und weniger fragil, als einen Headless-Browser endlos scrollen zu lassen.

Warum fehlen meinem Scraper Daten über mehrere Seiten hinweg?

Meist wurde die Paginierung leicht falsch behandelt: zu frühes Aufhören bei einer uneinheitlich leeren Seite oder einem fehlenden Weiter-Link, oder Offsets gegen eine Liste, die sich zwischen den Anfragen ändert, sodass Einträge übersprungen oder verdoppelt werden. Prüfen Sie die gesammelte Gesamtzahl gegen die Zahl, die die Seite angibt, und bevorzugen Sie Paginierung per Cursor oder einen direkten Daten-Endpunkt; beide sind weit weniger anfällig für stille Lücken.

Zurück zum vollständigen Glossar.

HProxy.

Definitionen bringen Sie nur ein Stück weit. Testen Sie es an echten Zielen.

Residential ab 0,23 $ pro GB, nutzungsbasiert, und das Guthaben verfällt nie.

HProxy