API-Scraping
Daten sammeln, indem man die JSON-Endpunkte aufruft, die eine Seite nutzt, statt ihr HTML auszulesen, meist der schnellste, günstigste und verlässlichste Weg, wenn es ihn gibt.
API-Scraping heißt, an die Quelle zu gehen, die die Seite selbst nutzt. Die meisten modernen Seiten betten ihre Daten nicht ins HTML ein; sie liefern eine Hülle aus und holen den eigentlichen Inhalt im Hintergrund von JSON-Endpunkten. Diese Endpunkte existieren, um das eigene Frontend der Seite zu bedienen, und in der großen Mehrheit der Fälle können Sie sie direkt aufrufen und bekommen strukturierte Daten statt einer gerenderten Seite, die Sie parsen müssten. Wenn es einen gibt, ist er fast immer die richtige Antwort.
Die Vorteile häufen sich über alles andere in diesem Glossar hinweg. Sie sparen sich das Rendern, also keinen Headless-Browser und seine Kosten. Sie sparen sich das Parsen, denn JSON ist bereits strukturiert, also keine Selektoren, die Sie gegen Layoutänderungen pflegen müssen. Sie übertragen einen Bruchteil der Bytes, weil Sie keine Bilder, Schriften und Skripte laden, und bei Abrechnung pro Gigabyte ist das eine direkte Ersparnis. Und die Daten sind meist sauberer und vollständiger, als die Seite zeigt, weil der Endpunkt oft Felder liefert, die das Frontend nicht anzeigt.
Sie zu finden ist eine wiederholbare Fertigkeit, Glück braucht es dafür nicht. Öffnen Sie den Netzwerk-Tab des Browsers, filtern Sie auf Anfragen, die JSON liefern, und beobachten Sie, welche ausgelöst werden, wenn die gewünschten Daten erscheinen: beim Laden, beim Scrollen, beim Klick auf einen Filter. Paginierung und Parameter sind in diesen Anfragen sichtbar; Sie lernen also, wie man nach Seite zwei, einer bestimmten Kategorie oder einem Zeitraum fragt, indem Sie lesen, wonach die Seite fragt. Diese halbe Stunde im Netzwerk-Tab ist oft die wertvollste Arbeit des ganzen Projekts.
Ehrliche Vorbehalte nehmen dem Ganzen den Zauber. Diese Endpunkte sind undokumentiert und können sich ohne Ankündigung ändern, weil sie intern sind; sie brauchen also Überwachung wie jeder Scrape. Oft tragen sie ihre eigene Authentifizierung, Token oder signierte Parameter, die die Seite erzeugt, und die müssen manchmal nachgebildet werden und sind gelegentlich der schwierige Teil. Sie sind mit Rate Limits versehen und geschützt wie jede andere Oberfläche, also gelten Proxys und Tempo weiterhin. Und wo eine Seite Daten tatsächlich serverseitig ins HTML rendert, ohne eigenen Endpunkt, greift API-Scraping schlicht nicht, und Parsen ist der Weg. Gibt es aber einen Endpunkt, macht sich, wer zuerst zum HTML greift, eine leichte Aufgabe unnötig schwer.
Häufige Fragen
Wie finde ich die versteckte API einer Seite?
Öffnen Sie den Netzwerk-Tab des Browsers, filtern Sie auf Anfragen, die JSON liefern, und beobachten Sie, welche ausgelöst werden, wenn die gewünschten Daten erscheinen: beim Laden, beim Scrollen, beim Klick auf einen Filter. Diese Anfragen verraten den Endpunkt, seine Parameter und seine Paginierung, sodass Sie ihn direkt aufrufen können. Es ist eine wiederholbare Fertigkeit, und die halbe Stunde, die sie kostet, rettet oft den ganzen Rest des Projekts.
Ist es besser, eine API zu scrapen als HTML?
Wenn es einen Endpunkt gibt, fast immer. Sie sparen sich Rendern und Parsen, übertragen weit weniger Bytes und bekommen strukturierte Daten, die oft sauberer und vollständiger sind, als die Seite zeigt, und stabiler, weil sie bei Layoutänderungen nicht brechen. Ausnahmen sind Seiten, die Daten ohne eigenen Endpunkt ins HTML rendern; dort ist Parsen der einzige Weg.
Brauche ich für API-Scraping trotzdem Proxys?
Ja. Die internen Endpunkte einer Seite sind mit Rate Limits versehen und geschützt wie jede andere Oberfläche, genauso an Ihre Adresse gebunden; Pool, Rotation und Tempo, die Sie bei HTML einsetzen würden, gelten also unverändert. Es ändern sich Kosten und Zuverlässigkeit jeder Anfrage; gezählt und geprüft werden sie vom Ziel genauso.
Zurück zum vollständigen Glossar.

