DE
Jetzt starten

Glossar

Scraping & Automatisierung

Scraper-API

Ein Dienst, der eine Ziel-URL annimmt und die Daten der Seite zurückgibt und dabei Proxys, Rendering, Wiederholungen und Bot-Abwehr hinter einem einzigen Endpunkt erledigt.

Das Produkt ist ein einziger HTTP-Aufruf. Sie senden eine Ziel-URL plus Optionen, etwa das Land, aus dem Sie erscheinen wollen, oder ob JavaScript gerendert werden soll, und die Antwort ist die Seite, als HTML oder als geparste Daten. Alles, wofür dieses Glossar seitenweise Erklärungen braucht, Ausgänge wählen, sie rotieren, Fingerprints auf Adressen abstimmen, Fehlschläge wiederholen, Abfragen überstehen, passiert im Endpunkt, betrieben von Leuten, deren ganze Arbeit darin besteht, ihn am Laufen zu halten.

Es gibt sie, weil die Schwierigkeit der Datenerhebung extrem ungleich verteilt ist. Die meisten Seiten brauchen nichts: Eine einfache Anfrage über einen ordentlichen Proxy gelingt, und das bleibt so. Eine Minderheit steht hinter Abwehrsystemen, die laufend nachjustiert werden; dort ist Zugang eine Stellung, die Sie ständig halten müssen, und eine einmal gefundene Konfiguration reicht nie. Dieses Halten kostet laufend Arbeitszeit von jemandem. Die API verwandelt dieses Personalproblem in einen abgerechneten Dienst: Der Betreiber hält die Stellung für alle seine Kunden zugleich, und Sie beziehen das Ergebnis.

Das Abrechnungsmodell verrät, was Sie tatsächlich kaufen. Proxy-Tarife messen Traffic; Scraper-APIs berechnen typischerweise pro erfolgreicher Anfrage, Fehlschläge sind kostenlos, und schwierigere Konfigurationen wie JavaScript-Rendering oder Premium-Ausgänge werden als Multiplikatoren bepreist. Preise pro Erfolg legen das Risiko der Wiederholungen auf den Betreiber, und genau dieses Risiko wollten Sie loswerden. Sie machen auch den Vergleich ehrlich: Die Kosten pro tausend ERGEBNISSE entscheiden, welcher Ansatz für ein bestimmtes Ziel günstiger ist; die Kosten pro bewegtem Gigabyte taugen dafür nicht.

Der Preis sind Kontrolle und Wirtschaftlichkeit. Bei leichten Zielen kauft der Aufpreis der API nichts, denn reine Proxys gelingen dort schon zu einem Bruchteil des Preises, und bei sehr großem Volumen arbeitet der Preis pro Anfrage zunehmend gegen Sie. Im Endpunkt übernehmen Sie außerdem dessen Entscheidungen: sein Tempo, sein Sitzungsverhalten, sein Parsing, wo Ihr eigener Client sich präzise einstellen ließe. Die vernünftige Aufteilung folgt daher der Schwierigkeit: reine Proxys für die breite, leichte Mehrheit, die API für den schwierigen Rest, bei dem die Pflegearbeit ihrer Betreiber das Produkt ist, und die Bereitschaft, Ziele zwischen beiden Spuren zu verschieben, wenn sich ihre Abwehr ändert.

Einen Unterschied in den Fähigkeiten sollten Sie vor der Integration prüfen: Manche Produkte liefern die rohe gerenderte Seite und überlassen Ihnen die Extraktion, andere liefern strukturierte Felder für bestimmte Seitentypen, und die zweite Sorte bricht still auf andere Weise, denn eine Layoutänderung wird zum Parsing-Fehler des Betreibers, während Ihr Abruf scheinbar gelingt. Wissen Sie, welchen Fehler Sie lieber selbst verantworten.

So handhabt HProxy das

Wir betreiben Scraper-APIs neben den Proxy-Familien, weil die beiden Spuren wirklich zu verschiedenen Zielen passen, und wir sagen Ihnen, welche zu Ihrem passt: Leichte Seiten sind mit einfachen Proxys günstiger, und dort unseren Preis pro Anfrage zu zahlen hieße, Hilfe zu kaufen, die Sie nicht brauchen.

Häufige Fragen

Wann sollte ich eine Scraper-API statt Proxys verwenden?

Teilen Sie nach Schwierigkeit auf, ganz ohne Markentreue. Ziele, an denen einfache Anfragen über ordentliche Ausgänge gelingen, sind mit reinen Proxys günstiger und bleiben es auch bei großem Volumen. Bei Zielen, deren Abwehr ständige Anpassung verlangt, verdienen Preise pro Erfolg und die Pflegearbeit eines anderen den Aufpreis. Viele Pipelines betreiben beide Spuren zugleich und verschieben Ziele zwischen ihnen, wenn Seiten ihre Abwehr verschärfen oder lockern.

Warum werden Scraper-APIs pro Anfrage statt pro Gigabyte abgerechnet?

Weil geliefert wird ein Ergebnis, und für den bloßen Transport zahlen Sie nicht. Wer nur erfolgreiche Ergebnisse berechnet, verlagert das Risiko von Wiederholungen und Fehlschlägen auf den Betreiber, und genau dieses Risiko wollen Sie mit Ihrem Geld loswerden; zugleich bepreist er Schwierigkeit ehrlich über Multiplikatoren für Rendering oder Premium-Routing. Sie bekommen damit auch die richtige Vergleichszahl: Kosten pro tausend Ergebnisse gegenüber Ihren gesamten Proxy-Kosten.

Was tut eine Scraper-API eigentlich hinter dem Endpunkt?

Den gesamten Stack, den dieses Glossar beschreibt, im Dauerbetrieb: Auswahl und Rotation von Ausgängen, Umgang mit Sitzungen und Cookies, stimmige Header und Fingerprints, JavaScript-Rendering auf Wunsch, Umgang mit Abfragen, Wiederholungen mit anderen Identitäten und Überwachung auf den stillen Fehler, wenn ein Ziel beginnt, verschlechterte Inhalte auszuliefern. Der Wert liegt darin, dass es jemandes Aufgabe ist, all das aktuell zu halten; jede einzelne Technik für sich wäre wenig wert.

Was sind die Nachteile von Scraper-APIs?

Kosten und Kontrolle. Bei ungeschützten Zielen kauft der Aufpreis nichts, und bei großem Maßstab kann der Preis pro Anfrage eine Pipeline auf Proxy-Basis um ein Mehrfaches übersteigen. Sie übernehmen außerdem die Entscheidungen des Betreibers zu Tempo, Sitzungen und Parsing, die Sie bei einem selbst gebauten Client einstellen könnten, und Produkte mit strukturierter Ausgabe verlagern Layoutbrüche aus Ihrem Code in deren Parser, ein Fehler, den Sie dann nicht mehr selbst beheben können.

Zurück zum vollständigen Glossar.

HProxy.

Definitionen bringen Sie nur ein Stück weit. Testen Sie es an echten Zielen.

Residential ab 0,23 $ pro GB, nutzungsbasiert, und das Guthaben verfällt nie.

HProxy