User-Agent
Die Zeichenkette, mit der ein Client seinen Browser und sein Betriebssystem ausweist, eines der einfachsten Signale, das eine Seite mit Ihrer IP abgleicht.
Ein User-Agent ist eine Textzeile, die mit jeder Anfrage mitgeht und in der Ihr Client angibt, was er ist. Bei einem Browser ist das eine lange, vollgestopfte Zeichenkette mit Rendering-Engine, Plattform und mehreren Kompatibilitäts-Token, die nur existieren, weil Seiten jahrzehntelang danach geschnüffelt haben. Bei einer Skript-Bibliothek ist sie meist kurz und ehrlich, etwa python-requests oder curl gefolgt von einer Versionsnummer.
Meist lesen Seiten ihn aus ganz gewöhnlichen Gründen: um ein mobiles Layout zu wählen, einen veralteten Browser zu warnen oder ein Format auszuliefern, das der Client unterstützt. Zum Signal für die Proxy-Erkennung wurde er zufällig, weil automatisierte Clients sich darin standardmäßig zu erkennen geben und sehr viele nie daran denken, das zu ändern. Wer Web Scraping mit dem unveränderten Standard einer Bibliothek betreibt, gibt sich schon in der ersten Zeile der Anfrage zu erkennen.
Er ist zugleich das am leichtesten zu fälschende Element der ganzen Anfrage, und genau deshalb beweist er für sich allein nichts. Jeder Client kann jede Zeichenkette senden, und jede Seite weiß das. Niemand, der es ernst meint, hält einen überzeugenden User-Agent für einen Beweis eines echten Browsers; einen zu setzen ist also bloße Grundvoraussetzung.
Für die Abwehr dient er als Konsistenzprüfung, und das ist der Teil, auf den es wirklich ankommt. Wer behauptet, Chrome unter Windows zu sein, legt sich auf vieles andere fest: einen passenden TLS-Fingerprint, passende Client Hints, eine plausible Bildschirmgröße, die REIHENFOLGE der Header, die ein echter Chrome sendet, und alles, was Browser-Fingerprinting über die Maschine darunter ausliest. Widerspricht etwas davon, hat Ihnen die Zeichenkette geschadet: Sie liefert der Seite einen konkreten Punkt, an dem sie Sie beim Widerspruch ertappt.
Die Reihenfolge der Header verdient eine eigene Erwähnung, weil sie regelmäßig übersehen wird. Echte Browser senden Header in einer gleichbleibenden, charakteristischen Abfolge, HTTP-Bibliotheken in der Reihenfolge, in der der Code sie hinzugefügt hat. Ein perfekter User-Agent in einer Reihenfolge, die kein Browser erzeugt, ist ein Widerspruch, dessen Erkennung nichts kostet.
Damit fällt der praktische Rat enger aus als der übliche. Setzen Sie einen realistischen, aktuellen User-Agent, denn eine Standard-Zeichenkette einer Bibliothek verrät Sie umsonst. Rotieren Sie ihn nicht zufällig pro Anfrage; das ist ein verbreiteter Reflex und ein ausgesprochen schlechter: Echte Besucher wechseln zwischen zwei Seitenaufrufen nicht den Browser, und eine Sitzung, deren Client-Identität ständig wechselt, fällt mehr auf als eine, die sich nie ändert. Wählen Sie pro Sitzung eine plausible Identität und halten Sie sie.
Häufige Fragen
Sollte ich User-Agents rotieren?
Nicht pro Anfrage, und genau hier liegen viele Ratschläge falsch. Ein echter Besucher wechselt zwischen zwei Seitenaufrufen nicht den Browser; eine Sitzung, deren User-Agent ständig wechselt, ist daher verdächtiger als eine, die bei einem bleibt. Wählen Sie pro Sitzung oder pro Identität eine plausible, aktuelle Zeichenkette und behalten Sie sie für die gesamte Dauer der Sitzung.
Werde ich nicht mehr erkannt, wenn ich den User-Agent ändere?
Nein. Es beseitigt ein offensichtliches Erkennungsmerkmal, die Standard-Zeichenkette der Bibliothek, und sonst nichts. Erkennungssysteme prüfen, ob die Behauptung zu Ihrem TLS-Fingerprint, Ihrer Header-Reihenfolge, Ihren Client Hints und Ihrem Verhalten passt, und ein Browser-User-Agent auf einem Python-Handshake tarnt nichts, er erzeugt einen Widerspruch. Er ist notwendig und bei Weitem nicht ausreichend.
Welcher User-Agent ist der beste für Web Scraping?
Ein aktueller, verbreiteter, der zu allem anderen passt, was Sie vorzeigen. Eine magische Zeichenkette gibt es nicht, und einen alten oder ungewöhnlichen zu kopieren ist schlimmer als nutzlos, weil Seltenheit selbst identifiziert. Wählen Sie eine weit verbreitete aktuelle Browserversion und sorgen Sie dann dafür, dass der Rest Ihrer Anfrage plausibel von ihr stammen könnte.
Kann eine Seite meinen echten User-Agent sehen, wenn ich ihn ändere?
Sie erhält nur, was Sie senden, also nein. Sie kann aber bemerken, dass das Gesendete allem anderen an der Verbindung widerspricht: Der TLS-Handshake stammt von einer Bibliothek statt von diesem Browser, die Header-Reihenfolge stimmt nicht, die Client Hints fehlen oder die gemeldete Bildschirmgröße ist unplausibel. Sie braucht Ihre echte Zeichenkette nicht, um zu wissen, dass die gesendete nicht stimmt.
Zurück zum vollständigen Glossar.

