HTTP-Header
Die Zeilen aus Name und Wert, die mit jeder Webanfrage und Antwort mitgehen, in denen sich ein Client beschreibt und in denen Proxys ihre Spuren hinterlassen oder entfernen.
Eine HTTP-Anfrage besteht größtenteils aus Vorstellung. Bevor irgendein Inhalt fließt, sendet der Client einen Block von Headern, schlichte Zeilen aus Name und Wert, und erklärt darin, wer er ist, was er annimmt, woher er kommt und wie er die Antwort verpackt haben möchte. Der Server antwortet mit seinem eigenen Block. Alles, was die beiden Seiten aushandeln, handeln sie hier aus, eine Zeile pro Tatsache.
Eine Handvoll davon erledigt fast die ganze Arbeit, auf die es im Proxy-Umfeld ankommt. Host nennt die Seite, die Sie wollen, und so bedient eine einzige Adresse Tausende Domains. Die User-Agent-Zeile gibt an, welche Software fragt. Accept-Language erklärt, welche Sprachen Sie bevorzugen. Referer sagt, von welcher Seite Sie herübergeklickt haben. Die Cookie-Zeile trägt den Zustand, der bei früheren Besuchen gespeichert wurde. Und in der Familie der Weiterleitungs-Header, X-Forwarded-For und Via, kann ein Zwischenhändler seine eigene Beteiligung vermerken; an genau diesem Mechanismus werden die Anonymitätsstufen gemessen.
Zwei davon verdienen die besondere Aufmerksamkeit von Proxy-Nutzern, weil sie der Geografie so billig widersprechen. Accept-Language geht mit jeder Anfrage mit, und ein Browser, der auf jeder Seite en-US verkündet, während er über eine Madrider Adresse austritt, serviert der Seite einen Widerspruch schon im ersten Paket der Header, ganz ohne Fingerprinting. Dasselbe gilt für eine Referer-Kette, die zeigt, dass Sie von einer Sprachausgabe kommen, die in Ihrem angeblichen Land niemand sehen würde. Die Adresse erzählt eine Geschichte; die Header erzählen ungefragt eine andere.
Die Reihenfolge erzählt eine dritte. Die Spezifikation behandelt Header als ungeordnete Menge, doch echte Software sendet sie in einer festen, gewohnten Abfolge, und die Gewohnheiten unterscheiden sich: Ein Browser erzeugt eine Reihenfolge, jede HTTP-Bibliothek eine andere. Abwehrsysteme vergleichen die behauptete Identität mit der beobachteten Abfolge; das kostet nichts und erwischt kopierte Header-WERTE, die in einen Client eingefügt wurden, der sie in seiner eigenen Reihenfolge sendet. HTTP/2 verkompliziert das Bild, schreibt Namen klein und komprimiert den Block, und bringt eigene Aushandlungsdetails mit, die sich ebenso gut für Fingerprints eignen.
In den Headern verstecken sich auch Kosten. Accept-Encoding ist die Zeile, die Kompression anfordert, und wer sie bei einem Tarif pro Gigabyte vergisst, zahlt den vollen Preis für Text, der um ein Mehrfaches geschrumpft wäre. Jede Anfrage wiederholt den ganzen Block, und bei Arbeit mit hohem Volumen summiert sich das zu echtem Traffic. Kleine Zeilen, aber sie werden millionenfach gesendet.
Häufige Fragen
Welche HTTP-Header zählen am meisten, wenn ich einen Proxy nutze?
Ausgehend: die User-Agent-Zeile, Accept-Language und Cookie, weil sie zu Identität und Standort passen müssen, die Ihr Ausgang behauptet. Bei der Seite ankommend: X-Forwarded-For und Via, denn ob Ihr Proxy sie hinzufügt, trennt genau die Stufen transparent, anonym und elite. Wer über einen beliebigen Echo-Endpunkt zurückliest, was tatsächlich angekommen ist, klärt beides mit einer Anfrage.
Können Header verraten, dass ich einen Proxy nutze, auch wenn meine IP sauber ist?
Ja, auf zwei Arten. Ein Proxy, der Weiterleitungs-Header hinzufügt, gibt sich unabhängig von der Qualität der Adresse zu erkennen. Und Ihre eigenen Header können dem Ausgang widersprechen: Eine Sprachpräferenz, eine Referer-Kette oder ein zeitzonenabhängiger Wert, der nicht zum angeblichen Land passt, liest sich wie ein Besucher, der eine fremde Adresse trägt, und genau das ist er ja.
Wird die Reihenfolge der Header wirklich geprüft?
Von ernsthaften Abwehrsystemen routinemäßig. Software sendet Header in einer charakteristischen Abfolge, Browser auf ihre Weise, jede Bibliothek auf ihre eigene, und die Abfolge mit dem behaupteten User-Agent abzugleichen ist ein kostenloser Konsistenztest. Wer die Header-Werte eines Browsers in ein Skript kopiert, ohne dessen Reihenfolge nachzubilden, fällt durch, und das ist ein Grund, warum Anfragen mit perfekten Werten trotzdem als Automatisierung eingestuft werden.
Kosten Header Bandbreite?
Sie werden bei jeder Anfrage erneut gesendet und sind bei großem Volumen also ein echter Posten, doch die größere Wirkung hat, was einer von ihnen steuert: Accept-Encoding handelt die Kompression aus, und wer ihn weglässt, bekommt Seiten unkomprimiert in mehrfacher Größe. Bei Residential-Abrechnung pro Gigabyte gehört diese eine fehlende Zeile zu den teuersten Voreinstellungen beim Scraping.
Zurück zum vollständigen Glossar.

