TLS-Fingerabdruck
Ein Merkmal aus der Art, wie ein Client die Verschlüsselung aushandelt, mit dem sich Automatisierung auch hinter einer sauberen IP erkennen lässt.
Bevor ein einziges Byte Ihrer Anfrage verschlüsselt ist, hat sich Ihr Client bereits vorgestellt. Die Eröffnungsnachricht eines TLS-Handshakes, das ClientHello, wird im Klartext gesendet, und sie ist eine ausführliche Erklärung: welche TLS-Versionen Sie unterstützen, welche Cipher Suites in welcher Rangfolge, welche Erweiterungen Sie umsetzen und in welcher Reihenfolge, welche elliptischen Kurven Sie akzeptieren, welche Punktformate. Nichts davon ist geheim, und alles wird gelesen, bevor irgendeine Verschlüsselung beginnt.
Diese Erklärung ist nicht bis in die Reihenfolge standardisiert, und genau das macht sie identifizierend. Chrome bietet eine Auswahl in einer Reihenfolge an. Firefox bietet eine andere Auswahl in anderer Reihenfolge an. Die Bibliothek requests von Python, net/http von Go, curl und ein Headless-Browser haben jeweils ihre eigene. Hashen Sie die gesamte Anordnung zu einer kurzen Zeichenkette, und Sie haben einen Fingerprint, der sagt, welche Software spricht, egal was diese Software später über sich behauptet.
JA3 war die erste weit verbreitete Version davon, ein MD5-Hash über TLS-Version, Cipher-Liste, Erweiterungsliste, elliptische Kurven und Punktformate der Kurven, aneinandergefügt. JA4 ist sein Nachfolger und der, den man heute kennen sollte: Er widersteht dem Mischen der Cipher besser, mit dem Clients JA3 entgehen konnten, und er ist strukturiert und teilweise für Menschen lesbar statt eines undurchsichtigen Hashs, was ihn für die Abwehr weit nützlicher macht.
Warum das wichtiger ist als fast jedes andere Signal, liegt an seiner Position. Es liegt unterhalb Ihrer IP-Adresse, ein perfekter Residential-Proxy berührt es also nicht. Es liegt unterhalb Ihrer Header, also berührt es auch eine makellose User-Agent-Zeichenkette nicht. Senden Sie eine Anfrage von einer vertrauenswürdigen deutschen Haushaltsadresse, geben Sie sich als Chrome 130 unter Windows aus und liefern Sie einen Python-TLS-Handshake, und Sie haben einen Widerspruch erzeugt, dessen Erkennung ein einziges Nachschlagen kostet und den keine noch so gute Proxy-Qualität übertünchen kann.
Genau deshalb scheitert ein Scraper, der im Browser einwandfrei funktioniert, als Skript am selben Ziel mit demselben Proxy. Viele schließen, der Proxy sei schlecht, und kaufen einen teureren. Das Problem steckte die ganze Zeit im Handshake.
Die Lösung besteht darin, zu ändern, was Ihr Client tatsächlich sendet; eine geänderte Behauptung hilft nichts. Deshalb gibt es Bibliotheken, die eigens den Handshake eines echten Browsers Byte für Byte nachbilden, uTLS ist die bekannte in Go, und deshalb umgeht das Steuern eines echten Browsers das Problem ganz, weil er wirklich das ist, was er zu sein behauptet.
Eine Warnung: Ein Fingerprint ist nur dann ein Widerspruch, wenn er dem Rest Ihrer Geschichte widerspricht. Der Handshake einer bekannten Bibliothek ist bei einer API, die Skripte erwartet, nicht automatisch verdächtig. Verdächtig wird er, wenn er als Verbraucherbrowser verkleidet auf einer Privatkundenadresse ankommt, denn echte Verbraucherbrowser tun das nicht.
So handhabt HProxy das
Genau deshalb sagen wir, die Adresse ist eine Schicht von mehreren. Eine vertrauenswürdige IP hebt Ihre Untergrenze; einen Client, der sich vor Beginn der Verschlüsselung als Automatisierung zu erkennen gibt, kann sie nicht retten. Wer eine Sperre untersucht, sollte den Handshake prüfen, bevor er einen teureren Proxy kauft.
Häufige Fragen
Was ist der Unterschied zwischen JA3 und JA4?
JA3 ist der ursprüngliche TLS-Fingerprint: ein MD5-Hash über TLS-Version, Cipher Suites, Erweiterungen, elliptische Kurven und Punktformate aus dem ClientHello. Seine Schwäche: Clients konnten diese Listen mischen oder auffüllen, um einen anderen Hash zu erzeugen und dem Abgleich zu entgehen. JA4 ist der Nachfolger, gebaut, um diesem Mischen zu widerstehen, und er ist strukturiert und teilweise lesbar statt eines einzigen undurchsichtigen Hashs; die Abwehr kann also über Teile davon nachdenken, statt ihn nur mit einer bekannten Liste zu vergleichen.
Kann ein Proxy meinen TLS-Fingerprint verbergen?
Nein. Ein gewöhnlicher Proxy leitet Ihre Verbindung weiter; das ClientHello, das Ihr Client erzeugt, ist also das, das beim Ziel ankommt. Der Proxy ändert, von welcher IP-Adresse der Handshake zu kommen scheint, und am Handshake selbst ändert er nichts. Um den Fingerprint zu ändern, müssen Sie den Client ändern, der ihn erzeugt.
Warum funktioniert mein Scraper im Browser, scheitert aber als Skript?
Meist, weil Browser und Skript unterschiedliche TLS-Fingerprints haben, obwohl alles andere an der Anfrage übereinstimmt. Das Skript kann Header, Cookies und User-Agent des Browsers exakt kopieren und auf der TLS-Ebene trotzdem eine völlig andere Reihenfolge von Ciphern und Erweiterungen verkünden, und ein Erkennungssystem liest das als Automatisierung, bevor es irgendetwas anderes auswertet. Das ist die häufigste Ursache einer Sperre, die einen Proxy-Wechsel übersteht.
Wie prüfe ich meinen eigenen TLS-Fingerprint?
Senden Sie mit dem Client, um den Sie sich sorgen, eine Anfrage an einen beliebigen Dienst, der den beobachteten JA3- oder JA4-Wert zurückgibt, wiederholen Sie dieselbe Anfrage aus einem echten Browser und vergleichen Sie. Unterscheiden sich beide, ist dieser Unterschied für jede Seite sichtbar, die Sie kontaktieren, und zwar bevor Ihre Anfrage entschlüsselt wird.
Ändert HTTP/2 den Fingerprint?
Es fügt einen weiteren hinzu. Über den TLS-Handshake hinaus unterscheiden sich HTTP/2-Clients in den Werten ihres SETTINGS-Frames, in der Header-Reihenfolge und im Prioritätsverhalten, und daraus entsteht neben dem TLS-Fingerprint ein eigener HTTP/2-Fingerprint. Ein Client kann auf der TLS-Ebene einem Browser gleichen und eine Ebene darüber trotzdem erkennbar sein.
Zurück zum vollständigen Glossar.

