WebSocket
Ein Protokoll, das eine HTTP-Anfrage zu einer dauerhaften Verbindung in beide Richtungen erweitert, genutzt für Live-Datenströme, und ein Sonderfall, den Proxys tragen müssen.
Ein WebSocket beginnt als getarnte gewöhnliche Web-Anfrage. Der Client sendet etwas, das wie eine normale HTTP-Anfrage mit einem Upgrade-Header aussieht; der Server antwortet mit 101 Switching Protocols; und ab diesem Moment ist die Verbindung kein Wechsel von Anfrage und Antwort mehr. Sie wird zu einem dauerhaften Kanal in beide Richtungen über dieselbe TCP-Verbindung, auf dem jede Seite Nachrichten schickt, wann sie will, solange die Verbindung besteht.
Die Tarnung war das Ziel der Konstruktion: Weil das Protokoll als HTTP auf den üblichen Web-Ports beginnt, 80 für ws und 443 für das per TLS verpackte wss, kommt es durch Infrastruktur, die für Web-Traffic gebaut ist. Gegenüber dem ständigen Nachfragen, ob sich etwas geändert hat, gewinnt es Unmittelbarkeit und Sparsamkeit: eine stehende Verbindung an Stelle eines Trommelfeuers von Abfragen. Darum trägt es die Live-Flächen des Webs: Kursticker, Orderbücher, Chats, Benachrichtigungen, Sportergebnisse, gemeinsame Editoren, Live-Dashboards.
Diese Liste erklärt, warum Scraper immer wieder darauf stoßen. Auf solchen Seiten ist das abgerufene Dokument ein Gerüst, und die gewünschten Zahlen kommen später, als Nachrichten über einen Socket, den die Seite nach dem Laden öffnet. Wer das HTML abruft, bekommt eine Hülle ohne Daten; selbst das Rendern der Seite hilft nur, wenn man danach zuhört. Der direkte Weg ist derselbe, den die Seite nimmt: Öffnen Sie den Socket-Endpunkt selbst, senden Sie dieselbe Abonnement-Nachricht wie der eigene Client der Website und lesen Sie den Datenstrom. Der ist meist saubereres JSON, als die Seite es Ihnen je gezeigt hätte.
Über einen Proxy funktioniert das, mit ein paar Unterschieden, die man kennen sollte. Verschlüsseltes wss läuft durch einen HTTP-Proxy in einem gewöhnlichen CONNECT-Tunnel, derselben blinden Weiterleitung wie bei HTTPS, und funktioniert daher in der Regel einfach. Einfaches ws verlangt, dass der Proxy das Upgrade ausdrücklich verarbeitet, und manche HTTP-Proxys machen das schlecht; in der Praxis ist ohnehin fast alles wss. Ein SOCKS5-Proxy leitet TCP weiter, ohne es auszuwerten, und trägt beides problemlos. Der typische Fehler bei Sockets ist die Dauer: Eine stundenlang offene Verbindung macht die Stabilität des Ausgangs zu einem Teil Ihrer Architektur, und die Ausgänge eines rotierenden Pools sind nicht auf Dauer gebaut. Langlebige Datenströme brauchen eine statische Adresse oder eine Sticky Session, die zur Aufgabe passt.
Bei großem Umfang zählt noch eine Eigenschaft: Ein Socket hat einen Zustand, den einzelne Anfragen nicht haben. Ihr Abonnement, Ihre Authentifizierung und das Bild, das der Server von Ihnen hat, hängen alle an der einen Verbindung. Fällt ein Ausgang mitten im Datenstrom aus, müssen Sie sich neu verbinden und neu abonnieren, und ein gut gebauter Empfänger rechnet damit als normalem Ereignis.
Häufige Fragen
Funktionieren WebSockets über einen Proxy?
In der Regel ja. Die verschlüsselte Form wss läuft durch HTTP-Proxys im selben CONNECT-Tunnel wie jeder HTTPS-Traffic, und SOCKS5 leitet sie als gewöhnliches TCP weiter. Unverschlüsseltes ws über einen HTTP-Proxy ist die anfällige Kombination, weil der Proxy den Upgrade-Handshake weitergeben muss, und die Unterstützung dafür ist uneinheitlich. Da echte Einsätze fast ausnahmslos wss nutzen, funktionieren die meisten Aufbauten einfach.
Warum fehlen die Daten, wenn ich eine Live-Seite scrape?
Weil die Seite eine Hülle ist und der Inhalt nach dem Laden über einen Socket kommt. Wer das Dokument abruft, erfasst nur das Gerüst. Effizient lösen Sie das so: Suchen Sie den Socket-Endpunkt im Netzwerk-Tab des Browsers, verbinden Sie sich direkt, senden Sie dieselbe Abonnement-Nachricht wie die Seite und verarbeiten Sie den Datenstrom. Der liefert meist sauberer strukturierte Daten, als das Auswerten der gerenderten Seite es täte.
Welchen Proxy-Typ sollte ich für WebSocket-Datenströme nutzen?
Einen, dessen Ausgang in einer Stunde noch existiert. Eine offen gehaltene Verbindung macht die Stabilität des Ausgangs zu einem Teil der Konstruktion, also passen rotierende Pools schlecht. Eine statische Adresse, ein ISP-Proxy oder eine Sticky Session, die so lange hält wie die Verbindung, passen besser. Abgesehen von der Beständigkeit gelten die üblichen Überlegungen zum Vertrauen ins Netz unverändert, denn die Website sieht die Herkunft des Sockets genau wie die einer Anfrage.
Werden WebSocket-Verbindungen gedrosselt?
Auf andere Weise als Anfragen. Websites begrenzen gleichzeitige Verbindungen pro Adresse und pro Konto, drosseln die Nachrichtenrate innerhalb einer Verbindung und werfen Empfänger hinaus, die zu breit abonnieren. Weil der Zustand an der Verbindung hängt, zeigt sich eine Sperre oft als Verbindungsabbruch ohne Fehlercode. Ein robuster Empfänger rechnet deshalb ganz selbstverständlich damit, sich neu zu verbinden und neu zu abonnieren.
Zurück zum vollständigen Glossar.

