Daten-Parsing
Eine abgerufene Antwort in strukturierte Daten zu verwandeln, die Hälfte des Scrapings nach dem Netz, die aus ganz anderen Gründen scheitert.
Das Abrufen ist die laute Hälfte des Scrapings, mit Proxys, Sperren und Wiederholungen; das Parsen ist die leise Hälfte, in der der Wert tatsächlich entsteht. Eine Antwort kommt als Bytes an, als Markup, als JSON, gelegentlich schlimmer, und Parsen ist alles zwischen dieser Ankunft und einer sauberen Zeile: Dekodieren, Baum aufbauen, Auswählen, Normalisieren, Validieren. Pipelines werden meist an ihrer Abrufrate gemessen und an ihrer Parsing-Qualität zugrunde gerichtet.
Bei HTML heißt Parsen, einen Dokumentbaum mit einem Parser aufzubauen, der das echte Web verträgt, in dem Tags offen bleiben und Verschachtelung eher ein frommer Wunsch ist. Richtige Parser reparieren solches Markup so, wie Browser es tun; improvisierte Extraktion mit regulären Ausdrücken funktioniert, bis das erste Attribut in unerwarteter Reihenfolge auftaucht, und deshalb sind reguläre Ausdrücke auf Markup das klassische Mahnbeispiel der Szene. Steht der Baum, übernehmen die Sprachen zum Zeigen, und das Parsen hat seine Arbeit getan, sobald die Auswahl festen Boden unter den Füßen hat.
Der beste Zug beim Parsen ist oft, HTML ganz zu umgehen. Moderne Seiten tragen ihre Daten bereits in strukturierter Form: JSON-Antworten, die die eigenen Skripte der Seite speisen, im Dokument eingebettete Zustandsblöcke und die maschinenlesbaren Auszeichnungen, die Seiten für Suchmaschinen veröffentlichen, Produktname, Preis und Verfügbarkeit in einem Script-Tag, beschriftet nach einem öffentlichen Vokabular. Wer diese liest, bekommt typisierte Felder ohne Selektor-Archäologie, und sie ändern sich weit seltener als Layouts, weil andere Systeme von ihnen abhängen.
Die Zeichenkodierung ist die Falle unter allem. Aus Bytes wird Text über eine Zeichenkodierung, und wer die falsche annimmt, bekommt Mojibake, die verstümmelten Währungszeichen und Umlaute eines Parsings, das technisch gelungen ist. Angegebene Zeichensätze lügen gelegentlich; komprimierte Antworten müssen vor allem anderen entpackt werden; und Zahlen kommen im Gewand ihrer Region an, wo 1.299,00 und 1,299.00 uneins sind, welches Zeichen das Dezimaltrennzeichen ist. Normalisieren, also Preise in Zahl und Währung, Datumsangaben in eine Form mit Zeitzone und zusammengefasste Leerzeichen, ist ebenfalls Parsen, und wer es auslässt, schiebt die Arbeit nur auf jeden ab, der Ihre Daten nutzt.
Haltbare Pipelines zeichnet eine Disziplin aus: Sie validieren das ERGEBNIS; dass der Abruf gelang, reicht ihnen nicht. Ein Parsing, das auf einer Seite, die offensichtlich etwas verkauft, null Preise findet, ist ein Signal: Entweder hat sich das Layout verschoben, oder die Seite hat Ihnen etwas anderes als die echte Seite geliefert. Eine Pipeline, die leere Felder als Erfolg verbucht, füllt ein Datenlager mit selbstbewussten Leerstellen. Parsing-Fehler sind billig, wenn sie laut sind, und ruinös, wenn sie still sind; bauen Sie sie also laut.
Häufige Fragen
Warum sollte ich HTML nicht mit regulären Ausdrücken parsen?
Weil die Struktur von Markup, Verschachtelung, optionale Attribute in beliebiger Reihenfolge, offene Tags, die Browser reparieren, genau das ist, was reguläre Ausdrücke nicht verfolgen können. Muster, die eine Seite überstehen, zerbrechen an ihren Geschwistern. Echte HTML-Parser reparieren das Durcheinander zu einem Baum, Selektoren sprechen ihn dann zuverlässig an, und der reguläre Ausdruck bleibt nützlich für das, was er gut kann: einzelne extrahierte Zeichenketten säubern.
Welche Daten einer Webseite lassen sich am leichtesten parsen?
Die Daten, die die Seite bereits als Daten veröffentlicht. Viele Seiten betten maschinenlesbare Auszeichnungen für Suchmaschinen ein, Name, Preis, Verfügbarkeit als beschriftetes JSON in einem Script-Tag, und noch mehr liefern ihren Zustand als JSON aus, das die eigenen Skripte der Seite verarbeiten. Beides liefert typisierte Felder ohne Selektorarbeit, und beides ist stabiler als Layouts, weil andere Systeme davon abhängen.
Warum zeigt mein gescrapter Text kaputte Zeichen?
Eine falsche Zeichenkodierung: Die Bytes wurden mit dem falschen Zeichensatz dekodiert, meist weil einer falschen oder fehlenden Angabe vertraut wurde. Das Ergebnis ist Mojibake, verstümmelte Akzente und Währungszeichen bei einem ansonsten erfolgreichen Parsing. Erkennen und beachten Sie die wahre Kodierung, entpacken Sie vor dem Dekodieren und testen Sie auf Seiten mit nicht englischem Text, wo der Fehler sofort sichtbar wird.
Woran erkenne ich, dass mein Parser noch funktioniert?
Validieren Sie die Ergebnisse; Statuscodes sagen dazu wenig. Verlangen Sie, dass erwartete Felder tatsächlich erscheinen, Preise numerisch, Datumsangaben plausibel, Anzahlen über null auf Seiten, die sichtbar Artikel haben, und schlagen Sie Alarm, wenn nicht. Layoutänderungen und still verschlechterte Antworten zeigen sich beide als erfolgreiche Abrufe mit leeren oder falschen Feldern; der einzige verlässliche Stolperdraht ist daher eine Prüfung der Daten selbst.
Zurück zum vollständigen Glossar.

