XPath
Eine Abfragesprache, um Teile eines HTML- oder XML-Dokuments anzusprechen, die mächtigere der beiden Arten, mit denen Scraper auf die Daten in einer Seite zeigen.
Ist eine Seite abgerufen und geparst, besteht die Extraktion im Zeigen: DIESER Preis, DIESE Titel, der Link in der dritten Karte. XPath ist eine Sprache zum Zeigen. Ein Ausdruck beschreibt einen Pfad durch den Dokumentbaum, und seine Auswertung liefert die Elemente, Attribute oder Texte, die der Pfad erreicht. Die Syntax liest sich wie ein Dateisystem mit eigenen Ansichten: //product steigt zu jedem product-Element irgendwo hinab, div/span geht vom Elternelement zum Kind, und Prädikate in eckigen Klammern filtern, was infrage kommt, etwa //div[@class='price'] oder //li[position() kleiner als vier].
Sein Ruf als mächtiges Werkzeug beruht auf den Stellen, die die Alternative nicht erreicht. XPath gleicht Textinhalte ab und findet das span, in dem wörtlich Out of stock steht. Es bewegt sich nach oben und zur Seite, von dem Element, das Sie identifizieren können, zum Eltern- oder Geschwisterelement, das Sie eigentlich wollen, etwa //span[text()='Total']/following-sibling::span. Es zählt, vergleicht und kombiniert Bedingungen in einem einzigen Ausdruck. Ganze Kategorien von Extraktion, die in anderen Werkzeugen Verrenkungen sind, sind hier eine Zeile.
Die typische Schwäche ist selbst geschriebene Zerbrechlichkeit. Die Entwicklerwerkzeuge der Browser bieten die bequeme Funktion XPath kopieren, die einen absoluten Pfad ab der Wurzel des Dokuments erzeugt, jeden Schritt und jeden Index fest verdrahtet, und ein solcher Pfad stirbt bei der nächsten Layoutänderung irgendwo auf seinem Weg. Von Hand geschriebene relative Ausdrücke, verankert an stabilen Attributen, überleben Redesigns, die absolute Pfade zerfetzen. Das Handwerk besteht darin, Anker mit Bedeutung zu wählen, eine ID, ein data-Attribut, ein Textlabel, statt die zufällige Geometrie von heute festzuschreiben.
Wo es läuft, zählt genauso wie das, was es sagt. Auf dem Server werten die Parser-Bibliotheken, auf denen Scraper aufbauen, XPath nativ aus, und Crawling-Frameworks bieten es als vollwertigen Selektor an. Im Browser gibt es die Auswertung, doch die Werkzeuge bevorzugen den Rivalen, und Automatisierungs-Frameworks akzeptieren beides. Praktische Gewandtheit ist zweisprachig: CSS-Selektor-Syntax für die alltäglichen Fälle, XPath für die, die Textabgleich oder den Weg nach oben brauchen, gewählt pro Extraktion statt pro Projekt.
Ein ehrlicher Vorbehalt: Auf Seiten, die per JavaScript gerendert werden, hilft kein Ausdruck, solange die Elemente nicht existieren. XPath fragt den Baum ab, den Sie geparst haben, und kommen die Daten erst nach dem Laden, ist dieser Baum ein leeres Gerüst. Wer präzise auf eine leere Bühne zeigt, zeigt trotzdem auf nichts.
Häufige Fragen
Sollte ich fürs Scraping XPath oder CSS-Selektoren verwenden?
Beides, je nach Aufgabe. Die CSS-Syntax ist knapper und für die Routinefälle überall unterstützt, Klassen, IDs, Attribute, Verschachtelung. XPath macht sich dort bezahlt, wo CSS nicht hinkommt: Elemente über ihren Text finden, von einem gefundenen Element hinauf zum Elternelement oder hinüber zu einem Geschwister gehen und mehrere Bedingungen in einem Ausdruck kombinieren. Beides zu beherrschen kostet wenig und erspart ganze Kategorien von Umwegen.
Warum bricht mein kopierter XPath so schnell?
Weil XPath kopieren in den Entwicklerwerkzeugen des Browsers einen absoluten Pfad mit fest verdrahteten Schritten und Indizes erzeugt, der die aktuelle Geometrie der Seite festhält und nichts über ihre Bedeutung weiß. Jede strukturelle Änderung entlang des Pfads tötet ihn. Ein kurzer relativer Ausdruck, verankert an einem stabilen Attribut oder Textlabel, ergibt einen Selektor, der die Redesigns übersteht, die kopierte Pfade reihenweise auslöschen.
Kann XPath Elemente über ihren Text auswählen?
Ja, und das ist seine Paradedisziplin. Ausdrücke können exakten Text abgleichen, etwa //button[text()='Add to cart'], oder enthaltenen Text über contains(), und dann vom gefundenen Element zu dem navigieren, was Sie eigentlich brauchen. CSS-Selektoren in Scraping-Bibliotheken haben dafür keine Entsprechung, und deshalb ist textverankerte Extraktion der übliche Grund, warum ein Scraper zu XPath greift.
Funktioniert XPath auf Seiten mit viel JavaScript?
Es fragt den Baum ab, den Sie ihm geben. Kommt die Seite als leere Hülle an und füllt sich erst, nachdem Skripte gelaufen sind, findet ein Ausdruck, der gegen das abgerufene HTML ausgewertet wird, nur ein Gerüst. Werten Sie entweder nach dem Rendern in einem Headless-Browser aus, oder, besser, prüfen Sie, ob die Daten als JSON-Feed oder eingebetteter Zustand vorliegen, den Sie lesen können, ohne überhaupt auf das DOM zu zeigen.
Zurück zum vollständigen Glossar.

