特定のclass属性を持った任意の要素にマッチするXPath | 3.14
結論特定のclass属性を持った任意の要素にマッチするXPath(hogeは指定したいclass属性名) //*[contains(concat(" ",normalize-space(@class)," "), " hoge ")] 特定の要素にしたい場合は適当に div[contains(concat(" ",normalize-space(@class)," "), " hoge ")] などとする． 概要特定のclass属性を持った任意の要素にマッチするXPathというのはアドオンやUserJavaScript，スクレイピングの際にDOMノードを特定するために良く使いますが，XPathの書き方がマズイ人がたまにいます．普通に考えたらXPathはこうなります． XPath1:: //*[@class="hoge"] class属性は以下の引用部分に書かれているとおり，スタイルシート以
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
XPath に文字列を埋め込むときの注意 - IT戦記
よく、以下のように XPath に文字列を埋め込む事があります document.evaluate('//*[@class="' + text + '"]', document, null, 7, null); まあ、僕もよくこんなコード書くんですけど。 でも、これって text が外部から来るものだったら、意図通りの動作をしないんですよね たとえば、以下のような例です。 var text = '"] | /hoge/fuga/piyo | .["'; document.evaluate('//*[@class="' + text + '"]', document, null, 7, null); というわけで 任意の文字列を XPath の式に変換する JavaScript を書いてみた 以下で試せます http://amachang.sakura.ne.jp/misc/xpath_es
Firefox拡張入門第4回(某占いサイトをスクレイピング) - Gemmaの日記
Firefox拡張はスクレイピングの最終兵器です。 今日は、某占いサイトをスクレイピングして、自分の星座のお告げを抜き出します。 某占いサイト スイーツ(笑)テーブルレイアウトです。 先にFirebugで、抜き出したいところのXPathを調べておきます。 個人的にCSSセレクタのほうが好きなので、XPathとCSSセレクタの対応表をあげておきます。 John Resig - XPath and CSS Selectors Latest topics > CSS3セレクタとXPathでの表現の対応表 - outsider reflex Latest topics > getElementsByなんちゃら の代わりにXPathを使う - outsider reflex 次に、拙作のMatchfox拡張で骨組みを作ります。名前はFortuneにします。 XPathを使ったスクレイピング 新しいタ
XPath で<li><b>hoge</b>ぼえ</li>で、「ぼえ」だけを取り出す方法 | 岐阜県台東区
アマゾンの発売日前レビューってのがあまり好きじゃないんですよね。 発売日前のレビューは非表示にできるようにgreasemonkey（初体験)を書いてみようと思い、 とりあえずお知り合いのここを参照して調べる。 まずはアドオンでXpathCheckerをインストール。 ここでXPathつかったのはアマゾンのhtmlがひどかったから。web1.0っていうの？アレ。 <font size=”-2″>とか懐かしくて涙出てきた。 発売日を取得しようとしたんだけど、アマゾンでは発売日付近のhtmlは以下のようになってる。 <ul> <li><b>なんか：</b>ああああ</li> <li><b>なんか：</b>いいいい</li> <li><b>発売日：</b>YYYY-mm-dd</li> <li><b>なんか：</b>うううう</li> </ul> こんなかんじ。発売日の順番が商品
Google App EngineでもXPathが使える！XPathEvaluator Extension for BeautifulSoup(BSXPath)をリリース - 風柳メモ
飽きる前にそれなりに形になったのでリリースしておきます Python 2.5*とBeautifulSoup 3.0.7* or 3.1.0*の環境でとりあえず動くXPathEvaluatorです。 アーカイブファイル(ZIP)：BSXPath.py： XPathEvaluator Extension for BeautifulSoup 上記ファイル(BSXPath.py）を使ったサンプルはこちら 【2009/04/05追記】 BSXPath.pyを使ったサービスを公開しました。 任意のサイトのフィードパターンを作成・共用できるサービス 使い方 from BSXPath import BSXPathEvaluator,XPathResult #*** 準備 document = BSXPathEvaluator(<html>) # html: HTMLテキスト # ※BSXPathEvalu
XPath 関数拡張 - へたっぴ日記
XPath2.0 は正規表現が使えるようになっていて反則的に便利なのだけど、標準で使える環境は（たぶん）あまりなく Java でもまだ使えない。 Java から XPath2.0 使いたい 10:47 PM December 14, 2007 from TwitterIrcGateway http://twitter.com/hetappi/statuses/500570172 Twitter で呟けば何か反応があるかと期待したのだけど、私のコミュニケーション能力が低いせいか全くありませんでした…。 で、調べた。 XPath2.0 実装ライブラリ このへんのライブラリで使えるようになる。 PsychoPath - XPath 2.0 Processor Saxonica: XSLT and XQuery Processing XPath 関数拡張 このへんのインタフェースを実装すれば XP
XML文書内の位置を正確に指し示すXPath
XMLデータはその構造をツリー形式で表すことができる。XPathは、その性質を利用して、XMLデータのどの部分であっても位置を指し示すことができる記述言語だ。XMLを活用するには、XPathの知識は欠かせない。今回はそのXPathを解説していく。 特定のノードに至る経路を記述する XSLTはXMLデータ（注）をツリーとしてモデル化したソースツリーのノード（node：節点）ごとに、変換ルールを用意することによって、構造変換を記述する。そのためにはまず、構造変換の対象にするソースツリー内のノードを正確に特定する技術が不可欠だ。W3Cが、XMLツリー上の位置を特定するために制定した記述言語がXPath（XML Path Language）だ。 （注） W3CによるXMLの仕様書では、XMLで記述された情報を「XML文書（XML Document）」と呼んでいる。しかしXMLは、電子書籍などの文書
てきとうにクリックしたらてきとうにWeb::Scraperのコードを作ってくれるWebScraper IDE - bits and bytes
まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してWeb::Scraperのコードにして出してくれるFirefoxのextensionを作りました。Firefox3専用です。ごめんなさい。 ダウンロード WebScraper IDE (for Firefox3) 使い方 今回もいつもお世話になっているスターバックスさんの店舗検索結果(住所・店名・条件から探す)を例に使い方をご紹介します。 WebScraper IDEをインストールするとツールメニュ
XPathの不便なところ - ぶろぐ。@はてな
XPathの勉強。LDRFullFeedの仕様がXPathで本文を指定するというものだったので、HTML(XHTML)から必要な部分を抜き出すためにどのようなXPathが書けるかを考えてみる。 特に意味はないけどhttp://labs.cybozu.co.jp/blog/akky/archives/2009/02/interviewd-by-junior-high.htmlを例にしてみる。勝手に使ってすみません。 ... <div id="center"> <div class="content"> <p align="right"> <a href="http://labs.cybozu.co.jp/blog/akky/archives/2009/02/google-news-widget.html">« Googleニュースの新ブログパーツ(ウィジェット)</a> | <a
XML Path Language 1.0 (XPath 日本語訳)
土壌汚染問題を解決するフィールド・パートナーズがPlatio Connectを導入 労働安全衛生法に基づく点検業務のアプリ化で年間1,800時間の労働時間を削減
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gremlin:グラフを扱う言語
[ヅラド] Java で XPath を扱ってみる
IBM Developer
ある日のTwitterのタイムラインをまとめてみた