■aliexpressをrubyでスクレイピング。

rubyでスクレイピング。

aliexpressの検索結果から、

検索結果のURLを抜き取るのは、

結構簡単にできた。

ここから、ページ切り替えてURLを収集する処理も追加すれば、

クローロング部分は完成。

あとは、各ページに対するスクレイピングが問題

require 'open-uri'

require 'nokogiri'

# スクレイピング先のURL

url = 'http://ja.aliexpress.com/category/200003482/dresses.html?spm=2114.52010108.6.7.gT0qlW&addpid=32546825642&isOnSale=yes%22'

charset = nil

html = open(url) do |f|

charset = f.charset # 文字種別を取得

f.read # htmlを読み込んで変数htmlに渡す

end

# htmlをパース(解析)してオブジェクトを作成

doc = Nokogiri::HTML.parse(html, nil, charset)

num=0

doc.css('a[class = "product "]').each do |product|

p product.attribute("href").text

p num = num+1

end

Permalink | 記事への反応(0) | 20:53

ツイートシェア