JavaScriptで生成したページのスクレイピング

scrape

Crowbar: scrape javascript-generated pages via Gecko and REST! | bertrand's brain grep

Geckoエンジンをプロキシとして使用して、JavaScriptで生成後のページを得ることができる。
あとは、Hpricot なり、なんなりで加工すればOK。


最初はJavaScriptエンジンを使ってruby上で実行しようと思ったけど、めんどくさくなってしまったw