「Puppeteer入門 スクレイピング+Web操作自動処理プログラミング」 を読むまで、PuppeteerのwaitForNavigationの動きを誤って理解していました。 ここでは、Puppeteerを利用して「ページ遷移を待つ」というよくある処理における誤った実装と正しい実装を紹介します。 …

次の本 を読み進めることで、RubyのライブラリであるCapybara, Poltergeistを利用してスクレイピングを行うことができました。PoltergeistはPhantomJSというHeadless Browserを操作するためのCapybara用Driverです。 PhantomJS …

mechanizeの記事を見かけたので、Pythonでスクレイピングに挑戦。 mixiの過去の日記をEvernoteに送りたいなぁと思ってます。 mechanizeとBeautifulSoupのインストール eary install mechanize easy install …