スクレイピング
プライベート用スマホにしている Android のパフォーマンスがどんどん劣化しており、結果 Line があまり使いこなせず、家庭内(=個人向け) Slack を導入したいと思いはじめいろいろ調べている。 そうするうちに Twitter Bot の Cron Job としてのみ使って…
このところ賃貸物件を探しているんですが、家探しって情報戦です。 いろいろ情報がインターネットに落ちてはいるものの、なかなか人手で一つにまとめて比較検討するのは大変です。そんなときこそウェブスクレイピングの出番です。(いろいろ写真みて表作って…
先ポストの続きです。基本的な実施例は以下をまず御覧ください。 tofu.hatenadiary.com そもそもスクレイピングって何?という方は以下を御覧ください。 tofu.hatenadiary.com 今回はもう少し複雑なことを実施してみます。Nokogiri だけでなく、Ruby 用スク…
先ポスト↓からの続きです。 前置きはいいよ!ということで実際にスクレイピングしていきます。 しかしながら HTML の構造は、作り手とコンテンツ次第で千差万別です。(それ故スクレイピングには一通りの正解のようなものがないのだと思います) よってここ…
去年からチラチラ気になっていたウェブスクレイピングなるものについて、年末年始にまとまって調べることができました。 結論、Nokogiri, Scrapy, Goutte, などなど方法に特化した情報が多いため分からないことだらけでしたが、なんとかコーディング能力のな…