fascinated with tofu

豆腐に魅せられて

スクレイピング

GAS で公開中/予定の映画情報をスクレイピングして Slack へ定期的にポストする

プライベート用スマホにしている Android のパフォーマンスがどんどん劣化しており、結果 Line があまり使いこなせず、家庭内(=個人向け) Slack を導入したいと思いはじめいろいろ調べている。 そうするうちに Twitter Bot の Cron Job としてのみ使って…

家探しのための Suumo スクレイピング用スプレッドシート

このところ賃貸物件を探しているんですが、家探しって情報戦です。 いろいろ情報がインターネットに落ちてはいるものの、なかなか人手で一つにまとめて比較検討するのは大変です。そんなときこそウェブスクレイピングの出番です。(いろいろ写真みて表作って…

Google 先生に聞いても意外とわからなかったウェブスクレイピング実践編2

先ポストの続きです。基本的な実施例は以下をまず御覧ください。 tofu.hatenadiary.com そもそもスクレイピングって何?という方は以下を御覧ください。 tofu.hatenadiary.com 今回はもう少し複雑なことを実施してみます。Nokogiri だけでなく、Ruby 用スク…

Google 先生に聞いても意外とわからなかったウェブスクレイピング実践編1

先ポスト↓からの続きです。 前置きはいいよ!ということで実際にスクレイピングしていきます。 しかしながら HTML の構造は、作り手とコンテンツ次第で千差万別です。(それ故スクレイピングには一通りの正解のようなものがないのだと思います) よってここ…

Google 先生に聞いても意外とわからなかったウェブスクレイピング基礎編

去年からチラチラ気になっていたウェブスクレイピングなるものについて、年末年始にまとまって調べることができました。 結論、Nokogiri, Scrapy, Goutte, などなど方法に特化した情報が多いため分からないことだらけでしたが、なんとかコーディング能力のな…