BeautifulSoup.pyを使ってみた

scrapyを使っていたけど
なーかなかなかなか、これが難しいのなんの。

そして、フレームワークなのに
ドキュメントが全部英語！！！（；ω；）
※英語読めない、隊長が悪いけど

どうしても処理の中で、scrapyが取得したURLリンクを使って
別ページを同時処理にてクロールしたかったんだけど
うまくいかなくて、もう途中で別途クロールすればいいんじゃね？と思いました。

そこでであったのがこの「BeatifulSoup」
サードパーティらしいけど、結構使いやすそうなので使ってみた。