スクレイピングをpython+seleniumでやって最終的にウェブアプリ作成する～その１

GWが明けて、我が家では奥さんが育休から復帰。

わちゃわちゃしながらここ２日間を過ごしています。

今回は、GWに途中まで取り掛かったウェブアプリ作成の備忘録です。

やっていたことは、スクレイピングで取得してきたデータのグラフ化のところ。

udemyの講座でちょうどいいのがあったので、「基本編」「Webアプリケーション編」をみながら進めました。

講座は、次のふたつです。ハンズオンで手を動かしながら試していける感じでわかりやすくていい講座だと思います。

PythonによるWebスクレイピング〜入門編〜【業務効率化への第一歩】

PythonによるWebスクレイピング～Webアプリケーション編～

今回、E2Eのテスト自動化でよく耳にするseleniumを使いました。

（正確には、業務でずいぶん昔に使った記憶が・・・）

いい感じで簡単にスクレイピングできます。

環境

python：python3系をanaconda環境で使用。anaconda経由でseleniumをimportしました。

ブラウザ：GoogleChrome74

ドライバー：ChromeDriver（公式サイト経由でDL：http://chromedriver.chromium.org/downloads）

※Chromeバージョンが74なので、それに合わせてChromeDriver74を使用。

（最初は、何も考えずに最新の75を持ってくるもダメで、DLし直しました。）

サンプルコードは以下に詳しくまとまっていたので、リンク貼っておきます。

スクレイピングで取ってきたデータをpythonのフレームワークDashを使って可視化するアプリを作成し始めて、、、

１日あればいけるかなーと思っていたのですが、いろいろとわちゃわちゃしてしまい、GW中には完成しませんでした・・・！

heroku上に公開するところまで持っていきたかったんだけどなあ。

５月中には作って公開しようと思ってます。有言実行を…。