スクレイピングをpython+seleniumでやって最終的にウェブアプリ作成する～その１
GWが明けて、我が家では奥さんが育休から復帰。
わちゃわちゃしながらここ２日間を過ごしています。
今回は、GWに途中まで取り掛かったウェブアプリ作成の備忘録です。
やっていたことは、スクレイピングで取得してきたデータのグラフ化のところ。
udemyの講座でちょうどいいのがあったので、「基本編」「Webアプリケーション編」をみながら進めました。
講座は、次のふたつです。ハンズオンで手を動かしながら試していける感じでわかりやすくていい講座だと思います。
PythonによるWebスクレイピング〜入門編〜【業務効率化への第一歩】
PythonによるWebスクレイピング ～Webアプリケーション編～
今回、E2Eのテスト自動化でよく耳にするseleniumを使いました。
（正確には、業務でずいぶん昔に使った記憶が・・・）
いい感じで簡単にスクレイピングできます。
環境
python：python3系をanaconda環境で使用。anaconda経由でseleniumをimportしました。
OS:Windows 8.1
ブラウザ：GoogleChrome74
ドライバー：ChromeDriver（公式サイト経由でDL：http://chromedriver.chromium.org/downloads）
※Chromeバージョンが74なので、それに合わせてChromeDriver74を使用。
（最初は、何も考えずに最新の75を持ってくるもダメで、DLし直しました。）
サンプルコードは以下に詳しくまとまっていたので、リンク貼っておきます。
https://qiita.com/memakura/items/20a02161fa7e18d8a693
ウェブアプリ作成状況
スクレイピングで取ってきたデータをpythonのフレームワークDashを使って可視化するアプリを作成し始めて、、、
１日あればいけるかなーと思っていたのですが、いろいろとわちゃわちゃしてしまい、GW中には完成しませんでした・・・！
heroku上に公開するところまで持っていきたかったんだけどなあ。
５月中には作って公開しようと思ってます。有言実行を…。
ブログ始めました（自己紹介とか）
１０連休GWは、
・子ども（×２）と遊ぶ
・普段できない積ん読的な学習を進める
という２本立てで毎日を過ごしている今日この頃。
それで、思い立つところがあり、
整理と情報収取のために思い立ってブログ＆ツイッターを始めました。
ほぼ自分の整理用になると思います。
というわけで１記事目はこれまでやってきたこと、最近やってることや興味あることを書いてみます。
何をやってる（やってきた）人なのか
SIerで新卒入社以来、QA（品質保証部門）でやってきて今年で９年目な人です。
自社のパッケージやサービス（６年）、受託開発（２年）ほど担当してきました。
途中合計半年ほどの育休を含んでいます。
その中で、結合テスト以降のテスト設計や消化、検査に、開発プロセス改善、問い合わせ対応に顧客への障害報告といろいろと。
最近やってること・興味あること
仕事では相変わらずQAやってます。最近では、受託開発で他社の社内システムやECサイトの検査を主に担当しています。
個人としては、おおきく２つ。
ひとつ目は、「データ分析」です。学生時代に情報系のところにいたことと、ブームにのっかってデータ分析への興味が高まってき中。とっかかりとしてこのGWにconnpass（コンパス）で募集してた４つのハンズオンに参加しつつもう一度学びなおしてKaggleにチャレンジし始めているところです。Python楽しい。（できるとは言ってないです・・・）
ふたつ目は、「Web開発」です。自分でWebサービス作ろうかなと。Udemyの９０％オフでいくつか講座をゲットして２つフィニッシュしてサイト構築するところまでを目標にしてます。（GW残り２日・・・）
これまでの自分がQAでやってきたことを振り返りつつ、今開発に貢献できること、これから必要になってくることを改めて考えて実践していきたいなーとモンモンモンとする日々を送っています。*1
このブログで何書いてく？
QA（品質保証）とデータ分析について書こうと思ってます。普段ぼんやりと思っては流れていくことを思いとどまらせるための自分用メモ的な。
という感じな１記事目。
詳細は、またちょっとずつ書いていきたいなーと思います。
