Pythonによるウェブスクレイピング(Python Web Scraping)
ウェブデータの収集やブラウザの自動操作を実装する方法
Description
Pythonという言語の魅力は色々あるかと思いますが、その魅力のうちの一つとして、ウェブスクレイピング(Web Scraping)などが容易に実装できることがあると思います。
本コースでは、Pythonパッケージ(ライブラリ)である、BeautifulSoupやSeleniumなどを使って、スクレイピングする方法について紹介します。
【レクチャー例】
スクレイピングとは(スクレイピングやクローラーについて説明します)
スクレイピングでできること(この技術を使ってデータをダウンロードしたり、ブラウザを自動操作ができることを説明します)
スクレイピングする際の注意点(スクレイピングする際の注意点について説明します)
HTML基礎(スクレイピングする上で必要なHTMLの基礎を説明します)
classとid(CSSセレクタのclassとidの概念を説明します)
HTMLタグ(要素)(タグや要素の概念について説明します)
BeautifulSoup イントロダクション(このパッケージの概要から環境準備の方法を説明します)
クイックスタート デモ(まずはサンプルを動かして、どのように扱うかを概要を理解します)
ローカルファイルのParse(ローカルのHTMLファイルを分析します)
ウェブ上のHTMLのParse(ウェブ上のHTMLファイルを分析します)
HTML要素を取得するfindとselect(2つの選定メソッドであるfindとselectの違いを説明します)
様々な要素の選定の方法(様々な選定方法について紹介します)
Tips:うまくスクレイピング処理するコツ(応用的な技術を紹介します)
Tips:画像ダウンロード(BS4を使って画像をダウンロードする方法を紹介します)
Selenium イントロダクション(このパッケージの概要から環境準備の方法を説明します)
サンプルプログラムの実行(まずはサンプルを動かして、どのように扱うかを概要を理解します)
dummy_sleep(自動操作時のスリープテクニックを紹介します)
find_element_by_css_selector(CSSを使った要素選定方法を紹介します)
find_element_by_xpath(XPathを使った要素選定方法を紹介します)
リンククリック(自動的にHTMLリンクをクリックする方法を紹介します)
自動ログイン(自動的にサイトのログイン処理する方法を紹介します)
本コースを修了した方は、Pythonを使ったスクレイピングに関する体系的な知識が身につきます。この知識があれば、ちょっとした自動化スクリプトを書いて業務効率を上げるのに役立てたり、ウェブ上の様々なデータを自動的に取得するプログラムを実装することができるようになります。
What You Will Learn!
- Pythonによるウェブスクレイピングの方法
- Seleniumの使い方
- BeautifulSoupの使い方
- ブラウザの自動操作の方法
Who Should Attend!
- スクレイピングによりウェブページからデータを収集したいと考えている方
- Pythonによるウェブデータ取得を自動化したいと考えている方
- ブラウザの自動操作により業務効率を考えている方