Yahoo検索を自動化するプログラムです。
検索キーワードが入力されたテキストファイルを読み込みます。
Yahoo!JAPANのトップページから読み込んだ検索キーワードで検索します。1番目にヒットしたページに遷移し、URLを取得します。
検索キーワードとURLをセットにしてテキストファイルに書き出します。
以下で動作確認済みです。
OS
:macOS 10.15.6
Python
:3.6.9
以下の2通りの方法がありますので、どちらかでインストールしてください。
$ pip install selenium
$ pip install -r requirements.txt
ブラウザはGoogleChromeを使用します。
ブラウザを自動操作するためにはChromeDriverが必要です。
以下から自分のGoogleChromeと同じバージョンのドライバーをダウンロードします。
https://sites.google.com/a/chromium.org/chromedriver/downloads
ChromeDriverをダウンロードしたら解凍して、任意の場所に配置します。
そして、chromedriver_path
のところに自分がダウンロードした場所を指定します。
読み込み用のテキストファイルは、yahoo2_data.txt
のファイル名でPythonの実行ファイルと同じ場所に配置します。
コマンドラインで実行します。
$ python scraping_yahoo2.py