Skip to content

git-756/web_scraping

Repository files navigation

Web Scraper for Market Data

このプロジェクトは、Bloombergのウェブサイトから金、銀、銅などの金属市場価格データを取得するためのPython製ウェブスクレイピングツールです。


✨ 主な機能

  • 複数ターゲット対応: 金、銀、プラチナ、銅など、複数の金属の価格ページを一度にスクレイピングします。
  • 堅牢なデータ抽出: BeautifulSouplxmlパーサーを使用し、特定のHTML構造から銘柄名、始値、日中レンジなどの情報を正確に抽出します。
  • Bot対策の回避: User-Agentを偽装することで、一般的なウェブサイトのアクセス制限を回避します。
  • 丁寧な出力: 取得したデータをコンソールに整理されたフォーマットで表示します。

⚙️ 動作要件

  • Python 3.8 以上
  • requests
  • beautifulsoup4
  • lxml

🚀 使い方

  1. リポジトリのクローンまたはダウンロード

    git clone https://github.com/git-756/web_scraping.git
    cd web-scraping
  2. 依存ライブラリのインストール

    pip install -r requirements.txt 
    # もしくはRyeを使用している場合
    # rye sync
  3. スクリプトの実行

    • ターミナルで以下のコマンドを実行します。
    python scraping/metal_bloomberg.py
  4. 結果の確認

    • 実行後、ターミナルに各金属の価格情報が順番に表示されます。

📜 ライセンス

このプロジェクトは MIT License のもとで公開されています。ライセンスの全文については、LICENSE ファイルをご覧ください。

また、このプロジェクトはサードパーティ製のライブラリを利用しています。これらのライブラリのライセンス情報については、NOTICE.md ファイルに記載しています。

作成者

Samurai-Human-Go

Releases

No releases published

Packages

 
 
 

Contributors

Languages