Skip to content

自动获取 B 站番剧时间表与 Steam 官方游戏公告的 Python 爬虫项目,支持 JSON、CSV、Markdown 输出,并遵守 robots.txt 与频率限制。

License

Notifications You must be signed in to change notification settings

BennetttChen/Python-crawl

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

37 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

FreshFeeds: Bilibili + Steam 🕷️

Refresh feeds Latest Release GitHub Pages

这是一个基于 Python 的信息采集项目,用于自动获取 B 站番剧时间表Steam 官方游戏公告

✨ 功能

  • 获取 B 站番剧时间表(timeline)
  • 抓取 Steam 官方新闻(news)
  • 导出为 JSON / CSV / Markdown
  • 支持 GitHub Actions 自动每日更新

自动化爬取并发布 BilibiliSteam 最新动态的项目。
通过 GitHub Actions 每天自动执行,生成多种格式(CSV / JSON / Markdown)的最新数据,并自动部署到 GitHub Pages


🌐 在线查看结果

📎 👉 点击查看最新数据(GitHub Pages)

这里会展示每天自动构建生成的文件列表,包括:

  • bili_timeline.csv / .json / .md:Bilibili 时间线
  • bili_rank_bangumi.md:Bilibili 番剧排行榜
  • steam_news.csv / .json / .md:Steam 游戏新闻

⚙️ 自动化流程说明

本项目使用 GitHub Actions 自动执行数据刷新与发布:

  1. 计划任务触发(每日 UTC+2 运行);
  2. 执行 freshfeeds 命令采集数据;
  3. 将输出文件保存至 output/
  4. 自动生成 index.html
  5. 发布至 GitHub Pages。

🧰 技术栈

  • Python 3.11
  • freshfeeds
  • GitHub Actions
  • GitHub Pages

  • 项目输出:

    output/
    ├── bili_timeline.csv
    ├── bili_timeline.json
    ├── bili_timeline.md
    ├── bili_rank_bangumi.md
    ├── steam_news.csv
    ├── steam_news.json
    ├── steam_news.md
    └── index.html  # GitHub Pages 首页
    

🕒 定时更新策略

默认每天执行一次:

schedule:
  - cron: "0 2 * * *"  # 每天 10:00 (UTC+8)

合规采集 B 站番剧时间表/排行榜Steam 官方新闻
输出 JSON / CSV / Markdown
遵守 robots,使用公开 API;每日自动刷新,自动 Release,自动发布 GitHub Pages。


🧩 本地运行

python -m venv .venv

# Windows PowerShell:
# Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
# .\.venv\Scripts\Activate.ps1

pip install -r requirements.txt

📺 B 站番剧时间表

python -m freshfeeds bili timeline --limit 15 --format all --outdir output

📊 B 站排行榜(番剧区 / --category anime)

python -m freshfeeds bili rank --category bangumi --limit 20 --format md --outdir output

🎮 Steam 新闻(appid 来自 config.yaml)

python -m freshfeeds steam --limit 8 --format all --outdir output

About

自动获取 B 站番剧时间表与 Steam 官方游戏公告的 Python 爬虫项目,支持 JSON、CSV、Markdown 输出,并遵守 robots.txt 与频率限制。

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Contributors 3

  •  
  •  
  •  

Languages