Skip to content

新版番剧数据中心兼分布式数据挖掘框架

License

Notifications You must be signed in to change notification settings

TiyaAnlite/BiliCenter

Repository files navigation

BiliCenter

番剧数据中心

一个以事件驱动的数据挖掘框架

部署

需求

Python 3.6+

参照如下命令安装依赖

pip install -r requirements.txt

或者

python -m pip install -r requirements.txt

如果你运行在Linux环境,请视情况将pippython替换为pip3python3

环境与配置

  • 请确保拥有腾讯云SCF使用权限,并将scf/biliHelper下的SCF函数部署至腾讯云
  • 参照环境变量文档进行环境变量的配置,其中包括数据库相关配置
  • 根据提供的SQL来创建相关的表

首次运行

  • 定位至service下,运行ConcurrentController.py,第一次运行会往Redis中写入初始配置并退出

  • 可以参照配置说明按需修改运行时配置

正式运行

中间件主体在service下的三个程序

  • FrontEndTrigger.py为前端触发器
  • ConcurrentController.py并发中心
  • CallbackCenter.py为回调/数据处理中心

启动这三个中间件(无顺序要求),三个中间件无需在同个节点上,只需向同一个数据库连接即可完成通讯

执行时的目录为service/,不正确的目录会导致错误

任务负载

service/triggerservice/callback下分别为触发器和回调,可自行新增,中间件启动时会自动进行发现

本文档还有待进一步完善,关于任务负载的定义、触发规则等细节,移步协议说明文档

系统设计

BiliCenter

About

新版番剧数据中心兼分布式数据挖掘框架

Resources

License

Stars

Watchers

Forks

Languages