Skip to content
master
Switch branches/tags
Code

Latest commit

 

Git stats

Files

Permalink
Failed to load latest commit information.
Type
Name
Latest commit message
Commit time
 
 
 
 
es6
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

项目技术栈

- 技术 功能地址 备注
前台前端 Gulp ./gulpfile.js 前端自动化
前台前端 ES5 ./public/libs/js 依据页面划分模块 ; 考虑性能,前端针对不同场景也对各类数据做了缓存、持久化模块 ; 考虑轻量,前后端分离,且不依赖第三方框架
前台后端 Golang 点此查看 考虑极致的数据吞吐性能
后台管理 PHP 点此查看 对性能要求不高,产品快速落地(正在兼容v3爬虫数据中)
后端爬虫-行为类、破解 ES6RabbitMqPuppeteer 当前项目,直接看后文即可 当然,作为爬虫,使用 Kafka 会是个更好的选择,可惜云天河资源云资源受限且日常消息堆积量不大,所以当前选用的RabbitMQ

数据流动说明-点击这里

项目截图


图 01 - 漫画作品列表页


图 02 - 漫画章节列表


图 03 - 漫画详情页


图 04 - 后台漫画列表页


图 05 - 后台漫画修改页
(TODO 这个页面计划加上渠道配置)

框架简介

这是由云天河自封装的一款行为类爬虫框架

项目代码概述

规划中...

起步

目录介绍

es6 源代码路径
es5 node 可直接运行的路径(经过babel编译后的文件)
生产环境通过 ncc 打包对应功能模块到 dist/ 各自目录下

想了解代码结构 你可以先从入口文件开始

入口文件类型 文件位置 备注
爬虫任务 ./es6/task.js -
HTTP服务 ./es6/www.js -
开发阶段代码调试 ./es6/app.js -

打开 public/index.html 即可查看漫画

配置

进入项目根目录
复制初始配置文件

cp -r app.example.yaml app.yaml

本次表结构请看目录 storage/sql/ 建表语句及当前可用的部分数据
请到目录 app.yaml 下完成配置 rabbitmqmysqlredis、浏览器(chromium或者chrome)等配置

请注意: mysql 建议 5.6~5.7 之间的版本,目前暂无8.0的账号认证驱动

容器化部署

强烈建议以此种方式部署
无需关注其他安装细节

unix 环境

Mac OS 或者 Linux 系统 可以使用下面命令

cd docker/unix/
make ini
windows 环境
cd .\docker\win\
.\deploy.bat # 执行这个脚本

出现如下消息

Options are in the following:
run     --- remove current docker instance AND run new docker instance for node
down    --- remove current docker instance
cnet    --- add docker network for current docker instance
ini     --- function consist of "cnet" and "run"
in      --- go to current docker bash
log     --- see current docker output logs

输入ini,即可完成部署

普通部署方式

点此查看

附录

操纵浏览器

涉及函数使用说明

性能测试

基础配置

CPU 信息 - TODO
GPU 信息 - TODO
硬盘 信息 - TODO
带宽 信息 - TODO

实际资源消耗

TODO