Skip to content

GeeksChen/save_source_project

Repository files navigation

前沿

能够流程化的业务尽量自动化。提高效率,最大程度的商业化才是首要。

本人的业务逻辑是这样: 第一步:首先抓包,获取需要的接口; 第二步:开启爬虫,保存爬取的资源; 第三步:根据本地的资源,生成json,入库; 第四步:把本地资源上传S3; 第五步:通过服务端API请求数据。

流程图:

流程图.png

本片文章主要介绍第二步,第三步,第四步

第二步:对文件重命名&生成json

rename_json.py

批量修改文件名

批量修改文件名.png

生成json

生成json.png

第三步:连接数据库&建表&入库

json_to_mysql.py

连接数据库

连接数据库.png

建表

建表.png

入库

入库.png

第四步:连接S3&创建目录&批量上传资源
file_to_s3.py

连接S3

连接S3.png

创建目录

创建目录.png

批量上传资源

批量上传资源.png

最后

不管大佬们关不关注公众号,我都会放上本章的Demo

个人作品1:(匿名聊天) http://im.meetyy.cn/

个人作品2:(单身交友) 公众号Meetyy

About

自动化数据处理流程

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages