最近公司要求基于公司的hadoop平台做一个关于电信移动网络的数据分析平台,整个项目需求大体分为四大功能模块:数据挖掘分析、报表数据查询、GIS地理化展示、任务监控管理。由于页面功能较复杂,所以采用前后端分离方式开发。前端采用webpack+vue+vue-router+axios技术栈,后端用django进行开发。从搭建到上线,整个项目前前后后花了差不多一个月时间,中途也遇到一些问题,不过还好都解决了。由于是个人项目,所以我打算把源码贡献出来大家一起讨论学习。
-
文件上传预览
-
异步任务执行
-
websocket实现实时进度
-
表格分页
-
excel文件动态导出
-
pandas数据分析
-
impala大数据实时查询分析
-
KMeans、DBSCAN聚类分析
-
距离计算算法优化
-
GIS地图展示
-
websocket实现实时进度和动态渲染
-
百度地图批量经纬度转换(服务端实现)
-
历史数据流式查询,解决数据量过大问题
-
树组件懒加载,改善用户体验
-
excel文件流式导出
-
celery异步任务监控管理,websocket实时监控
-
django后台管理