电商分析系统
本项目来源于企业级电商网站的大数据统计分析平台,该平台以Spark框架为核心,对电商网站的日志进行离线和实时分析。
该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点 击行为等)进行分析
本项目使用了 Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和 Spark Streaming,进行离线计算和实时计算业务模块的开发。 实现了包括用户 访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计4个业务模块。通过合理的将实际业务模块进行技术整合与改造, 该项目几乎完全涵盖了 Spark Core、Spark SQL和Spark Streaming这三个技术框架中大部分的功能。