大数据日志采集分析框架

通过对购物平台系统交易日志采集,存储,实现客户购买行为和热门商品类型分析,最终达成聚焦客户需求的产品推介。
用户方面:用户的点击行为,购买行为,退货行为分析,用户画像等。
商品方面:平台商品热门购买排行,平台商品点击排行,区域的购买商品类型统计。
交易方面:用户交易方式、行为统计。
物流方面:用户购买商品物流统计分析。

数据采集:通过采集服务器中的日志信息,推入消息队列主题当中,通过消费者API将数据消费至分布式存储或流处理系统。
数据分析:离线分析,通过客户端读取分布式存储数据,并进行数据分析,结果放入分布式存储或关系型数据库。
                 实时分析,通过对数据的实时处理,并进行数据分析,结果存入缓存中。
页面展示:前端页面读取数据库展示最终结果。