电子商务大数据分析
1、数据采集：
要求Python 编写程序爬取苏宁易购评论数据，生成Json形式的数据文件。
2、开发MR程序清洗电商评论数据数据清洗：
数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。
要求使用MapReduce，对大量的Json文件，进行清洗，以得到结构化的文本文件。
3、数据加载：生成Hive用户评论数据：
（1）在HIVE中创建自己的数据库；
（2）并将手机评论数据导入用户评价表中。
4、数据统计：生成Hive用户评论数据：
使用Hive对以下指标进行统计并可视化演示：
（1）用户评论周期（收到货后，一般多久进行评论）
（2）会员级别统计（判断购买此商品的用户级别）
（3）每天评论量（大体能反映出下单时间）
（4）自定义UDF，功能为：去掉评论时间的时分秒，只保留年月日
并进行可视化展示
5、利用Sqoop进行数据迁移至Mysql数据库：
要求生成mysql用户评论表。
6、中文分词实现用户评价分析。
（1）实现用户评价信息中的中文分词及词频统计；
（2）在 hive 中新建词频统计表并加载分词数据；
