2019大数据校企合作实训课于2021.12.27-2022.1.5进行，本次实训，使用Hadoop及其生态圈相关的组件来实现企业级大数据开发的整套流程，即数据的采集、数据的存储、数据的分析处理及数据的可视化。其中数据的采集部分会介绍两种方式，一种介绍网络爬虫及其Java代码实现步骤，另外一种是利用学生所掌握的spring mvc技术来构建一个简易的电商平台，采取压测的方式模拟海量日志的产生，通过使用Nginx和tomcat实现动静资源分开部署的方式，采取flume日志采集组件来实现日志的采集，相比网络爬虫，这部分是实训所推荐的一种数据采集的方式；数据的存储部分，将采用MySQL和HDFS来分别存储关系型数据和非关系型数据，其中将会使用到sqoop组件作为MySQL和HDFS之间数据的转换桥梁和通道；数据分析处理部分，采用MapReduce程序实现数据的清洗和分析；数据可视化部分，采用echarts图表来展现。最终的效果是通过压测产生电商系统日志、flume采集日志、MapReduce分析处理日志、sqoop将分析后的结果导入到MySQL中、spring mvc项目前端对分析结果进行可视化，即展现商品的topN信息。通过实训了学生们的大数据项目实践经验，收到了良好效果。
