当前位置:首页 >> 系部专业 >> 大数据技术与应用 >> 技能大赛

17级数据采集与清洗技能大赛落下帷幕

发表人:晋中职业技术学院发表时间:2020年12月23日

为了贯彻落实《国家职业教育改革实施方案》文件精神,进一步推动产教融合,深化校企合作,推动我院教育教学改革,提高学生的职业技能水平,大数据技术与应用专业按照学院安排,于2019523日下午在蕴华楼1107教室进行了大数据专业17数据采集和分析项目的比赛。

本赛项以大数据数据分析为核心内容和工作基础,重点考察参赛选手在对于并行数据分析以及内存计算技术的应用能力。具体包括:(1)基于Hadoop平台环境综合运用数据抓取爬虫工具、数据抽取工具Sqoop、分布式存储系统HDFS、分布式计算框架MapReduce、数据仓库HivePython等开发语言工具和技术,匹配和连接数据源,完成大数据的采集,提取、清洗、转换、分析,产生分析结果,并且实现可视化呈现;(2)依据项目应用需求和分析结果,完成标准化的大数据分析报告。


1.jpg


通过此次比赛,将学生在校两年来所学的专业技能融会贯通,提升了学生对所有知识的理解和运用能力。