数据收集与预处理-课程标准_教育大纲-亚洲ca88官方网站

  本课程遵从运用型本科和高级工作教育规则，以大数据技能与运用实践工作岗位需求为导向选取课程内容，完结了数据收集和预处理渠道建立、网络爬虫实践、日志数据收集实践和数据预处理实践等完好的数据收集与预处理运用事例，课程目标是培育学生具有“大数据剖析”运用项目所需数据收集与预处理的归纳工作才能；坚持敞开性规划准则，吸收企业专家参加，构建以“工作使命”为载体的“项目化”课程结构；课程教育实施教、学、做一体，坚持理论为实践服务的教育准则，经过模仿企业大数据收集与预处理运用事务进行安排，练习学生的实践操作才能。

  经过岗位技能的项目化以及大数据收集与预处理使命的序列化，对内容体系结构进行了恰当调整与重构，以习惯教育课程安排。以项目事例及其使命完结为驱动，凭仗详尽的操作进程和精确的阐明，协助学生敏捷把握大数据收集与预处理的相关常识与技能，而且充沛考虑学习操作时可能发生的问题，并供给了详细的解决方案，杰出岗位技能练习。

  课程要点在于培育学生可以运用所学的相关技能常识，结合实践大数据剖析运用事务，运用数据收集与预处理常用体系与手法，完结数据收集、数据清洗、数据转化和数据存储操作等；难点在于针对根底不同、爱好纷歧的学生选用不同的办法进行相关才能的培育。

  运用urllib根本库和BeautifulSoup解析库，学会起点中文网中相关信息的爬取

  项目引领、使命驱动：每个项目都是多个使命的结合体。 每个项目都按标准的流程进行安排， 经过事例引导：将大数据企业中大数据技能与运用岗位相关的项目引入讲堂，演绎为工作中的各种操作使命事例，培育学生运用各种数据收集与预处理的东西与手法，结合大数据详细运用事务，进行大数据收集与预处理操作。

  运用Selenium根本库和pyquery解析库，学会淘宝网站信息的爬取。

  阐明：每个教育项目模块的查核首要调查学生的出勤状况、实践着手才能、理论常识的运用与把握状况、完结作业的精确度、完好度、标准度等、剖析问题、解决问题的才能、协作交流才能、学习情绪、总结陈述（陈述的内容、情绪、写作水平等）等鉴定项目进行查核。

  1．教辅材料：要力求挨近实践，最好是来历于实践的事例与情境，并开发课程的习题、参考文献等内容，向学生敞开，以利于学生自主学习。

  学会运用Flume建立日志收集体系，并学会日志收集；学会运用Nginx和Flume建立日志收集体系，并完结日志收集；学会运用Kettle收集Excel表格中的数据；学会运用Kettle进行多复合来历数据的收集与相关

  经过该课程的学习，学生能运用所学的相关技能，能依据企业详细大数据剖析事务，结合收集的海量数据，针对性的进行数据的预处理，学会数据收集与预处理的常用与典型操作。

  依据专业中心课程目标和包括的工作使命要求，确认课程内容和要求，阐明学生应取得的常识、技能与情绪。

  本课程是大数据技能与运用专业、云计算技能与运用专业、软件技能专业的专业中心课程，是校企交融系列化课程，该课程教育内容以使命驱动为主线，环绕企业级运用进行项目使命规划。

  该课程的查核改动单一的完结性点评办法，选用进程查核和成果查核相结合、理论考试和实践查核相结合的办法。理论部分查核学生对项目所触及的常识点归纳把握状况，实践部分查核根据大数据详细运用事务，充沛运用数据收集与预处理的东西与手法，完结数据收集、数据清洗、数据转化和数据存储操作。灵活多样的查核方法可以全面查核学生的学习效果。

  运用Flume Interceptor完结“北京公交线路信息”数据的预处理

  本课程的培育目标是使学生以大数据剖析岗位需求为依托，以实践工作使命为导向，理清大数据收集与预处理中常用东西的效果及运用，培育学生大数据收集与预处理的实践操作技能。

  本课程本书以使命驱动为主线，环绕企业级运用进行项目使命规划，完结了数据收集和预处理渠道建立、网络爬虫实践、日志数据收集实践和数据预处理实践等完好的数据收集与预处理运用事例，要求学生体系把握scrapy、Flume、pig、kettle、Pandas、openrefine和urllib、selenium根本库和BeautifulSoup解析库等的相关技能常识，了解企业典型运用事例，了解数据收集与预处理的常用与典型操作。

  3．软件环境：不断完善大数据剖析归纳实训室的软件环境，引入与收购管理软件用于教育，为学生供给更好的收购软件模仿条件。

  4．硬件环境：期望可以完善硬件建造，一起，经过各种渠道加大对校外实训基地的建造，为学生的校外实践供给环境条件。

  5．信息技能：充沛的运用各种信息技能，例如网络、多媒体课件等，为学生供给学习的便当条件。例如加大课程的网络资源建造，把与课程有关的文献材料、课程标准、电子教案、教育课件、教育视频、相关前沿信息、与工作资格考试相关的材料、学生与教师的互动等都放到网上，充沛的为学生的自主学习供给环境条件。