数据收集与预处理-亚洲ca88官方网站

  数据收集与预处理课程标准教育大纲doc.doc

  概述11课程的性质本课程是大数据技能与运用专业、云计算技能与运用专业、软件技能专业的专业中心课程，是校企交融系列化课程，该课程教育内容以使命驱动为主线，环绕企业级运用进行项目使命规划。12课程规划理念本课程遵从运用型本科和高级工作教育规则，以大数据技能与运用实践工作岗位需求为导向选取课程内容，完结了数据收集和预处理渠道建立、网络爬虫实践、日志数据收集实践和数据预处理实践等完好的数据收集与预处理运用事例，课程方针是培育学生具有“大数据剖析”运用项目所需数据收集与预处理的归纳工作才能；坚持敞开性规划准则，吸收企业专家参加，构建以“工作使命”为载体的“项目化”课程结构；课程教育施行教、学、做一体，坚持理论为实践服务的教育准则，经过模仿企业大数据收集与预处理运用事务进行安排，练习学生的实践操作才能。13课程开发思路经过岗位技能的项目化以及大数据收集与预处理使命的序列化，对内容体系结构进行了恰当调整与重构，以习惯教育课程安排。以项目事例及其使命完结为驱动，凭仗详尽的操作进程和精确的阐明，协助学生敏捷把握大数据收集与预处理的相关常识与技能，而且充沛考虑学习操作时可能发生的问题，并供给了详细的解决方案，杰出岗位技能练习。2课程方针本课程的培育方针是使学生以大数据剖析岗位需求为依托，以实践工作使命为导向，理清大数据收集与预处理中常用东西的效果及运用，培育学生大数据收集与预处理的实践操作技能。21常识方针本课程本书以使命驱动为主线，环绕企业级运用进行项目使命规划，完结了数据收集和预处理渠道建立、网络爬虫实践、日志数据收集实践和数据预处理实践等完好的数据收集与预处理运用事例，要求学生体系把握scrapy、Flume、pig、kettle、Pandas、openrefine和urllib、selenium根本库和BeautifulSoup解析库等的相关技能常识，了解企业典型运用事例，了解数据收集与预处理的常用与典型操作。22本质方针（1）培育学生着手才能、自主学习新常识的才能（2）培育学生团队协作精力23才能方针经过该课程的学习，学生能运用所学的相关技能，能依据企业详细大数据剖析事务，结合收集的海量数据，针对性的进行数据的预处理，学会数据收集与预处理的常用与典型操作。课程名称：数据收集与预处理课程代码：课程类型：专业中心课程方案学时：64实践课时份额：50%首要授课办法：理实一体化查核办法：上机操作适用专业：大数据技能与运用专业、云计算技能与运用专业、软件技能专业3课程内容和要求依据专业中心课程方针和包括的工作使命要求，确认课程内容和要求，阐明学生应取得的常识、技能与情绪。学习情境工作使命常识要求技能要求学时安排数据收集与预处理概述知道数据收集技能，了解数据收集渠道了解数据收集的来历和收集的办法。学会数据收集渠道的建立。知道数据预处理技能了解原始数据存在的首要问题；了解数据预处理的效果和工作使命。学会数据处理东西渠道的建立。网络爬虫实践运用urllib爬取北京公交线路信息了解urllib根本库和BeautifulSoup解析库的运用办法运用urllib根本库和BeautifulSoup库，学会北京公交线路相关信息的爬取。宝网站信息了解Selenium根本库和pyquery解析库的运用办法运用Selenium根本库和pyquery解析库，学会淘宝网站信息的运用scrapy爬取北京公交信息了解Scrapy的运用学会运用Scrapy立异与拓宽了解urllib根本库和BeautifulSoup解析库的运用办法运用urllib根本库和BeautifulSoup解析库，学会起点中文网中相关信息的爬取日志数据收集实践Flume的装置和装备了解Flume的相关根底常识学会Flume的装置和不同运用场景下的配Flume收集数据上传到集群了解Flume的相关根底常识学会将收集的日志数据转存到HDFS法；学会将收集的日志数据转存到HBase的办法立异与拓宽了解Flume日志信息的收集进程；了解Nginx的装置和根底语法。学会运用Flume建立日志收集体系，并学会日志收集；学会运用Nginx和Flume建日志收集体系，并完结日志收集；学会运用Kettle收集Excel表格中的数据；学会运用Kettle进行多复合来历数据的收集与相关数据预处理实践用Pig进行数据预处理了解Pig的相关根底知运用Pig完结“北京公交线路信息”数据的预处理用kettle进行数据预处理了解Kettle的相关根底常识运用Kettle完结“北京公交线路信息”数据的预处理用Pandas进行数据预处理了解Pandas的相关根底常识运用Pandas完结“北京公交线路信息”数据的预处理用openrefine进行数据预处理了解OpenRefine的相关根底常识运用OpenRefine完结“北京公交线路信息”数据的预处理运用FlumeInterceptor对日志信息进行数据预处理了解FlumeInterceptor的相关根底常识运用FlumeInterceptor完结“北京公交线路信息”数据的预处理立异与拓宽了解大数据预处理东西Kettle的运用学会Flume+Nginx+Pig算计644课程施行和主张41课程的要点、难点及解决办法课程要点在于培育学生可以运用所学的相关技能常识，结合实践大数据剖析运用事务，运用数据收集与预处理常用体系与手法，完结数据收集、数据清洗、数据转化和数据存储操作等；难点在于针对根底不同、爱好纷歧的学生选用不同的办法进行相关才能的培育。42教育办法和教育手法4．2．1教育办法：项目引领、使命驱动：每个项目都是多个使命的结合体。每个项目都按标准的流程进行安排，经过事例引导：将大数据企业中大数据技能与运用岗位相关的项目引入讲堂，演绎为工作中的各种操作使命事例，培育学生运用各种数据收集与预处理的东西与手法，结合大数据详细运用事务，进行大数据收集与预处理操作。4．2．2教育手法多媒体教育、上机演示教育等43教育点评该课程的查核改动单一的完结性点评办法，选用进程查核和成果查核相结合、理论考试和实践查核相结合的办法。理论部分查核学生对项目所触及的常识点归纳把握状况，实践部分查核根据大数据详细运用事务，充沛运用数据收集与预处理的东西与手法，完结数据收集、数据清洗、数据转化和数据存储操作。灵活多样的查核办法可以全面查核学生的学习效果。阐明：每个教育项目模块的查核首要调查学生的出勤状况、实践着手才能、理论常识的运用与把握状况、完结作业的精确度、完好度、标准度等、剖析问题、解决问题的才能、协作交流才能、学习情绪、总结陈述（陈述的内容、情绪、写作水平等）等鉴定项目进行查核。44教材选用《数据收集与预处理》米洪、张鸰主编 人民邮电出版社，2019。 45 课程资源的开发与运用 1．教辅材料：要力求挨近实践，最好是来历于实践的事例与情境，并开发课程的习题、参阅文 献等内容，向学生敞开，以利于学生自主学习。 2．实训指导书：格局正确、内容全面，且能详细写明对学生的各项要求。 3．软件环境：不断完善大数据剖析归纳实训室的软件环境，引入与收购管理软件用于教育，为 学生供给更好的收购软件模仿条件。 4．硬件环境：期望可以完善硬件建造，一起，经过各种渠道加大对校外实训基地的建造，为学 生的校外实践供给环境条件。 5．信息技能：充沛的运用各种信息技能，例如网络、多媒体课件等，为学生供给学习的便当条 件。例如加大课程的网络资源建造，把与课程有关的文献材料、课程标准、电子教案、教育课件、 教育视频、相关前沿信息、与工作资格考试相关的材料、学生与教师的互动等都放到网上，充沛的 为学生的自主学习供给环境条件。