52-1数据收集的东西和办法-亚洲ca88官方网站

  3.Html Html:超文本标志言语的缩写，网页代码的根本组成部分 Html元素：决议网页的内容和结构，包括标签、注释等 标签：网页代码最根本的组成单位

  ✓ 清晰数据使用项目的需求 ✓ 能拟定数据收集的需求清单 ✓ 知道数据收集的办法和东西

  1.概念 经过网络爬虫、网络揭露API（使用程序接口）等办法从网站上获 取数据信息

  2.网络爬虫的根本作业流程如下： 1.首要选取一部分精心选择的种子URL； 2.将这些URL放入待抓取URL行列； 3.从待抓取URL行列中取出待抓取在URL，解析DNS，而且得 到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库 中。此外，将这些URL放进已抓取URL行列。 4.剖析已抓取URL行列中的URL，剖析其间的其他URL，而且将 URL放入待抓取URL行列，然后进入下一个循环。